脚本宝典收集整理的这篇文章主要介绍了ELK centos 集群搭建,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
1.安装环境centos7:
z1: 192.168.132.164 安装:elasticseArch、LOGstash、Filebeatz2: 192.168.132.165 安装: elasticsearch、logstash、Filebeatz3: 192.168.132.166 安装: Kibana
软件版本说明:
elasticsearch-7.17.1-linux-x86_64.tar.gz,logstash-7.17.1-linux-x86_64.tar.gz,kibana-7.17.1-linux-x86_64.tar.gz
filebeat-7.17.1-linux-x86_64.tar.gz,elasticsearch-head-master.zip,jdk-8u321-linux-x64.tar.gz
文章末尾提供下载地址
准备工作:
当前用户xiaozw下新建目录
mkdir download --存放安装包
mkdir soft --安装路径
mkdir soft/tmp/es/logs --es数据和日志目录
安装jdk环境,创建用户,本例统一使用xiaozw。安装包上传到/home/xiaozw/download/下,3台机器都上传。
2.安装elasticsearch
进入目录
cd /home/xiaozw/download
解压
tar -zxvf elasticsearch-7.17.1-linux-x86_64.tar.gz
# 移动并修改目录名
mv elasticsearch-7.17.1 ../soft/
mv elasticsearch-7.17.1 elasticsearch
jdk配置修改
vim /home/xiaozw/soft/elasticsearch/bin/elasticsearch-env
注释代码,完整配置可以用网盘下载
修改es配置z1:
vim /home/xiaozw/soft/elasticsearch/config/elasticsearch.yML
#集群名称cluster.name: my-application#节点名称node.name: node-1#数据路径path.data: /home/xiaozw/soft/tmp/es/data#日志路径path.logs: /home/xiaozw/soft/tmp/es/logs#对所有IP开放network.host: 0.0.0.0#HTTP端口号http.port: 9200ES集群地址discovery.seed_hosts: ["192.168.132.156", "192.168.132.155"]ES集群节点cluster.inITial_master_nodes: ["node-1", "node-2"]
修改es配置z2:
vim /home/xiaozw/soft/elasticsearch/config/elasticsearch.yml
#集群名称cluster.name: my-application#节点名称node.name: node-2#数据路径path.data: /home/xiaozw/soft/tmp/es/data#日志路径path.logs: /home/xiaozw/soft/tmp/es/logs#对所有IP开放network.host: 0.0.0.0#HTTP端口号http.port: 9200ES集群地址discovery.seed_hosts: ["192.168.132.156", "192.168.132.155"]ES集群节点cluster.initial_master_nodes: ["node-1", "node-2"]
修改其它配置
需要修改几个参数,不然启动会报错
sudo vim /etc/security/limits.conf在末尾追加以下内容(*为所有用户,也可以指定为对应用户)* soft nofile 65536* hard nofile 65536* soft nPRoc 6048* hard nproc 6048* soft memlock unlimited* hard memlock unlimited
sudo vim /etc/Sysctl.conf
vm.max_map_count=262144sysctl -p
systemctl stop firewalld
启动,进入bin目录
./elasticsearch -d
# 访问地址 查看集群节点状态
集群列表:http://192.168.132.164:9200/_cat/nodes?v集群状态:http://192.168.132.165:9200/_cluster/health
下载安装elasticsearch-head,
需要先按照nodejs环境cmd打开命令行,进入elasticsearch-head-master目录,输入cnpm install 下载依赖npm run start
访问请求:http://localhost:9100/
3.安装kibana,只在z3上面安装。
tar -zxvf kibana-7.17.1-linux-x86_64.tar.gz
移动并改名称
mv kibana-7.17.1-linux-x86_64 ../soft/
修改配置
vim /home/xiaozw/soft/kibana/config/kibana.yml # 配置本机ip server.host: "192.168.132.166" # 配置es集群url elasticsearch.hosts: ["http://192.168.132.164:9200","http://192.168.132.165:9200"]
启动,进入bin目录下
cd /home/xiaozw/soft/kibana/config
./bin/kibana
访问地址:http://192.168.132.166:5601/app/home/
4.安装logstash,filebeat。分别在z1,z2上面安装。
tar -zxvf logstash-7.17.1-linux-x86_64.tar.gz移动并改名称mv logstash-7.17.1-linux-x86_64 ../soft/mv logstash-7.17.1-linux-x86_64 logstash
修改配置文件
vim /home/xiaozw/soft/logstash/config/logstash.yml
#收集es日志,发送给es.
input { file { # path 可以用/VAR/log/*.log,/var/log/**/*.log,如果是/var/log则是/var/log/*.log path => "/home/xiaozw/soft/tmp/es/logs/*.log" # 以JSON格式读取日志 codec => "json" # tyPE 通用选项. 用于激活过滤器 type => "elasticsearch" # start_position 选择logstash开始读取文件的位置,begining或者end。 start_position => "beginning" #从文件开始处读写 }}
# output plugin 输出插件,将事件发送到特定目标。output{ elasticsearch { # elasticseach host配置 hosts => ["http://192.168.132.164:9200","http://192.168.132.165:9200"] #对日志进行索引归档 index => "es-%{+yyYY.MM.dd}" } # 输出进行格式化,采用Ruby库来解析日志 stdout{codec => rubydebug}}
启动logstash
cd /home/xiaozw/soft/logstash/bin./logstash
安装filebeat
tar -zxvf filebeat-7.17.1-linux-x86_64.tar.gz移动并改名称mv filebeat-7.17.1-linux-x86_64 ../soft/mv filebeat-7.17.1-linux-x86_64 filebeat
启动filebeat
cd /home/xiaozw/soft/filebeat/./filebeat
4.完成,配置kibana.
选择查询时间
以上是脚本宝典为你收集整理的ELK centos 集群搭建全部内容,希望文章能够帮你解决ELK centos 集群搭建所遇到的问题。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。