ELK centos 集群搭建

发布时间:2022-06-20 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了ELK centos 集群搭建脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

1.安装环境centos7:

z1: 192.168.132.164 安装:elasticseArchLOGstash、Filebeat​z2: 192.168.132.165 安装:  elasticsearch、logstash​、Filebeatz3: 192.168.132.166 安装:  Kibana

软件版本说明:

elasticsearch-7.17.1-linux-x86_64.tar.gz,logstash-7.17.1-linux-x86_64.tar.gz,kibana-7.17.1-linux-x86_64.tar.gz

filebeat-7.17.1-linux-x86_64.tar.gz,elasticsearch-head-master.zip,jdk-8u321-linux-x64.tar.gz

ELK centos 集群搭建

 

   文章末尾提供下载地址

准备工作:

当前用户xiaozw下新建目录

mkdir download  --存放安装包

mkdir soft  --安装路径

mkdir soft/tmp/es/logs   --es数据和日志目录

安装jdk环境,创建用户,本例统一使用xiaozw。安装包上传到/home/xiaozw/download/下,3台机器都上传。

ELK centos 集群搭建

  2.安装elasticsearch

进入目录

cd /home/xiaozw/download

ELK centos 集群搭建

 解压 

tar -zxvf elasticsearch-7.17.1-linux-x86_64.tar.gz

ELK centos 集群搭建

 # 移动并修改目录名

mv elasticsearch-7.17.1 ../soft/

mv elasticsearch-7.17.1 elasticsearch    

jdk配置修改

vim /home/xiaozw/soft/elasticsearch/bin/elasticsearch-env

注释代码,完整配置可以用网盘下载

ELK centos 集群搭建

  修改es配置z1:

vim /home/xiaozw/soft/elasticsearch/config/elasticsearch.yML

#集群名称cluster.name: my-application#节点名称node.name: node-1#数据路径path.data: /home/xiaozw/soft/tmp/es/data#日志路径path.logs: /home/xiaozw/soft/tmp/es/logs#对所有IP开放network.host: 0.0.0.0#HTTP端口号http.port: 9200ES集群地址discovery.seed_hosts: ["192.168.132.156", "192.168.132.155"]ES集群节点cluster.inITial_master_nodes: ["node-1", "node-2"]

修改es配置z2:

vim /home/xiaozw/soft/elasticsearch/config/elasticsearch.yml

#集群名称cluster.name: my-application#节点名称node.name: node-2#数据路径path.data: /home/xiaozw/soft/tmp/es/data#日志路径path.logs: /home/xiaozw/soft/tmp/es/logs#对所有IP开放network.host: 0.0.0.0#HTTP端口号http.port: 9200ES集群地址discovery.seed_hosts: ["192.168.132.156", "192.168.132.155"]ES集群节点cluster.initial_master_nodes: ["node-1", "node-2"]

ELK centos 集群搭建

修改其它配置

 需要修改几个参数,不然启动会报错

sudo vim /etc/security/limits.conf在末尾追加以下内容(*为所有用户,也可以指定为对应用户)* soft nofile 65536* hard nofile 65536* soft nPRoc 6048* hard nproc 6048* soft memlock unlimited* hard memlock unlimited

ELK centos 集群搭建

sudo vim /etc/Sysctl.conf

vm.max_map_count=262144sysctl -p

关闭火墙,3台机器都要关闭或者添加规则。

systemctl stop firewalld

启动,进入bin目录

./elasticsearch -d

ELK centos 集群搭建

 # 访问地址 查看集群节点状态

集群列表:http://192.168.132.164:9200/_cat/nodes?v集群状态:http://192.168.132.165:9200/_cluster/health

ELK centos 集群搭建

  下载安装elasticsearch-head,

需要先按照nodejs环境cmd打开命令行,进入elasticsearch-head-master目录,输入cnpm install 下载依赖npm run start

ELK centos 集群搭建

 

 

 访问请求:http://localhost:9100/

 

ELK centos 集群搭建

  3.安装kibana,只在z3上面安装。

tar -zxvf kibana-7.17.1-linux-x86_64.tar.gz

移动并改名称

mv kibana-7.17.1-linux-x86_64 ../soft/

mv kibana-7.17.1-linux-x86_64 kibana

ELK centos 集群搭建

 修改配置

vim /home/xiaozw/soft/kibana/config/kibana.yml # 配置本机ip server.host: "192.168.132.166" # 配置es集群url elasticsearch.hosts: ["http://192.168.132.164:9200","http://192.168.132.165:9200"]

ELK centos 集群搭建

 启动,进入bin目录下

cd /home/xiaozw/soft/kibana/config

./bin/kibana

访问地址:http://192.168.132.166:5601/app/home/

ELK centos 集群搭建

 

 4.安装logstash,filebeat。分别在z1,z2上面安装。

tar -zxvf logstash-7.17.1-linux-x86_64.tar.gz移动并改名称mv logstash-7.17.1-linux-x86_64 ../soft/mv logstash-7.17.1-linux-x86_64 logstash

修改配置文件

vim /home/xiaozw/soft/logstash/config/logstash.yml

#收集es日志,发送给es.

input { file { # path 可以用/VAR/log/*.log,/var/log/**/*.log,如果是/var/log则是/var/log/*.log path => "/home/xiaozw/soft/tmp/es/logs/*.log" # 以JSON格式读取日志 codec => "json" # tyPE 通用选项. 用于激活过滤器 type => "elasticsearch" # start_position 选择logstash开始读取文件的位置,begining或者end。 start_position => "beginning" #从文件开始处读写 }}

# output plugin 输出插件,将事件发送到特定目标。output{ elasticsearch { # elasticseach host配置 hosts => ["http://192.168.132.164:9200","http://192.168.132.165:9200"] #对日志进行索引归档 index => "es-%{+yyYY.MM.dd}" } # 输出进行格式化,采用Ruby库来解析日志 stdout{codec => rubydebug}}

ELK centos 集群搭建

启动logstash

cd /home/xiaozw/soft/logstash/bin./logstash

安装filebeat

tar -zxvf filebeat-7.17.1-linux-x86_64.tar.gz移动并改名称mv filebeat-7.17.1-linux-x86_64 ../soft/mv filebeat-7.17.1-linux-x86_64 filebeat

启动filebeat

cd /home/xiaozw/soft/filebeat/./filebeat

4.完成,配置kibana.

ELK centos 集群搭建

 

 选择查询时间

ELK centos 集群搭建

 

 

 百度网盘下载安装包:

链接:https://pan.baidu.COM/s/1ijV_mtXf73NAJ_Avr3yvPA 提取码:r6pi

 

 

 

脚本宝典总结

以上是脚本宝典为你收集整理的ELK centos 集群搭建全部内容,希望文章能够帮你解决ELK centos 集群搭建所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。