消息队列之 kafka 集群搭建

发布时间:2022-07-05 发布网站:脚本宝典
脚本宝典收集整理的这篇文章主要介绍了消息队列之 kafka 集群搭建脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。

我们先弄清楚kafka集群环境首先需要些什么

  • JDK 10+
  • ZookeePEr
  • Kafka 2.x

首先准备三台虚拟机 centos7 ,更改IP地址为静态地址分别为,29、30.31

cd /etc/Sysconfig/network-scripts #进入网卡文件目录 vim ifcfg-ens33 #使用vim编辑器编辑该网卡信息(需要编辑当前链接的网卡)

消息队列之 kafka 集群搭建

service network restart #重启网卡服务,依次配置好三台linux的IP地址保证能够相互通信

先安装java jdk

  • 下载

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.COM/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.rpm

  • 授权限

chmod +x jdk-8u131-linux-x64.rpm

  • 安装

rpm -ivh jdk-8u131-linux-x64.rpm

检查是否安装成功

消息队列之 kafka 集群搭建

再安装zookeeper ,29.30.31 三台机器需要如下同样的方式安装 zookeeper 形成 zookeeper 集群

  • 下载zookeeper并解压 官网推荐下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/
  • tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/     //这里解压至/opt目录中使用
  • cp zoo_sample.CFg zoo.cfg //进入/opt/zookeeper-3.4.14/conf/目录,先拷贝一份配置文件
  • 然后vim编辑zoo.cfg

    消息队列之 kafka 集群搭建

  • 说明:除了修改zoo.cfg文件外还需要在这个文件中指定的data目录下新增一个 myid 的文件,这个文件里面就只有一个数据,就是上图中配置的 server.x 这个x的值(29,30,31)zookeeper启动时会以此来确定自己的节点标识
  • 切换到 zookeeper 的bin文件夹下,启动三台机器的zookeeper

./zkServer.sh start

消息队列之 kafka 集群搭建

启动后发现每台机器的运行模式仍然为单机模式,“试试关闭火墙然后重新启动” systemctl stop firewalld.service //关闭防火墙 systemctl disable firewalld.service //禁止开机启动

  • 重启zookeeper后再次查看zookeeper的状态,你会发现,一台leader 两台 follower,说明到此我们的zookeeper安装成功

    消息队列之 kafka 集群搭建

这里终端工具我使用的是 MobaXterm 可以同时多台机器输入同样的shell命令,操作起来相当方便,建议使用

现在我们开始正式安装kafka

  • 下载kafka并解压 下载地址 http://kafka.apache.org/

  • tar zxvf kafka_2.13-2.5.0.tgz -C /opt/

  • 进入 /opt/kafka_2.13-2.5.0/ 进入到config目录,编辑配置文件:server.PRoperties

    消息队列之 kafka 集群搭建

    消息队列之 kafka 集群搭建

    消息队列之 kafka 集群搭建

  • 三台机器配置信息修改完成之后 启动 kafka , -daemon 为后台启动

启动命令 ./kafka-server-start.sh -daemon ../config/server.properties 停止命令 ./kafka-server-stop.sh

  • 检查测试

我们先切回到 zookeeper 的bin 文件夹下 ,使用zookeeper的客户端工具查看 ./zkCli.sh -server 192.168.3.29:2181 随意链接其中的一个节点(能链接上去,且输入 ls / 出现不少信息说明安装已经成功,但看不到我们想要看的信息,不慌,继续

这里我们介绍另一款工具 kafka-manager-1.3.3.7.zip,自行下载(https://gIThub.com/yahoo/kafka-manager ),上传至任意一台机器,然后解压修改配置文件 application.conf

消息队列之 kafka 集群搭建

保存后,进入kafka-manager/bin目录下,执行运行命令 ./kafka-manager 默认端口为 9000 可以使用以下命令指定配置文件和端口运行 ./kafka-manager -Dconfig.file=./config/application.conf -Dhttp.port=9000

当然也可以使用 nohup & 的形式后台运行

消息队列之 kafka 集群搭建

我们可以看到,正在启动 kafka-manager 并在同步状态了,我们到浏览器访问 http://192.168.3.29:9000/

消息队列之 kafka 集群搭建

添加集群

消息队列之 kafka 集群搭建

到此,kafka集群搭建算是完成,后续,我们针对net5来使用kafka做一些demo程序,来试试kafka

脚本宝典总结

以上是脚本宝典为你收集整理的消息队列之 kafka 集群搭建全部内容,希望文章能够帮你解决消息队列之 kafka 集群搭建所遇到的问题。

如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。