kafka搭建⼊门（⼿把⼿教你搭建）
Kafka在centos7中搭建过程
Zookeeper的功能以及⼯作原理
ZooKeeper是什么？ ZooKeeper是⼀个分布式的，开放源码的分布式应⽤程序协调服务，是Google的Chubby⼀个开源的实现，它是集的管理者，监视着集中各个节点的状态根据节点提交的反馈进⾏下⼀步合理操作。最终，将简单易⽤的接⼝和性能⾼效、功能稳定的系统提供给⽤户。
Kafka简介
hadoop分布式集搭建
Kafka是最初由Linkedin公司开发，是⼀个分布式、⽀持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最⼤的特性就是可以实时的处理⼤量数据以满⾜各种需求场景：⽐如基于hadoop的批处理系统、低延迟的实时系统、
storm/Spark流式处理引擎，web/nginx⽇志、访问⽇志，消息服务等等，⽤scala语⾔编写，Linkedin于2010年贡献给了Apache基⾦会并成为顶级开源 项⽬。
⼀、基础环境准备：服务器是  “192.168.1.18 ”；
⼆、布置服务器JDK环境： 查看 java -version 或者 rpm -qa |grep jdk
没有的话yum查看：yum  -y  list java*
java -version  #查看jadk
yum -y list  java*  #查看yum源中的java
yum -y install java-1.8.0*  #安装1.8jdk
三、定义⽬录结构：mkdir  -p  /opt/zookeeper
Mkdir  -p  /opt/kafka
四、下载包：
cd cd  /opt/zookeepe
wget mirrors.aliyun/apache/zookeeper/zookeeper-3.4.12/
cd  /opt/kafka
wget  mirrors.aliyun/apache/kafka/1.1.0/
##  没wget需要  yum  -y  install  wget        安装
五、配置启动zookeeper（虽然⼀般kafka⾃带zookeeper但是看到博客上都推荐使⽤⾃⼰单独的zookeeper）：
Cd /opt/zookeeper/
tar -zxvf zookeeper-3.4.
cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
Vim  zoo.cfg修改配置部分分别为：
这⾥也可以这样写Server.1=zk1:2888:3888
dataDir 定义：zookeeper保存数据的⽬录；
dataLogDir=  #Zookeeper将写数据的⽇志⽂件保存在这个⽬录⾥；
s erver.1 这个1是服务器的标识也可以是其他的数字， 表⽰这个是第⼏号服务器，⽤来标识服务器，这个标识后续会⽤到。
第⼀个端⼝是master和slave之间的通信端⼝，默认是2888，第⼆个端⼝是leader选举的端⼝。默认3888。 修改完成后，保存即可。
创建节点的myid（节点⾮0开始可以从1开始做节点但是要有规则）
Vim  /opt/zookeeper/zkdata/myid下写⼊1（2节点到时候写⼊2）
启动服务：cd /opt/zookeeper/zookeeper-3.4.12/bin
./zkServer.sh start  ###启动
./zkServer.sh status ###启动后⼀定要查看
六、Kafka搭建：
cd /opt/kafka
tar zxvf  kafka_2.12-1.
cd /opt/kafka/kafka_2.12-1.1.0/config #进⼊kafka配置⽬录
cp server.properties  server.properties.bak  #备份kafka默认配置⽂件
修改配置⽂件： vim server.properties
kafka启动需要选择配置⽂件
broker.id=1 #当前机器在集中的唯⼀标识
listeners=PLAINTEXT://10.15.21.62:9092 #监听端⼝
advertised.listeners=PLAINTEXT://10.15.21.62:9092 #提供给⽣产者，消费者的端⼝号。可以不设置则使⽤listeners的值
logs⽇志路径没有的话需要创建
启动可以绝对路径：
启动：./kafka-server-start.sh -daemon ../config/server.properties
七、测试kafka：
1、先创建⼀个测试主题：./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic dgp
2、查看主题： ./kafka-topics.sh --list --zookeeper localhost:2181
3、发送⼀些消息：
./kafka-console-producer.sh --broker-list localhost:9092 --topic dgp
输⼊⼀些信息
4、启动命令⾏消费者，将消息转储到标准输出：
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic d --from-beginning
kafka伪分布式搭建参考：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。