Kafka安装和配置.md

安装JDK

略,参考《Linux安装Java》

安装zookeeper

略,参考《zookeepera安装》

安装kafka

以下步骤所有kafka节点都需要

  • 配置hosts
vim /etc/hosts

eg:

10.0.0.101 kafka01
10.0.0.102 kafka02
10.0.0.103 kafka03
  • 解压
tar -zxvf kafka_2.11-0.11.0.2.tar.gz -C /app/haodop/
  • 配置kafka
vim config/server.properties

修改配置如下:

# kafka节点ID,每台kafka服务器broker.id不能相同
broker.id=0
# 本机hostname
host.name=kafka01
# 监听端口,PLAINTEXT是协议
listeners=PLAINTEXT://kafka01:9092
# kafka消息数据存储目录,多个目录以逗号隔开
log.dirs=/app/haodop/kafka_2.11-0.11.0.2/kafka-logs
# 默认topic的partition数
num.partitions=6
# 数据默认保存时间,单位小时
log.retention.hours=168
# zookeepr地址
zookeeper.connect=zk01:2181,zk02:2181,zk03:2181
  • 启动
nohup ./bin/kafka-server-start.sh -daemon config/server.properties >/dev/null 2>&1 & 

重启kafka:./bin/kafka-server-stop.sh

  • 查看启动是否成功

执行jps命令,出现kafka字符的进程表示启动成功,或者通过日志查看启动情况:

tail -f log/server.log

验证kafka安装结果

通过kafka-console-consumer.shkafka-console-producer.sh脚本验证kafka发送和消费是否正常

参考《Kafka常用命令》

如果觉得我的文章对你有用,请随意赞赏