• 创建topic

    # 参数说明:
    # --zookeeper     zookeeper地址
    # --replication-factor  副本数
    # --partitions  分区数
    # --topic    topic名称
    ./bin/kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181,zk3:2181 --replication-factor 3 --partitions 6 --topic topic_demo
  • 列出所有topic

    # --zookeeper     zookeeper地址
    ./bin/kafka-topics.sh --list --zookeeper zk1:2181,zk2:2181,zk3:2181
  • 查看kafka信息

    # --zookeeper     zookeeper地址
    # --topic    topic名称
    ./bin/kafka-topics.sh --describe --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topic_demo
  • 删除topic

    # --zookeeper     zookeeper地址
    # --topic    topic名称
    ./bin/kafka-topics.sh --delete --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topic_demo

    删除zookeeper中的topic信息

    rmr /brokers/topics/topic_demo
    rmr /config/topics/topic_demo
    rmr /admin/delete_topics/topic_demo
    rmr /consumers/group_topic_demo

    删除kafka节点中的数据

    rm -rf /app/haodop/kafka_2.11-0.11.0.2/kafka-logs/topic_demo*
  • 修改topic

    # --zookeeper     zookeeper地址
    # --topic    topic名称
    # --replication-factor  副本数
    # --partitions  分区数
    ./bin/kafka-topics.sh --alter --zookeeper zk1:2181,zk2:2181,zk3:2181 --topic topic_demo --replication-factor 6 --partitions 12
  • 终端消费者

    # --zookeeper     zookeeper地址
    # --from-beginning 从最开始的位置消费
    # --topic    topic名称
    ./bin/kafka-console-consumer.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --from-beginning --topic topic_demo

    在kafka 0.9版本之后推荐使用

    ./bin/kafka-console-consumer.sh --bootstrap-server  kafka01:9092,kafka02:9092,kafka03:9092  --from-beginning --topic topic_demo
  • 终端生产者

    ./kafka-console-producer.sh -broker-list kafka01:9092,kafka02:9092,kafka03:9092 --topic topic_demo
  • 修改副本数

先查看topic的patitions个数,设置每个partition的副本号,创建一个increase-replication-factor.json

cat << EOF > increase-replication-factor.json
    "version": 1,
    "partitions": [{
            "topic": "topic_demo",
            "partition": 0,
            "replicas": [1]
        },
        {
            "topic": "topic_demo",
            "partition": 1,
            "replicas": [2]
        },
        {
            "topic": "topic_demo",
            "partition": 2,
            "replicas": [1]
        },
        {
            "topic": "topic_demo",
            "partition": 3,
            "replicas": [2]
        },
        {
            "topic": "topic_demo",
            "partition": 4,
            "replicas": [1]
        },
        {
            "topic": "topic_demo",
            "partition": 5,
            "replicas": [2]
        }
    ]
}
EOF

修改topic副本数

./kafka-reassign-partitions.sh --zookeeper zk1:2181,zk2:2181,zk3:2181 --reassignment-json-file increase-replication-factor.json --execute
最后修改:2022 年 09 月 03 日
如果觉得我的文章对你有用,请随意赞赏