kafka查看Topic列表及消费状态等常⽤命令环境
  本⽂中的操作均基于kafka_1.3.3.0，且所有命令经过实际验证。
常⽤⼯具
新建Topic
./kafka-topics --zookeeper --create --topic flink_source --partitions 1 --replication-factor 1 replication-factor：指定副本数量
partitions：指定分区
删除Topic
./kafka-topics --zookeeper --delete --topic flink_source
查看所有Topic
./kafka-topics --zookeeper --list
查看指定Topic详情
./kafka-topics --zookeeper --topic flink_source --describe
查看consumer group列表
  查看consumer group列表有新、旧两种命令，分别查看新版(信息保存在broker中)consumer列表和⽼版
(信息保存在zookeeper中)consumer列表，因⽽需要区分指定bootstrap--server和zookeeper参数。
./kafka-consumer-groups --new-consumer --bootstrap-server :9092 --list
./kafka-consumer-groups --zookeeper 166.188.20.32:2181 --list
查看指定consumer group详情
./kafka-consumer-groups --new-consumer --bootstrap-server :9092 --group logstash --describe
./kafka-consumer-groups --zookeeper :2181 --group console-consumer-12278 --describe
  这⾥同样需要根据新、旧版本的consumer，分别指定bootstrap-server与zookeeper参数。其中依次
展⽰group名称、消费的topic名称、partition id、consumer group最后⼀次提交的offset、最后提交的⽣
产消息offset、消费offset与⽣产offset之间的差值、当前消费topic-partition的group成员id(不⼀定包含
hostname)。
补充知识
消费组列名解读
TOPIC：消费者的topic名称
PARTITION：分区数的名称
CURRENT-OFFSET：consumer group最后⼀次提交的offset
LOG-END-OFFSET：最后提交的⽣产消息offset
LAG：消费offset与⽣产offset之间的差值
CONSUMER-ID：消费者的ID编号，消费者组⾥⾯最少要有⼀个消费者，当然也可以有多个消费者
HOST：消费者的主机IP地址
CLIENT-ID：链接的ID编号
关于offset
set
set
  kafka有个常⽤的设置是  ，该属性指定了消费者在读取⼀个没有偏移量的分
区或者偏移量⽆效的情况下(因消费者长时间失效，包含偏移量的记录已经过时井被删除)该作何处理。
它的默认值是 latest，意思是说，在偏移量⽆效的情况下，消费者将从最新的记录开始读取数据(在消
offset指令是什么意思费者启动之后⽣成的记录)。另⼀个值是 earliest ，意思是说，在偏移量⽆效的情况下，消费者将从起
始位置读取分区的记录。
  该属性有以下⼏个值：
earliest：当各分区下有已提交的offset时，从提交的offset开始消费；⽆提交的offset时，从头开始消费
latest：当各分区下有已提交的offset时，从提交的offset开始消费；⽆提交的offset时，消费新产⽣的该分区下的数据none：topic各分区都存在已提交的offset时，从offset后开始消费；只要有⼀个分区不存在已提交的offset，则抛出异常
  这个设置只有当我们的消费者(或者消费者组)在分区内不到有效的offset时才会⽣效。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。