利⽤Kafka⾃带的命令⾏⼯具监控消费者的消费进度
Kafka官⽅提供了命令⾏⼯具kafka-consumer-groups.sh,对消费者的消费进度进⾏监控,在实际⽣产环境中,对于消费进度的监控只管重要,这直接影响消费者下游系统的消费能⼒和整个集的性能。
使⽤⽅法如下:
在⽣产者端⽣产消息:
[root@zjuserMaster ~]# kafka-console-producer.sh --topic t1 --broker-list zjuserMaster:9092
两个消费者(属于同⼀组)同时消费:
[root@zjuser02 ~]# kafka-console-consumer.sh -zookeeper zjuserMaster:2181 -topic t1 --fig
/opt/module/kafka-2.11/config/consumer.properties
[root@zjuser03 ~]# kafka-console-consumer.sh -zookeeper zjuserMaster:2181 -topic t1 --fig
/
kafka命令opt/module/kafka-2.11/config/consumer.properties
在消费者端开启对消费者组的监控:
kafka-consumer-groups.sh --zookeeper localhost:2181 --group group01 --describe
结果显⽰:
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID
t1 0 133 133 0 group01_zjuser02-1607403827126-2c555c31
t1 1 240 240 0 group01_zjuser03-1607403837428-e721f73e
字段解释:
TOPIC :消费者组订阅的主题
PARTITION:消费的分区号
CURRENT-OFFSET :该消费者组当前最新消费消息的位移值
LOG-END-OFFSET :每个分区当前最新⽣产的消息的位移值
LAG:⽣产者⽣产消息的位移值-消费者消费消息的位移值(此时,消费者的消费速度正好赶上⽣产者的⽣产速度)---> 理想情况CONSUMER-ID:消费者ID
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论