Kafka⽇志及Topic数据清理
由于项⽬原因，最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使⽤，需要⼤家⼿动的清理Kafka Log。但是清理Kafka Log⼜不能单纯的去删除中间环节产⽣的⽇志，中间关联的很多东西需要⼿动同时去清理，否则可能会导致删除后客户端⽆法消费的情况。
在介绍⼿动删除操作之前，先简单的介绍⼀下Kafka消费Offset原理。
⼀、Kafka消费Offset
在通过Client端消费Kafka中的消息时，消费的消息会同时在Zookeeper和Kafka Log中保存，如上图红线所⽰。
当⼿动删除Kafka某⼀分⽚上的消息⽇志时，如上图蓝线所⽰，此是只是将Kafka Log中的信息清0了，但是Zookeeper中的Partition和Offset数据依然会记录。当重新启动Kafka后，我们会发现如下⼆种情况：
A、客户端⽆法正常⽤消费；
B、在使⽤Kafka Consumer Offset  Monitor⼯具进⾏Kafka监控时会发现Lag(还有多少消息数未读取(Lag=logSize-Offset))为负数；其中此种情况的删除操作需要我们重点关注，后⾯我们也会详细介绍其对应的操作步骤。
⼀般正常情况，如果想让Kafka客户端正常消费，那么需要Zookeeper和Kafka Log中的记录保持如上图黄⾊所⽰。
Kafka具体消费原理可以参见:
⼆、Kafka消息⽇志清除
操作步骤主要包括：
1、停⽌Kafka运⾏；
2、删除Kafka消息⽇志；
3、修改ZK的偏移量；
4、重启Kafka;
上述步骤重点介绍其中的关键步骤。
在进⾏第2步：删除Kafka消息⽇志时，进⼊Kafka消息⽇志路径下，使⽤du -sh * 检查磁盘占⽤⽐较⼤的⽬录，然后删除此⽬录；
在进⾏第3步：修改ZK的偏移量时，进⼊ZK的安装⽬录下，运⾏./zkCli.sh -server (中间以，分割)，如果不带server默认修改的为本机。
⽰例如下：
A.运⾏./zkCli.sh -server AAA:2181,BBB:2181,CCC:2181
B.在ZK上运⾏ls /consumers/对应的分组/offset/对应的topic，就可以看到此topic下的所有分区了；
通过get /consumers/对应的分组/offset/对应的topic/对应的分区号，可以查询到该分区上记录的offset;
通过set /consumers/对应的分组/offset/对应的topic/对应的分区号修改后的值（⼀般为0），即可完成对offset的修改；
三、重建Topic
操作步骤主要包括如下：
1、删除Topic;
2、删除log⽇志；
3、删除ZK中的Topic记录
第⼀步：删除Topic
kafka命令
运⾏./kafka-topics.sh -delete -zookeeper [zookeeper server] -topic [topic name]；如果kafka启动时加载的配置⽂件server.properties没有配置able = true，那么此时的删除并不是真正的删除。⽽只是把topic标记为：marked for deletion，此时就需要执⾏第3步的操作；第三步：删除ZK中的Topic记录
⽰例如下：
A.运⾏./zkCli.sh -server AAA:2181,BBB:2181,CCC:2181
B.进⼊/admin/delete_topics⽬录下，到删除的topic，删除对应的信息。
四、常⽤命令
A.查看Kafka中的消息
./kafka-run-class.ls.DumpLogSegments -print-data-log -files /data01/middle/kafka-logs/00000002154.log >&
find /dataa01 -mtime 0 -name *.log |xargs /kafka-run-class.ls.DumpLogSegments -print-data-log -files /data01/middle/kafka-logs/00000002154.log >&  0代表当天；-1代表昨天

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。