Kafka学习笔记之Kafka⾃⾝操作⽇志的清理⽅法（⾮Topic数
据）
0x00 概述
本⽂主要讲Kafka⾃⾝操作⽇志的清理⽅法(⾮Topic数据)，Topic数据⾃⼰有对应的删除策略，请看。
Kafka长时间运⾏过程中，在kafka/logs⽬录下产⽣了⼤量的kafka-request.log.*和server.log.*⽂件，其中*代表⽇期和时间，⽐如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03，这些⽂件对磁盘空间的消耗⾮常⼤，需要定期备份或者清理。⽬前没有发现kafka ⾃⾝提供了这些操作⽇志备份或者清理的⽅法，需要⽤户⾃⼰实现。
0x01 更改⽇志输出级别
在Kafka安装⽬录，config/log4j.properties中⽇志的级别设置的是TRACE，在长时间运⾏过程中产⽣的⽇志⼤⼩吓⼈，所以如果没有特殊需求，强烈建议将其更改成INFO级别。具体修改⽅法如下所⽰，将config/log4j.properties⽂件中最后的⼏⾏中的TRACE改成INFO，修改前如下所⽰：
log4j.logger.kafkawork.RequestChannel$=TRACE, requestAppender
log4j.additivity.kafkawork.RequestChannel$=false
#log4j.logger.kafkawork.Processor=TRACE, requestAppender
#log4j.logger.kafka.server.KafkaApis=TRACE, requestAppender
#log4j.additivity.kafka.server.KafkaApis=false
log4j.quest.logger=TRACE, requestAppender
log4j.quest.logger=false
log4j.ller=TRACE, controllerAppender
log4j.ller=false
log4j.logger.state.change.logger=TRACE, stateChangeAppender
log4j.additivity.state.change.logger=false
修改后如下所⽰：
log4j.logger.kafkawork.RequestChannel$=INFO, requestAppender
log4j.additivity.kafkawork.RequestChannel$=false
kafka命令#log4j.logger.kafkawork.Processor=INFO, requestAppender
#log4j.logger.kafka.server.KafkaApis=INFO, requestAppender
#log4j.additivity.kafka.server.KafkaApis=false
log4j.quest.logger=INFO, requestAppender
log4j.quest.logger=false
log4j.ller=INFO, controllerAppender
log4j.ller=false
log4j.logger.state.change.logger=INFO, stateChangeAppender
log4j.additivity.state.change.logger=false
0x02 定期任务备份删除⽇志
备份操作⽇志的⽅式是定期拷贝操作⽇志到指定⼤容量存储设备，然后将其删除。我在项⽬中采取的⽅式是直接清理过期操作⽇志，⽅法⾮常简单，利⽤linux操作系统提供的crontab功能，定期清理操作⽇志，⽅法如下：
在/etc/crontab⽂件中添加删除操作⽇志的语句，然后执⾏crontab -f /etc/crontab命令即可，我的/etc/crontab⽂件如下所⽰，语句的含义是每4天在23:59执⾏清理操作：
[root@h10p11 logs]# vim /etc/crontab
SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root
HOME=/
# For details see man 4 crontabs
# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name command to be executed
59 23 */4 * * rm -fr /root/kafka/kafka_2.8.0-0.8.0/logs/*-*-*
直接修改/etc/crontab⽂件重启机器不⽤重复设置。
或者采⽤如下的定时任务：
3.1 .删除⽂件命令
find 对应⽬录 -mtime +天数 -name "⽂件名" -exec rm -rf {} \;
实例命令：
find /opt/soft/log/ -mtime +30 -name "*.log" -exec rm -rf {} \;
说明：
将/opt/soft/log/⽬录下所有30天前带".log"的⽂件删除。
具体参数说明如下：
find：linux的查命令，⽤户查指定条件的⽂件；
/opt/soft/log/：想要进⾏清理的任意⽬录；
-mtime：标准语句写法；
+30：查30天前的⽂件，这⾥⽤数字代表天数；
"*.log"：希望查的数据类型，"*.jpg"表⽰查扩展名为jpg的所有⽂件，"*"表⽰查所有⽂件，这个可以灵活运⽤，举⼀反三；
-exec：固定写法；
rm -rf：强制删除⽂件，包括⽬录；
{} \; ：固定写法，⼀对⼤括号+空格+\+;
3.2 添加计划任务
若嫌每次⼿动执⾏语句太⿇烦，可以将这⼩语句写到⼀个可执⾏shell脚本⽂件中，再设置cron调度执⾏，那就可以让系统⾃动去清理相关⽂件。
3.2.1 创建shell：
touch /opt/soft/bin/auto-del-30-days-ago-log.sh
chmod +x auto-del-30-days-ago-log.sh
新建⼀个可执⾏⽂件auto-del-30-days-ago-log.sh，并分配可运⾏权限
3.2.2 编辑shell脚本
vi auto-del-30-days-ago-log.sh
编辑auto-del-30-days-ago-log.sh⽂件如下：
#!/bin/sh
find /opt/soft/log/ -mtime +30 -name "*.log" -exec rm -rf {} \;
ok，保存退出(:wq)。
3.2.3 计划任务
# crontab -e
将auto-del-30-days-ago-log.sh执⾏脚本加⼊到系统计划任务，到点⾃动执⾏
输⼊：
10 0 * * * /opt/soft/log/auto-del-7-days-ago-log.sh
这⾥的设置是每天凌晨0点10分执⾏auto-del-7-days-ago-log.sh⽂件进⾏数据清理任务了

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。