使⽤kafka⾃带脚本进⾏压⼒测试
前⾔
kafka官⽅⾃带压⼒测试脚本:
消费者压⼒测试:kafka-consumer-perf-test.sh
⽣产者压⼒测试:kafka-producer-perf-test.sh
测试节点:
172.50.13.103
172.50.13.104
172.50.13.105
⽣产者压⼒测试
/home/web/kafka/bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --th
roughput -1 --producer-props bootstrap.servers=172.50.13.103:9092,172.50.13.104:9092,172.50.13.105:9092命令参数说明:
--topic:主题名
--record-size:单条消息的数据⼤⼩,单位字节
--num-records:总消息数
--throughput:每秒消息数,-1表⽰不限制
bootstrap.servers:节点和端⼝
结果:
100000 records sent, 42337.002540 records/sec (40.38 MB/sec), 465.00 ms avg latency, 1121.00 ms max latency, 392 ms 50th, 1023 ms 95th, 1110 ms 99th, 1120 ms 99.9th.
结果说明:
吞吐量:40.38 MB/sec
每次写⼊的平均延迟:465.00 ms
最⼤延迟:1121.00 ms
将近0.5秒的写⼊延迟,算是⽐较低的性能了。
消费者压⼒测试
/home/web/kafka/bin/kafka-consumer-perf-test.sh --broker-list 172.50.13.103:9092,172.50.13.104:9092,172.50.13.105:9092 --topic=test --fetch-size 10000 -messages 100000 --threads 1
命令参数说明:
--fetch-size:指定每次fetch的数据的⼤⼩
--messages:总共要消费的消息个数
结果:
start.time, end.time, sumed.in.MB, MB.sec, sumed.in.nMsg, nMsg.sec, rebalance.tim
e.ms, fetch.time.ms, fetch.MB.sec, fetch.nMsg.sec
2021-04-27 15:35:34:005, 2021-04-27 15:35:35:429, 13.6017, 9.5517, 100000, 70224.7191, 1619508934406, -1619508932982, -0.0000, -0.0001
结果说明:
共消费数据13.6017 MB
吞吐量:9.5517 MB/sec
总共消费消息量:100000
kafka命令
平均每秒消费:70224.7191 nMsg/Sec
平均每秒消费数也⽐较低。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。