⾯试题:Kafka、ActiveMQ、RabbitMQ、RocketMQ有什么优
缺点?
⾯试题
1. 为什么使⽤消息队列?
2. 消息队列有什么优点和缺点?
3. Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?
⾯试官⼼理分析
其实⾯试官主要是想看看:
winform design第⼀,你知不知道你们系统⾥为什么要⽤消息队列这个东西?
不少候选⼈,说⾃⼰项⽬⾥⽤了 Redis、MQ,但是其实他并不知道⾃⼰为什么要⽤这个东西。其实说⽩了,就是为了⽤⽽⽤,或者是别⼈设计的架构,他从头到尾都没思考过。
没有对⾃⼰的架构问过为什么的⼈,⼀定是平时没有思考的⼈,⾯试官对这类候选⼈印象通常很不好。因为⾯试官担⼼你进了团队之后只会⽊头⽊脑的⼲呆活⼉,不会⾃⼰思考。
第⼆,你既然⽤了消息队列这个东西,你知不知道⽤了有什么好处 & 坏处?
你要是没考虑过这个,那你盲⽬弄个 MQ 进系统⾥,后⾯出了问题你是不是就⾃⼰溜了给公司留坑?你要是没考虑过引⼊⼀个技术可能存在的弊端和风险,⾯试官把这类候选⼈招进来了,基本可能就是挖坑型选⼿。就怕你⼲ 1 年挖⼀堆坑,⾃⼰跳槽了,给公司留下⽆穷后患。
第三,既然你⽤了 MQ,可能是某⼀种 MQ,那么你当时做没做过调研?
你别傻乎乎的⾃⼰拍脑袋看个⼈喜好就瞎⽤了⼀个 MQ,⽐如 Kafka,甚⾄都从没调研过业界流⾏的 MQ 到底有哪⼏种。每⼀个 MQ 的优点和缺点是什么。每⼀个 MQ 没有绝对的好坏,但是就是看⽤在哪个场景可以扬长避短,利⽤其优势,规避其劣势。
如果是⼀个不考虑技术选型的候选⼈招进了团队,leader 交给他⼀个任务,去设计个什么系统,他在⾥⾯⽤⼀些技术,可能都没考虑过选型,最后选的技术可能并不⼀定合适,⼀样是留坑。
⾯试题剖析
为什么使⽤消息队列?
其实就是问问你消息队列都有哪些使⽤场景,然后你项⽬⾥具体是什么场景,说说你在这个场景⾥⽤消息队列是什么?
⾯试官问你这个问题,期望的⼀个回答是说,你们公司有个什么业务场景,这个业务场景有个什么技术挑战,如果不⽤ MQ 可能会很⿇烦,但是你现在⽤了 MQ 之后带给了你很多的好处。
先说⼀下消息队列常见的使⽤场景吧,其实场景有很多,但是⽐较核⼼的有 3 个:解耦、异步、削峰。
解耦
看这么个场景。A 系统发送数据到 BCD 三个系统,通过接⼝调⽤发送。如果 E 系统也要这个数据呢?那如果 C 系统现在不需要了呢?A 系统负责⼈⼏乎崩溃…
在这个场景中,A 系统跟其它各种乱七⼋糟的系统严重耦合,A 系统产⽣⼀条⽐较关键的数据,很多系统都需要 A 系统将这个数据发送过来。A 系统要时时刻刻考虑 BCDE 四个系统如果挂了该咋办?要不要重发,要不要把消息存起来?头发都⽩了啊!
如果使⽤ MQ,A 系统产⽣⼀条数据,发送到 MQ ⾥⾯去,哪个系统需要数据⾃⼰去 MQ ⾥⾯消费。如果新系统需要数据,直接从 MQ ⾥消费即可;如果某个系统不需要这条数据了,就取消对 MQ 消息的消费即可。这样下来,A 系统压根⼉不需要去考虑要给谁发送数据,不需要维护这个代码,也不需要考虑⼈家是否调⽤成功、失败超时等情况。
总结:通过⼀个 MQ,Pub/Sub 发布订阅消息这么⼀个模型,A 系统就跟其它系统彻底解耦了。
⾯试技巧:你需要去考虑⼀下你负责的系统中是否有类似的场景,就是⼀个系统或者⼀个模块,调⽤了多个系统或者模块,互相之间的调⽤很复杂,维护起来很⿇烦。但是其实这个调⽤是不需要直接同步调⽤接⼝的,如果⽤ MQ 给它异步化解耦,也是可以的,你就需要去考虑在你的项⽬⾥,是不是可以运⽤这个 MQ 去进⾏系统的解耦。在简历中体现出来这块东西,⽤ MQ 作解耦。
异步mysql面试题sql优化
再来看⼀个场景,A 系统接收⼀个请求,需要在⾃⼰本地写库,还需要在 BCD 三个系统写库,⾃⼰本地写库要 3ms,BCD 三个系统分别写库要 300ms、450ms、200ms。最终请求总延时是 3 + 300 + 450 + 200 = 953ms,接近 1s,⽤户感觉搞个什么东西,慢死了慢死了。⽤户通过浏览器发起请求,等待个 1s,这⼏乎是不可接受的。
⼀般互联⽹类的企业,对于⽤户直接的操作,⼀般要求是每个请求都必须在 200 ms 以内完成,对⽤户⼏乎是⽆感知的。
如果使⽤ MQ,那么 A 系统连续发送 3 条消息到 MQ 队列中,假如耗时 5ms,A 系统从接受⼀个请求到返回响应给⽤户,总时长是 3 + 5 = 8ms,对于⽤户⽽⾔,其实感觉上就是点个按钮,8ms 以后就直接返回了,爽!⽹站做得真好,真快!
削峰
每天 0:00 到 12:00,A 系统风平浪静,每秒并发请求数量就 50 个。结果每次⼀到 12:00 ~ 13:00 ,每秒并发请求数量突然会暴增到5k+ 条。但是系统是直接基于 MySQL的,⼤量的请求涌⼊ MySQL,每
秒钟对 MySQL 执⾏约 5k 条 SQL。
⼀般的 MySQL,扛到每秒 2k 个请求就差不多了,如果每秒请求到 5k 的话,可能就直接把 MySQL 给打死了,导致系统崩溃,⽤户也就没法再使⽤系统了。
但是⾼峰期⼀过,到了下午的时候,就成了低峰期,可能也就 1w 的⽤户同时在⽹站上操作,每秒中的请求数量可能也就 50 个请求,对整个系统⼏乎没有任何的压⼒。
如果使⽤ MQ,每秒 5k 个请求写⼊ MQ,A 系统每秒钟最多处理 2k 个请求,因为 MySQL 每秒钟最多处理 2k 个。A 系统从 MQ 中慢慢拉取请求,每秒钟就拉取 2k 个请求,不要超过⾃⼰每秒能处理的最⼤请求数量就 ok,这样下来,哪怕是⾼峰期的时候,A 系统也绝对不会挂掉。⽽ MQ 每秒钟 5k 个请求进来,就 2k 个请求出去,结果就导致在中午⾼峰期(1 个⼩时),可能有⼏⼗万甚⾄⼏百万的请求积压在 MQ 中。
补码负数的乘法这个短暂的⾼峰期积压是 ok 的,因为⾼峰期过了之后,每秒钟就 50 个请求进 MQ,但是 A 系统依然会按照每秒 2k 个请求的速度在处理。所以说,只要⾼峰期⼀过,A 系统就会快速将积压的消息给解决掉。
消息队列有什么优缺点?
优点上⾯已经说了,就是在特殊场景下有其对应的好处,解耦、异步、削峰。
缺点有以下⼏个:
系统可⽤性降低:系统引⼊的外部依赖越多,越容易挂掉。本来你就是 A 系统调⽤ BCD 三个系统的接⼝就好了,⼈ ABCD 四个系统好好的,没啥问题,你偏加个 MQ 进来,万⼀ MQ 挂了咋整,MQ ⼀挂,整套系统崩溃的,你不就完了?
系统复杂度提⾼:硬⽣⽣加个 MQ 进来,你怎么保证消息没有重复消费?怎么处理消息丢失的情况?怎么保证消息传递的顺序性?头⼤头⼤,问题⼀⼤堆,痛苦不已。
⼀致性问题:A 系统处理完了直接返回成功了,⼈都以为你这个请求就成功了;但是问题是,要是 BCD 三个系统那⾥,BD 两个系统写库成功了,结果 C 系统写库失败了,咋整?你这数据就不⼀致了。
所以消息队列实际是⼀种⾮常复杂的架构,你引⼊它有很多好处,但是也得针对它带来的坏处做各种额外的技术⽅案和架构来规避掉,做好之后,你会发现,妈呀,系统复杂度提升了⼀个数量级,也许是复杂了 10 倍。但是关键时刻,⽤,还是得⽤的。
Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点?
特性ActiveMQ RabbitMQ RocketMQ Kafka
单机吞吐量万级,⽐
RocketMQ
和 Kafka 低
⼀个数量级
同 ActiveMQ10万级,⽀持⾼吞吐
10万级,⾼吞吐,⼀般配合⼤数据类的系统进⾏实时计
算、⽇志采集等场景
topic
数量对吞吐量的影响--
topic 达到⼏百、⼏千的级别,吞吐量会有较
⼩幅度的下降,这是 RocketMQ 的⼀⼤优
势,在同等机器数量下,可以⽀持⼤量的
topic
topic 从⼏⼗到⼏百个的时候,吞吐量会⼤幅度下降,在
同等的机器数量下,Kafka 尽量保证 topic 数量不要过
多,如果需要⽀撑⼤规模的 topic,需要增加机器资源
时效性毫秒级微秒级,这是
RabbitMQ 的⼀
resolve a conflict⼤特性,低延迟
毫秒级延迟在毫秒级以内
可⽤性⾼,基于主从
架构实现⾼可
⽤
同 ActiveMQ⾮常⾼,分布式架构
html空白标签⾮常⾼,分布式,⼀个数据多个副本,少数机器宕机,不
会丢失数据,不会导致不可⽤
消息可靠性有较低的概率
丢失数据
-经参数优化配置,可以做到 0 丢失同 RocketMQ
功能⽀持MQ 领域中的
功能极其完备
基于 erlang 开
发,并发能⼒很
强,性能极好,延
时很低
MQ 功能较为完善,⽀持分布式扩招
功能较为简单,⽀持简单的 MQ 功能,主要⽤于⼤数据领
域,如实时计算以及⽇志采集等场景
⼀般的业务系统要引⼊ MQ,最早⼤家都⽤ ActiveMQ,但是现在确实⼤家⽤的不多了,没经过⼤规模吞吐量场景的验证,社区也不是很活跃。
后来⼤家开始⽤ RabbitMQ,但是确实 erlang 语⾔阻⽌了⼤量的 Java ⼯程师去深⼊研究和掌控它,对公司⽽⾔,⼏乎处于不可控的状态,但是确实⼈家是开源的,⽐较稳定的⽀持,活跃度也⾼。
现在越来越多的公司,会去⽤ RocketMQ,确实很不错(阿⾥出品),也已经进⼊ Apache 基⾦会了,社区活跃,维护稳定,是⼀个很好的选择。
aspnet有什么框架如果是⼤数据领域的实时计算、⽇志采集等场景,⽤ Kafka 是业内标准的,绝对没问题,社区活跃度很⾼,⼏乎是全世界这个领域的事实性规范。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论