⾯试题:为什么使⽤消息队列?消息队列有什么优缺点?
⽬录
1. ⾯试题
为什么使⽤消息队列?
消息队列有什么优点和缺点?
Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?
2. ⾯试官⼼理分析
其实⾯试官主要是想看看:
第⼀,你知不知道你们系统⾥为什么要⽤消息队列这个东西? 不少候选⼈,说⾃⼰项⽬⾥⽤了 Redis、MQ,但是其实他并不知道⾃⼰为什么要⽤这个东西。其实说⽩了,就是为了⽤⽽⽤,或者是别⼈设计的架构,他从头到尾都没思考过。 没有对⾃⼰的架构问过为什么的⼈,⼀定是平时没有思考的⼈,⾯试官对这类候选⼈印象通常很不好。因为⾯试官担⼼你进了团队之后只会⽊头⽊脑的⼲呆活⼉,不会⾃⼰思考。
第⼆,你既然⽤了消息队列这个东西,你知不知道⽤了有什么好处&坏处? 你要是没考虑过这个,那你盲⽬弄个 MQ 进系统⾥,后⾯出了问题你是不是就⾃⼰溜了给公司留坑?你要是没考虑过引⼊⼀个技术可能存在的弊端和风险,⾯试官把这类候选⼈招进来了,基本可能就是挖坑型选⼿。就怕你⼲ 1 年挖⼀堆坑,⾃⼰跳槽了,给公司留下⽆穷后患。
第三,既然你⽤了 MQ,可能是某⼀种 MQ,那么你当时做没做过调研? 你别傻乎乎的⾃⼰拍脑袋看个⼈喜好就瞎⽤了⼀个 MQ,⽐如 Kafka,甚⾄都从没调研过业界流⾏的 MQ 到底有哪⼏种。每⼀个 MQ 的优点和缺点是什么。每⼀个 MQ 没有绝对的好坏,但是就是看⽤在哪个场景可以扬长避短,利⽤其优势,规避其劣势。 如果是⼀个不考虑技术选型的候选⼈招进了团队,leader 交给他⼀个任务,去设计个什么系统,他在⾥⾯⽤⼀些技术,可能都没考虑过选型,最后选的技术可能并不⼀定合适,⼀样是留坑。
3. ⾯试题剖析
3.1. 为什么使⽤消息队列
其实就是问问你消息队列都有哪些使⽤场景,然后你项⽬⾥具体是什么场景,说说你在这个场景⾥⽤消息队列⼲什么?
⾯试官问你这个问题,期望的⼀个回答是说,你们公司有个什么业务场景,这个业务场景有个什么技术挑战,如果不⽤ MQ 可能会很⿇烦,但是你现在⽤了 MQ 之后带给了你很多的好处。
先说⼀下消息队列常见的使⽤场景吧,其实场景有很多,但是⽐较核⼼的有 3 个:解耦、异步、削峰。
3.1.1. 解耦
看这么个场景。A 系统发送数据到 BCD 三个系统,通过接⼝调⽤发送。如果 E 系统也要这个数据呢?那如果 C 系统现在不需要了呢?A 系统负责⼈⼏乎崩溃......
excel的函数公式怎么用在这个场景中,A 系统跟其它各种乱七⼋糟的系统严重耦合,A 系统产⽣⼀条⽐较关键的数据,很多系统都需要 A 系统将这个数据发送过来。A 系统要时时刻刻考虑 BCDE 四个系统如果挂了该咋办?要不要重发,要不要把消息存起来?头发都⽩了啊!
mysql面试题acid如果使⽤ MQ,A 系统产⽣⼀条数据,发送到 MQ ⾥⾯去,哪个系统需要数据⾃⼰去 MQ ⾥⾯消费。如果新系统需要数据,直接从 MQ ⾥消费即可;如果某个系统不需要这条数据了,就取消对 MQ 消息的消费即可。这样下来,A 系统压根⼉不需要去考虑要给谁发送数据,不需要维护这个代码,也不需要考虑⼈家是否调⽤成功、失败超时等情况。
总结:通过⼀个 MQ,Pub/Sub 发布订阅消息这么⼀个模型,A 系统就跟其它系统彻底解耦了。
⾯试技巧:你需要去考虑⼀下你负责的系统中是否有类似的场景,就是⼀个系统或者⼀个模块,调⽤了多个系统或者模块,互相之间的调⽤很复杂,维护起来很⿇烦。但是其实这个调⽤是不需要直接同步调⽤接⼝的,如果⽤ MQ 给它异步化解耦,也是可以的,你就需要去考虑在你的项⽬⾥,是不是可以运⽤这个 MQ 去进⾏系统的解耦。在简历中体现出来这块东西,⽤ MQ 作解耦。
3.1.2. 异步
再来看⼀个场景,A 系统接收⼀个请求,需要在⾃⼰本地写库,还需要在 BCD 三个系统写库,⾃⼰本地写库要 3ms,BCD 三个系统分别写库要 300ms、450ms、200ms。最终请求总延时是 3 + 300 + 450 + 200 = 953ms,接近 1s,⽤户感觉搞个什么东西,慢死了慢死了。⽤户通过浏览器发起请求,等待个 1s,这⼏乎是不可接受的。
⼀般互联⽹类的企业,对于⽤户直接的操作,⼀般要求是每个请求都必须在 200 ms 以内完成,对⽤户⼏乎是⽆感知的。
如果使⽤ MQ,那么 A 系统连续发送 3 条消息到 MQ 队列中,假如耗时 5ms,A 系统从接受⼀个请求到返回响应给⽤户,总时长是 3 + 5 = 8ms,对于⽤户⽽⾔,其实感觉上就是点个按钮,8ms 以后就直接返回了,爽!⽹站做得真好,真快!
3.1.3. 削峰
每天 0:00 到 12:00,A 系统风平浪静,每秒并发请求数量就 50 个。结果每次⼀到 12:00 ~ 13:00 ,每秒并发请求数量突然会暴增到5k+ 条。但是系统是直接基于 MySQL 的,⼤量的请求涌⼊ MySQL,每秒钟对 MySQL 执⾏约 5k 条 SQL。
⼀般的 MySQL,扛到每秒 2k 个请求就差不多了,如果每秒请求到 5k 的话,可能就直接把 MySQL 给打死了,导致系统崩溃,⽤户也就没法再使⽤系统了。
但是⾼峰期⼀过,到了下午的时候,就成了低峰期,可能也就 1w 的⽤户同时在⽹站上操作,每秒中的请求数量可能也就 50 个请求,对整个系统⼏乎没有任何的压⼒。
如果使⽤ MQ,每秒 5k 个请求写⼊ MQ,A 系统每秒钟最多处理 2k 个请求,因为 MySQL 每秒钟最多处理 2k 个。A 系统从 MQ 中慢慢拉取请求,每秒钟就拉取 2k 个请求,不要超过⾃⼰每秒能处理的最⼤请求数量就 ok,这样下来,哪怕是⾼峰期的时候,A 系统也绝对不会挂掉。因为MQ在最前端对流量进⾏蓄洪,下游的系统只跟MQ打交道。⽽MQ 每秒钟 5k 个请求进来,就 2k 个请求出去,结果就导致在中午⾼峰期(1 个⼩时),可能有⼏⼗万甚⾄⼏百万的请求积压在 MQ 中。
这个短暂的⾼峰期积压是 ok 的,因为⾼峰期过了之后,每秒钟就 50 个请求进 MQ,但是 A 系统依然会按照每秒 2k 个请求的速度在处理。所以说,只要⾼峰期⼀过,A 系统就会快速将积压的消息给解决掉。
vue数组排序3.2. 消息队列有什么优缺点
优点上⾯已经说了,就是在特殊场景下有其对应的好处,解耦、异步、削峰。
缺点有以下⼏个:
系统可⽤性降低 系统引⼊的外部依赖越多,越容易挂掉。本来你就是 A 系统调⽤ BCD 三个系统的接⼝就好了,⼈ ABCD 四个系统好好的,没啥问题,你偏加个 MQ 进来,万⼀ MQ 挂了咋整,MQ ⼀挂,整套系统崩溃的,你不就完了?如何保证消息队列的⾼可⽤,可以。
系统复杂度提⾼ 硬⽣⽣加个 MQ 进来,你怎么?怎么?怎么保证消息传递的顺序性?头⼤头⼤,问题⼀⼤堆,痛苦不已。
⼀致性问题 A 系统处理完了直接返回成功了,⼈都以为你这个请求就成功了;但是问题是,要是 BCD 三个系统那⾥,BD 两个系统写库成功了,结果 C 系统写库失败了,咋整?你这数据就不⼀致了。
所以消息队列实际是⼀种⾮常复杂的架构,你引⼊它有很多好处,但是也得针对它带来的坏处做各种额外的技术⽅案和架构来规避掉,做好之后,你会发现,妈呀,系统复杂度提升了⼀个数量级,也许是复杂了 10 倍。但是关键时刻,⽤,还是得⽤的。
3.3. Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点?
特性ActiveMQ RabbitMQ RocketMQ Kafka
单机吞吐量万级,⽐
RocketMQ、
Kafka 低⼀个
数量级
同 ActiveMQ10 万级,⽀撑⾼吞吐
10 万级,⾼吞吐,⼀般配合⼤数据类的系统来进⾏实时电脑上显示ignore是什么意思
数据计算、⽇志采集等场景
topic 数量对吞吐量的影响topic 可以达到⼏百/⼏千的级别,吞吐量会有
较⼩幅度的下降,这是 RocketMQ 的⼀⼤优
势,在同等机器下,可以⽀撑⼤量的 topic
topic 从⼏⼗到⼏百个时候,吞吐量会⼤幅度下降,在同
等机器下,Kafka 尽量保证 topic 数量不要过多,如果
要⽀撑⼤规模的 topic,需要增加更多的机器资源
时效性ms 级微秒级,这是
RabbitMQ 的⼀
⼤特点,延迟最低
ms 级延迟在 ms 级以内
可⽤性⾼,基于主从
架构实现⾼可
⽤
同 ActiveMQ⾮常⾼,分布式架构
⾮常⾼,分布式,⼀个数据多个副本,少数机器宕机,不
java项目开发实战入门pdf会丢失数据,不会导致不可⽤idea如何配置tomcat
消息可靠性有较低的概率
丢失数据
基本不丢经过参数优化配置,可以做到 0 丢失同 RocketMQ
功能⽀持MQ 领域的功
能极其完备
基于 erlang 开
发,并发能⼒很
强,性能极好,延
时很低
MQ 功能较为完善,还是分布式的,扩展性好
功能较为简单,主要⽀持简单的 MQ 功能,在⼤数据领
域的实时计算以及⽇志采集被⼤规模使⽤
综上,各种对⽐之后,有如下建议:
⼀般的业务系统要引⼊ MQ,最早⼤家都⽤ ActiveMQ,但是现在确实⼤家⽤的不多了,没经过⼤规模吞吐量场景的验证,社区也不是很活跃,所以⼤家还是算了吧,我个⼈不推荐⽤这个了;
后来⼤家开始⽤ RabbitMQ,但是确实 erlang 语⾔阻⽌了⼤量的 Java ⼯程师去深⼊研究和掌控它,对公司⽽⾔,⼏乎处于不可控的状态,但是确实⼈家是开源的,⽐较稳定的⽀持,活跃度也⾼;
不过现在确实越来越多的公司会去⽤ RocketMQ,确实很不错,毕竟是阿⾥出品,但社区可能有突然黄掉的风险(⽬前 RocketMQ 已捐给 ,但 GitHub 上的活跃度其实不算⾼)对⾃⼰公司技术实⼒有绝对⾃信的,推荐⽤ RocketMQ,否则回去⽼⽼实实⽤ RabbitMQ 吧,⼈家有活跃的开源社区,绝对不会黄。
所以中⼩型公司,技术实⼒较为⼀般,技术挑战不是特别⾼,⽤ RabbitMQ 是不错的选择;⼤型公司,基础架构研发实⼒较强,⽤RocketMQ 是很好的选择。
如果是⼤数据领域的实时计算、⽇志采集等场景,⽤ Kafka 是业内标准的,绝对没问题,社区活跃度很⾼,绝对不会黄,何况⼏乎是全世界这个领域的事实性规范。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论