【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka

这篇具有很好参考价值的文章主要介绍了【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

作者简介

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

前言

博主之前写过一个完整的MQ系列,包含RabbitMQ、RocketMQ、Kafka,从安装使用到底层机制、原理。专栏地址:

https://blog.csdn.net/joker_zjn/category_12142400.html?spm=1001.2014.3001.5482

本文是该系列的清单综述,会拉通来聊一下三大MQ的特点和各种适合的场景。

目录

1.概述

1.1.MQ简介

1.2.MQ的应用场景

1.3.关注MQ的角度

2.RabbitMQ

3.RocketMQ

4.Kafka

5.三大MQ的对比


1.概述

1.1.MQ简介

消息中间件,其实准确的叫法应该叫消息队列(message queue),简称MQ。其本质上是个队列,有FIFO的性质,即first in first out,先入先出。

目前市场上主流的MQ有三款:

  1. RabbitMQ
  2. RocketMQ
  3. Kafka

1.2.MQ的应用场景

MQ一般用在几种场景:

  1. 流量削锋
  2. 应用解耦
  3. 异步任务

1.流量削锋

流量过大的时候,用MQ作为一个中间层,暂时存储流量,让流量在队列中排队去访问服务,从而控制直接访问服务的流量,减轻服务的实时流量压力。

以网购下订单为例:

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

2.应用解耦

使用MQ作为应用之间的中间层,从而使得应用直接不存在直接调用的关系,解除应用之间的耦合。这样在被调用的应用挂掉以后,应用之间的调用不会直接产生异常,请求仍可以正常发送,待被调用应用重新起来以后,再去消费处理MQ中挤压的调用请求,为系统的修复争取到了时间。

以支付系统为例:

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

3.异步任务

有些服务调用对于响应的实时性要求不高,允许延迟响应、异步处理。使用MQ可以将这些可以异步处理的请求,暂存在队列中,调用方不必等待,直接向下执行其他任务,被调用方消费MQ中消息后自行返回给调用方响应。

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

1.3.关注MQ的角度

虽然市面上的MQ数量众多、种类繁杂,但MQ其本质上就是用来暂时存放消息的一种中间件,其实从三个角度去关注MQ即可抓住MQ的核心:

  1. 消息可靠性
  2. 消息模型
  3. 吞吐量

1.消息可靠性

消息可靠性,即消息会不会丢失?围绕防止消息丢失做了哪些工作?

2.消息模型

消息模型,即支持以什么样的模式去消费消息?点对点?广播?发布订阅?其消息模型丰富度如何?

3.吞吐量

MQ作为用来减轻系统压力的中间件,其自身势必会经常面对很大的流量,吞吐量如何自然是要考虑的。

本文在最后横向对比三大MQ的时候就会从以上三点出发。除了以上三点,还有一点是值得额外关注的,就是扩容是否方便,即是否在架构上能很好的支持分布式架构。当然这不是核心点,要扩容怎么都能扩,只是看方便与否。

2.RabbitMQ

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

RabbitMQ有几个特点:

  1. 遵从AMQP协议
  2. 丰富的消息模型极
  3. 消息可靠性高但是吞吐量不高

1.遵从AMQP

博主在之前的中间件系列中详细介绍了AMQP:

详解AMQP协议__BugMan的博客-CSDN博客

AMQP简单来说就是规定好了MQ的各个抽象组件,RabbitMQ则是一款完全严格按照AMQP来实现的开源MQ,使得很好被开源框架所集成,比如Spring AMQP专门就是用来操作AMQP架构的中间件的,因此RabbitMQ可以被Spring Boot很方便的集成。

2.丰富的消息模型

RabbitMQ也是三大MQ里提供的消息模型最丰富的一种MQ。

博主之前在博主在之前的中间件系列中详细介绍了RabbitMQ的六大消息模型:

SpringBoot RabbitMq 六大模式_springboot整合rabbitmq六种模式__BugMan的博客-CSDN博客

3.消息可靠性高但是吞吐量不高

RabbitMQRabbitMQ 提供了多种机制来确保消息的可靠性,包括持久化、消息确认、发布确认等。这些机制确保消息不会丢失,并且能够在各种情况下处理消息传递失败。但是由于存在这些用于保证消息可靠性的机制,RabbitMQ的吞吐量在三大中间件中是最低的。

博主在之前的中间件系列中详细介绍了RabbitMQ的消息防丢失:

RabbitMq消息防丢失(含springboot代码示例)_rabbitmq springboot work模式数据丢失__BugMan的博客-CSDN博客

博主在之前的中间件系列中也详细介绍了RabbitMQ如何防止重复消费,这种解法对所有MQ都是通用的,此处只是以RabbitMQ为例:

RabbitMQ重复消费_rabbitmq消息重复消费__BugMan的博客-CSDN博客

3.RocketMQ

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

RocketMQ是一款开源的分布式消息中间件,最初由阿里巴巴集团开发并开源。它旨在为分布式系统提供可靠、高性能、可扩展的消息通信能力。其已经是阿里内部最核心的消息中间件,用来保证每年双十一期间系统的稳定。

Rocket安装使用:

RocketMQ下载安装、集群搭建保姆级教程_rocketmq集群安装__BugMan的博客-CSDN博客

RocketMQ有以下几个特点:

  1. 天生的分布式架构
  2. 兼顾消息可靠性和高吞吐量
  3. 消息模型够用

1.天生的分布式架构

RocketMQ 的设计采用了分布式架构,可以将消息存储和处理分散到多个节点上。这样可以实现消息的并行处理,提高系统的吞吐量和并发性能。整个RocketMQ集群的架构和微服务架构类似,有一个存放节点信息的name server,生产者和消费者都去找name server拿broker的信息,再去定位到具体的某一个broker上,进行消息的收发。 broker之间可以用主从的方式进行互相备份,进行容错。

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

博主在之前的中间件系列中也详细介绍了RabbitMQ的架构:

RocketMQ基础概念__BugMan的博客-CSDN博客

2.兼顾消息可靠性和高吞吐量

可靠性和吞吐量其实是互斥的两点,为了保证可靠性,消息就一定要落在磁盘存储防止断电丢失。落在磁盘存储后,读这条消息的时候的磁盘IO就会拉低吞吐量。所以RocketMQ的核心其实就是数据落磁盘,然后想尽一切办法来提高吞吐量。RocketMQ主采用了顺序读写、异步刷盘、零拷贝三大机制来拉升了吞吐量。

博主在之前的中间件系列中也详细介绍了RabbitMQ的可靠性以及顺序读写、异步刷盘、零拷贝等内容:

RocketMQ概论__BugMan的博客-CSDN博客

3.消息模型够用

RocketMQ的消息模型没有RabbitMQ那么够用,但是基本的点对点、广播、发布订阅、事务等都是有的,面对绝大多数场景基本上是够用的。

博主在之前的中间件系列中也详细介绍了RabbitMQ的消息模型:

详解RocketMQ使用_rocketmq 使用__BugMan的博客-CSDN博客

4.Kafka

【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka,消息中间件,java,开发语言,原力计划

Kafka其实和RocketMQ很相似,一款具有高吞吐量、高可靠性的分布式消息中间件。其采用分布式架构顺序写序列化零拷贝等机制保证了高吞吐量,数据自动落磁盘完成持久化来保证消息不会丢失。

Kafka的内容其实和RocketMQ差不多,博主在之前的消息中间件系列中有详细讲过Kafka的上述内容:

Kafka概论__BugMan的博客-CSDN博客

5.三大MQ的对比

重头戏来了,在实际开发中,要用到MQ时,对MQ的选型是很重要的,选型的基础是一定要了解MQ的特点和适用的场景。

Kafka:

  • 优点:

    • 吞吐量:Kafka的设计目标是实现高吞吐量的消息传递,拥有很大的吞吐量,适用于处理大量的实时数据流。

    • 扩展性:Kafka采用分布式架构,允许构建具有高可用性和可伸缩性的消息系统。

    • 可靠性:Kafka将消息持久化到磁盘上,可以长期保留数据,并支持高效的消息回放。

  • 缺点:

    • 复杂性:Kafka的配置和管理相对较复杂,需要一定的学习和运维成本。

    • 实时性:由于Kafka是批量处理数据的,并且由于需要在分区之间进行数据的复制和同步,所以相对于其它MQ,kafka会存在一定时延。

    • 功能丰富度:支持的消费模式比较单一

RabbitMQ:

  • 优点:

    • 功能丰富度:RabbitMQ支持灵活的路由机制和多种消息模式,如点对点、发布-订阅和主题订阅等。

    • 可靠性:RabbitMQ通过消息确认机制和持久化可以保证消息的可靠传递。

    • 兼容性:RabbitMQ使用标准的AMQP协议,支持跨语言和平台的互操作性。

  • 缺点:

    • 吞吐量:没有做拉升吞吐量的优化所以相比于其他消息队列系统,RabbitMQ的吞吐量较低。

    • 扩展性:RabbitMQ的集群管理较为复杂,需要很多额外的配置和管理。

RocketMQ:

  • 优点:

    • 高吞吐量和低延迟:RocketMQ是为处理大规模数据流设计的,具有高吞吐量和低延迟的特点。RocketMQ的时延。

    • 可靠性:存在持久化机制、确认机制,具有高可靠性。

    • 扩展性:RocketMQ支持水平扩展,可以通过添加更多的节点来提高系统的性能和容量。

  • 缺点:

    • 社区支持:相对于Kafka和RabbitMQ,RocketMQ的社区支持相对较弱。

    • 功能丰富度:RocketMQ在功能上相对较为简化,可能不适用于复杂的消息处理场景。

适用场景:

  • RabbitMQ适用于对消息可靠性要求高或者灵活的消息路由和多种消息模式的场景,如任务队列、发布-订阅和事件驱动架构。

  • Kafka虽然存在一些时延,但是这个时延并不会很大,总体上来说Kafka和rocket适用的场景是高度重叠的,RocketMQ和Kafka都专注于高吞吐量和低延迟的场景,因此它们都适用于需要处理大规模数据流和实时消息传递的应用。Kafka在大数据领域具有广泛的应用,与Hadoop、Spark等工具有良好的集成。RocketMQ在互联网领域应用较为广泛,适用于电商、物流等场景。文章来源地址https://www.toymoban.com/news/detail-699402.html

到了这里,关于【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ActiveMQ、RabbitMQ、Kafka、RocketMQ消息中间件技术选型

    消息中间件是分布式系统中重要的组件之一,用于实现异步通信、解耦系统、提高系统可靠性和扩展性。在做消息中间件技术选型时,需要考虑多个因素,包括可靠性、性能、可扩展性、功能丰富性、社区支持和成本等。本文将五种流行的消息中间件技术:ActiveMQ、RabbitMQ、

    2024年02月11日
    浏览(49)
  • SpringBoot整合消息中间件(ActiveMQ,RabbitMQ,RocketMQ,Kafka)

    消息的发送方:生产者 消息的接收方:消费者 同步消息:发送方发送消息到接收方,接收方有所回应后才能够进行下一次的消息发送 异步消息:不需要接收方回应就可以进行下一步的发送 什么是消息队列? 当此时有很多个用户同时访问服务器,需要服务器进行操作,但此

    2024年04月27日
    浏览(51)
  • 消息中间件(RocketMQ、RabbitMQ、ActiveMQ、Redis、kafka、ZeroMQ)以及之间的区别

    目录 一、什么是消息中间件 二、消息中间件的组成 1、Broker 2、Producer 3、Consumer 4、Topic 5、Queue 6、Message 三、消息中间件通信模式 1、点对点(kafka不支持这种模式)  2、发布/订阅  四、消息中间件的作用 1、系统解耦 2、提高系统响应时间 3、为大数据处理架构提供服务 五、

    2024年01月25日
    浏览(52)
  • 消息中间件RabbitMQ详解

    消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。 消息中间件适用于需要可靠的数据传送的分布式环境。采用消息中间件机制的系统中

    2024年02月16日
    浏览(83)
  • 深入详解高性能消息队列中间件 RabbitMQ

      目录 1、引言 2、什么是 RabbitMQ ? 3、RabbitMQ 优势 4、RabbitMQ 整体架构剖析 4.1、发送消息流程 4.2、消费消息流程 5、RabbitMQ 应用 5.1、广播 5.2、RPC VC++常用功能开发汇总(专栏文章列表,欢迎订阅,持续更新...) https://blog.csdn.net/chenlycly/article/details/124272585 C++软件异常排查从入

    2024年02月05日
    浏览(79)
  • 消息中间件之八股面试回答篇:一、问题概览+MQ的应用场景+RabbitMQ如何保证消息不丢失(生产者确认机制、持久化、消费者确认机制)+回答模板

    目前主流的消息队列技术(MQ技术)分为RabbitMQ和Kafka,其中深蓝色为只要是MQ,一般都会问到的问题。浅蓝色是针对RabbitMQ的特性的问题。蓝紫色为针对Kafka的特性的问题。 MQ主要提供的功能为:异步 解耦 削峰 。 展开来讲就是 异步发送(验证码、短信、邮件…) MYSQL和Redi

    2024年01月24日
    浏览(61)
  • 【中间件】MQ是什么?RabbitMQ又是什么?

    大家好,我是卷心菜。如果您看完这篇文章有所收获,可以三连支持博主哦~,嘻嘻。 🎁 作者简介: 在校大学生一枚,Java领域新星创作者,Java、Python正在学习中,期待和大家一起学习一起进步~ 💗 个人主页:我是一棵卷心菜的个人主页 🔶 本文专栏:RabbitMQ学习 📕 自我提

    2024年02月02日
    浏览(48)
  • RocketMQ(消息中间件)

    目录 一、为什么会出现消息中间件? 二、消息中间件是干嘛的? 三、应用解耦 四、流量削峰 五、异步处理 1.串行方式: 2.并行方式: 3.引入消息队列:  六、RocketMQ的架构及概念 Http请求默认采用同步请求方式,基于请求与响应模式,在客户端与服务器进行通讯 时,客户端

    2024年02月10日
    浏览(48)
  • 消息中间件-RocketMQ

            RocketMQ是阿里巴巴开源的消息分布中间件,在阿里内部使用非常更广泛,已经经过了“双11”这种万亿级的应用场景考验。 1.安装         下载地址:http://rocketmq.apache.org/release_notes/release-notes-4.4.0/         下载完成后解压缩安装包到指定目录。 2.配置    

    2024年02月09日
    浏览(44)
  • 消息中间件系列 - RocketMQ

    本内容仅用于个人学习笔记,如有侵扰,联系删除 【尚硅谷】RocketMQ教程丨深度掌握MQ消息中间件_哔哩哔哩_bilibili 1 、MQ简介 MQ , Message Queue ,是一种提供 消息队列服务 的中间件,也称为消息中间件,是一套提供了消息生产、存储、消费全过程API的软件系统。消息即数据。

    2024年02月16日
    浏览(72)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包