简介
- 什么是消息队列
消息队列是在消息的传输过程中保存消息的容器,简单点理解就是传递消息的队列,具备先进先出的特点,一般用于异步、解耦、流量 削锋等问题,实现高性能、高可用、高扩展的架构
- 主要概念
Producer:消息生产者,负责产生和发送消息到 Broker。
Broker:消息处理中心,负责消息存储、确认、重试等,一般其中会包含多个 Queue。
Consumer:消息消费者,负责从 Broker中获取消息,并进行相应处理
- 应用场景
应用解耦:消息队列减少了服务之间的耦合性,不同的服务可以通过消息队列进行通信,而不用关心彼此的实现细节。
异步处理:消息队列本身是异步的,它允许接收者在消息发送很长时间后再取回消息。
流量削锋:当上下游系统处理能力存在差距的时候,利用消息队列做一个通用的”载体”,在下游有能力处理的时候,再进行分发与处理。
日志处理:将消息队列用在日志处理中,比如 Kafka 的应用,解决大量日志传输的问题。
消息通讯:消息队列一般都内置了高效的通信机制,因此也可以用在纯消息通讯,比如实现聊天室等。
消息广播:如果没有消息队列,每当一个新业务方接入,都要接入一次新接口。有了消息队列,我们只需要关心消息是否送达了队列,至于谁订阅,是下游的事,无疑极大地减少了开发和联调的工作量
解决方案
目前主流的消息队列解决方案 :kafka、rocketMq、rabbitmq、redis
- Kafka:
适用于高吞吐量、持久性、分布式的消息处理。
提供分布式、可扩展、高容错性的消息发布与订阅机制。
仅提供基本的消息传递,没有高级的消息处理和排队机制。
适用于大规模数据流处理和实时数据管道。
- RocketMQ:
适用于大规模、高吞吐量、可靠性、顺序消息传递。
提供丰富的消息处理功能,包括事务消息、延迟消息等。
具有分布式、高容错性、低延迟、高可靠性的特点。
适用于金融行业等业务场景
- RabbitMQ:
适用于灵活、可靠、异步的消息通信。
提供广泛的消息传递模式(如发布/订阅、点对点)和通道管理功能。
支持多种协议(如AMQP、STOMP、MQTT等)。
适用于任务队列、工作流、事件驱动等异步消息处理场景。
- Redis:
Redis使用内存存储,支持快速读写,适用于消息量较大、消息较小、读写频繁的系统
- 总结
吞吐量高(十万级)、可靠性高 可以选择rokcetMq
吞吐量高(十万级)、可靠性相对较高 可以选择kafka 比如日志场景
吞吐量小(万级) 、可靠性相对低(有较低的概率丢失数据),中小企业可以用
redis 一般用于实时性较高的场景,比如解决聊天消息分布式问题,就可以用redis来解决
可靠性
- 生产者
确认机制
对于没有确认或者失败,进行兜底处理,比如记录在数据中,或者改变数据库某个字段的状态 - 消息队列
持久化数据 - 消息者
消费失败,进行重试或者消息确认,进行再次消费
消息重复
-
redis去重
-
mysql唯一去重
-
分布式锁文章来源:https://www.toymoban.com/news/detail-684176.html
注:以上图片来源于网络,如侵权,速告知文章来源地址https://www.toymoban.com/news/detail-684176.html
到了这里,关于消息队列解决方案的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!