linux系统消息队列的模式和介绍

这篇具有很好参考价值的文章主要介绍了linux系统消息队列的模式和介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

消息队列的两种模式

点对点模式(生产者消费者模型)

P2P模式包含三个角色:消息队列(Queue)、发送者(Sender)、接收者(Receiver)。每个消息都被发送到一个特定的队列,接收者从队列中获取消息。队列保留着消息,直到它们被消费或超时。

每个消息只有一个接收者(Consumer)(即一旦被消费,消息就不再在消息队列中)

发送者和接收者间没有依赖性,发送者发送消息之后,不管有没有接收者在运行,都不会影响到发送者下次发送消息

接收者在成功接收消息之后需向队列应答成功,以便消息队列删除当前接收的消息

如果希望发送的每个消息都会被成功处理的话,那么需要P2P模式

发布/订阅模式(发布者和订阅者模型)

Pub/Sub模式包含三个角色:主题(Topic)、发布者(Publisher)、订阅者(Subscriber) 。多个发布者将消息发送到Topic,系统将这些消息传递给多个订阅者。

每个消息可以有多个订阅者

发布者和订阅者之间有时间上的依赖性。针对某个主题(Topic)的订阅者,它必须创建一个订阅者之后,才能消费发布者的消息

为了消费消息,订阅者需要提前订阅该角色主题,并保持在线运行

如果希望发送的消息可以不被做任何处理、或者只被一个消息者处理、或者可以被多个消费者处理的话,那么可以采用Pub/Sub模型

常用消息队列介绍

RabbitMQ

RabbitMQ 2007年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一

主要特性
可靠性: 提供了多种技术可以让你在性能和可靠性之间进行权衡。这些技术包括持久性机制、投递确认、发布者证实和高可用性机制

灵活的路由: 消息在到达队列前是通过交换机进行路由的。RabbitMQ为典型的路由逻辑提供了多种内置交换机类型。如果你有更复杂的路由需求,可以将这些交换机组合起来使用,你甚至可以实现自己的交换机类型,并且当做RabbitMQ的插件来使用

消息集群:在相同局域网中的多个RabbitMQ服务器可以聚合在一起,作为一个独立的逻辑代理来使用

队列高可用:队列可以在集群中的机器上进行镜像,以确保在硬件问题下还保证消息安全

多种协议的支持:支持多种消息队列协议

服务器端用Erlang语言编写,支持只要是你能想到的所有编程语言

管理界面: RabbitMQ有一个易用的用户界面,使得用户可以监控和管理消息Broker的许多方面

跟踪机制:如果消息异常,RabbitMQ提供消息跟踪机制,使用者可以找出发生了什么

插件机制:提供了许多插件,来从多方面进行扩展,也可以编写自己的插件
安装需要
ErLang语言包

RabbitMQ安装包	
优点
由于erlang语言的特性,mq 性能较好,高并发

健壮、稳定、易用、跨平台、支持多种语言、文档齐全

有消息确认机制和持久化机制,可靠性高

高度可定制的路由

管理界面较丰富,在互联网公司也有较大规模的应用

社区活跃度高
缺点
尽管结合erlang语言本身的并发优势,性能较好,但是不利于做二次开发和维护

实现了代理架构,意味着消息在发送到客户端之前可以在中央节点上排队。此特性使得RabbitMQ易于使用和部署,但是使得其运行速度较慢,因为中央节点增加了延迟,消息封装后也比较大

需要学习比较复杂的接口和协议,学习和维护成本较高

ActiveMQ

ActiveMQ是由Apache出品,ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现。它非常快速,支持多种语言的客户端和协议,而且可以非常容易的嵌入到企业的应用环境中,并有许多高级功能

主要特性
服从 JMS 规范:JMS 规范提供了良好的标准和保证,包括:同步或异步的消息分发,一次和仅一次的消息分发,消息接收和订阅等等。遵从 JMS 规范的好处在于,不论使用什么 JMS 实现提供者,这些基础特性都是可用的

连接性:ActiveMQ 提供了广泛的连接选项,支持的协议有:HTTP/S,IP 多播,SSL,STOMP,TCP,UDP,XMPP等等。对众多协议的支持让 ActiveMQ 拥有了很好的灵活性

支持的协议种类多:OpenWire、STOMP、REST、XMPP、AMQP 

持久化插件和安全插件:ActiveMQ 提供了多种持久化选择。而且,ActiveMQ 的安全性也可以完全依据用户需求进行自定义鉴权和授权

支持的客户端语言种类多:除了 Java 之外,还有:C/C++,.NET,Perl,PHP,Python,Ruby

代理集群:多个 ActiveMQ 代理可以组成一个集群来提供服务

异常简单的管理:ActiveMQ 是以开发者思维被设计的。所以,它并不需要专门的管理员,因为它提供了简单又使用的管理特性。有很多中方法可以监控 ActiveMQ 不同层面的数据,包括使用在 JConsole 或者 ActiveMQ 的Web Console 中使用 JMX,通过处理 JMX 的告警消息,通过使用命令行脚本,甚至可以通过监控各种类型的日志
安装需要
Java JDK

ActiveMQ安装包	
优点
跨平台(JAVA编写与平台无关有,ActiveMQ几乎可以运行在任何的JVM上)

可以用JDBC:可以将数据持久化到数据库。虽然使用JDBC会降低ActiveMQ的性能,但是数据库一直都是开发人员最熟悉的存储介质。将消息存到数据库,看得见摸得着。而且公司有专门的DBA去对数据库进行调优,主从分离

支持JMS :支持JMS的统一接口

支持自动重连

有安全机制:支持基于shiro,jaas等多种安全配置机制,可以对Queue/Topic进行认证和授权

监控完善:拥有完善的监控,包括Web Console,JMX,Shell命令行,Jolokia的REST API

界面友善:提供的Web Console可以满足大部分情况,还有很多第三方的组件可以使用,如hawtio;
缺点
社区活跃度不及RabbitMQ高

根据其他用户反馈,会出莫名其妙的问题,会丢失消息

目前重心放到activemq6.0产品-apollo,对5.x的维护较少

不适合用于上千个队列的应用场景

RocketMQ

RocketMQ出自阿里公司的开源产品,用 Java 语言实现,在设计时参考了 Kafka,并做出了自己的一些改进,消息可靠性上比 Kafka 更好。RocketMQ在阿里集团被广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理,binglog分发等场景

主要特性
是一个队列模型的消息中间件,具有高性能、高可靠、高实时、分布式特点

Producer、Consumer、队列都可以分布式

Producer向一些队列轮流发送消息,队列集合称为Topic,Consumer如果做广播消费,则一个consumer实例消费这个Topic对应的所有队列,如果做集群消费,则多个Consumer实例平均消费这个topic对应的队列集合

能够保证严格的消息顺序

提供丰富的消息拉取模式

高效的订阅者水平扩展能力

实时的消息订阅机制

亿级消息堆积能力

较少的依赖
安装需要
Java JDK

安装git、Maven

RocketMQ安装包
优点
单机支持 1 万以上持久化队列

RocketMQ 的所有消息都是持久化的,先写入系统 PAGECACHE,然后刷盘,可以保证内存与磁盘都有一份数据,访问时,直接从内存读取

模型简单,接口易用(JMS 的接口很多场合并不太实用)

性能非常好,可以大量堆积消息在broker中

支持多种消费,包括集群消费、广播消费等

各个环节分布式扩展设计,主从HA

开发度较活跃,版本更新很快
缺点
支持的客户端语言不多,目前是java及c++,其中c++不成熟

RocketMQ社区关注度及成熟度也不及前两者

没有web管理界面,提供了一个CLI(命令行界面)管理工具带来查询、管理和诊断各种问题

没有在 mq 核心中去实现JMS等接口

kafka

Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性文章来源地址https://www.toymoban.com/news/detail-832232.html

主要特性
快速持久化,可以在O(1)的系统开销下进行消息持久化

高吞吐,在一台普通的服务器上既可以达到10W/s的吞吐速率

完全的分布式系统,Broker、Producer、Consumer都原生自动支持分布式,自动实现负载均衡

支持同步和异步复制两种HA

支持数据批量发送和拉取

zero-copy:减少IO操作步骤

数据迁移、扩容对用户透明

无需停机即可扩展机器;

其他特性:严格的消息顺序、丰富的消息拉取模型、高效订阅者水平扩展、实时的消息订阅、亿级的消息堆积能力、定期删除机制;
安装需要
Java JDK

Kafka安装包
优点
客户端语言丰富,支持java、.net、php、ruby、python、go等多种语言

性能卓越,单机写入TPS约在百万条/秒,消息大小10个字节

提供完全分布式架构, 并有replica机制, 拥有较高的可用性和可靠性, 理论上支持消息无限堆积

支持批量操作

消费者采用Pull方式获取消息, 消息有序, 通过控制能够保证所有消息被消费且仅被消费一次;

有优秀的第三方Kafka Web管理界面Kafka-Manager;

在日志领域比较成熟,被多家公司和多个开源项目使用;	 
缺点
Kafka单机超过64个队列/分区,Load会发生明显的飙高现象,队列越多,load越高,发送消息响应时间变长

使用短轮询方式,实时性取决于轮询间隔时间

消费失败不支持重试

支持消息顺序,但是一台代理宕机后,就会产生消息乱序

社区更新较慢	

对比

Kafka在于分布式架构
RabbitMQ基于AMQP协议来实现
RocketMQ/思路来源于kafka,改成了主从结构,在事务性可靠性方面做了优化。
电商、金融等对事务性要求很高的,可以考虑RabbitMQ和RocketMQ,对性能要求高的可考虑Kafka

到了这里,关于linux系统消息队列的模式和介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 服务器RAID信息存储方式介绍&&服务器磁盘做直通模式

      今天偶然的机会,客户打电话说有一台DELL T110的服务器换了主板电池RAID信息没了进不去系统了,问我怎么处理,T110的RAID是主板集成的S100的RAID卡(算是软RAID,通过BIOS配置RAID,所有计算都是由主板CPU提供),我的第一想法是从新配置RAID,但是想到配置的过程需要初始化

    2024年02月04日
    浏览(47)
  • HTTP介绍 原理 消息结构 客户端请求 服务器响应 HTTP状态码

    HTTP协议 是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于万维网(www.world wide web)服务器传输超文本到本地浏览器的传送协议 HTTP 是基于TCP/IP(三次握手,四次挥手)通信协议来传输数据(HTML文件,图片文件,查询结果等) TCP:可靠的,丢包重传 UTP:不可靠的,直播,

    2024年02月05日
    浏览(45)
  • Windows Server 2012 R2服务器Microsoft 消息队列远程代码执行漏洞CVE-2023-21554补丁KB5025288的安装及问题解决

    近日,系统安全扫描中发现Windows Server 2012 R2服务器存在Microsoft 消息队列远程代码执行漏洞。本文记录补丁安装中遇到的“此更新不适用于你的计算机”问题及解决办法。 一、问题描述: 1、系统安全扫描中发现Windows Server 2012 R2服务器存在Microsoft 消息队列远程代码执行漏洞,

    2024年02月10日
    浏览(35)
  • Linux下常见的代理服务器软件介绍

    在Linux系统中,代理服务器是我们搭建网络环境和处理网络请求的常用工具。但是,你知道Linux下常见的代理服务器软件有哪些吗?本文将为你带来对几款常见的Linux代理服务器软件的介绍,帮助你选择适合的代理服务器。 一、Squid(Squid Proxy Server) Squid是一款功能强大的开源

    2024年02月12日
    浏览(35)
  • (一)专题介绍:移动端安卓手机改造成linux服务器&linux服务器中安装软件、部署前后端分离项目实战

    总体概述: 本篇文章隶属于“手机改造服务器 部署前后端分离项目”系列专栏,该专栏将分多个板块,每个板块独立成篇 来详细记录:手机(安卓)改造成个人服务器(Linux)、Linux中安装软件、配置开发环境、部署JAVA+VUE+MySQL5.7前后端分离项目,以及内网穿透实现外网访问等全过

    2024年02月04日
    浏览(39)
  • 银河麒麟服务器系统单用户模式修改密码

    前言:对于有忘记密码,系统启动无法正常加载(1.fstab文件内容写错导致系统启动卡住,2.部署应用使用和系统同名的so库,导致调用异常系统启动卡住,3.某个服务启动有问题导致系统启动卡住)等问题,需要进入到系统的单用户模式进行文件内容修改和排查。 对于系统而

    2024年02月02日
    浏览(49)
  • 银河麒麟服务器操作系统【进入救援模式】操作指南

     银河麒麟服务器操作系统使用光驱或者U盘启动盘引导进入救援模式的操作方法类似,这里不再阐述。 以银河麒麟服务器操作系统V10使用光驱或者U盘启动盘进入救援模式为例,具体操作步骤如下: 1.插入光驱或者U盘启动盘后,重启系统,再根据屏幕下方的提示,按相应键进

    2024年01月21日
    浏览(98)
  • 银河麒麟V10服务器系统UEFI模式PXE部署

    银河麒麟V10服务器UEFI模式PXE部署 ​ 所谓的PXE是Preboot Execution Environment的缩写,字面上的意思是开机前的执行环境。 ​ PXE是由Intel设计的协议,它可以使计算机通过网络启动。协议分为client和server两端,PXE client在网卡的ROM中,当计算机引导时,BIOS把PXE client调入内存执行,并

    2024年02月09日
    浏览(75)
  • 【Linux网络编程】高并发服务器框架 线程池介绍+线程池封装

    前言 一、线程池介绍 💻线程池基本概念 💻线程池组成部分 💻线程池工作原理  二、线程池代码封装 🌈main.cpp 🌈ThreadPool.h 🌈ThreadPool.cpp 🌈ChildTask.h  🌈ChildTask.cpp 🌈BaseTask.h 🌈BaseTask.cpp 三、测试效果 四、总结 📌创建线程池的好处 本文主要学习 Linux内核编程 ,结合

    2024年01月16日
    浏览(81)
  • 腾讯云服务器镜像TencentOS Server操作系统详细介绍

    腾讯云TencentOS Server镜像是腾讯云推出的Linux操作系统,完全兼容CentOS生态和操作方式,TencentOS Server操作系统为云上运行的应用程序提供稳定、安全和高性能的执行环境,TencentOS可以运行在腾讯云CVM全规格实例上,包括黑石物理服务器2.0。腾讯云服务器网分享TencentOS Server镜像

    2024年02月10日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包