RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡

这篇具有很好参考价值的文章主要介绍了RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

23、 镜像队列

如果 RabbitMQ 集群中只有一个 Broker 节点,那么该节点的失效将导致整体服务的临时性不可用,并 且也可能会导致消息的丢失。可以将所有消息都设置为持久化,并且对应队列的durable属性也设置为true, 但是这样仍然无法避免由于缓存导致的问题:因为消息在发送之后和被写入磁盘井执行刷盘动作之间存在 一个短暂却会产生问题的时间窗。通过 publisherconfirm 机制能够确保客户端知道哪些消息己经存入磁盘, 尽管如此,一般不希望遇到因单点故障导致的服务不可用。 引入镜像队列(Mirror Queue)的机制,可以将队列镜像到集群中的其他 Broker 节点之上,如果集群中 的一个节点失效了,队列能自动地切换到镜像中的另一个节点上以保证服务的可用性。

1、搭建步骤

1.启动三台集群节点

2.随便找一个节点添加 policy

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

3.在 node1 上创建一个队列发送一条消息,队列存在镜像队列

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

创建的镜像队列:+1

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

始终保持有两份主备

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

4.停掉 node1 之后发现 node2 成为镜像队列

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

会将node1中的消息备份到node2和node3中,保持有两份

测试效果:

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

5.就算整个集群只剩下一台机器了 依然能消费队列里面的消息 说明队列里面的消息被镜像队列传递到相应机器里面了 ,消息并未丢失

24、Haproxy+Keepalive 实现高可用负载均衡

1、整体架构图

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

2、Haproxy 实现负载均衡

​ HAProxy 提供高可用性、负载均衡及基于 TCPHTTP 应用的代理,支持虚拟主机,它是免费、快速并 且可靠的一种解决方案,包括 Twitter,Reddit,StackOverflow,GitHub 在内的多家知名互联网公司在使用。 HAProxy 实现了一种事件驱动、单一进程模型,此模型支持非常大的井发连接数

​ 扩展 nginx,lvs,haproxy 之间的区别: http://www.ha97.com/5646.html

搭建步骤

1.下载 haproxy(在 node1 和 node2)

 yum -y install haproxy 

2.修改 node1 和 node2 的 haproxy.cfg

 vim /etc/haproxy/haproxy.cfg 

需要修改红色 IP 为当前机器 IP

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡,RabbitMQ,rabbitmq,负载均衡,分布式,spring boot

3.在两台节点启动 haproxy

haproxy -f /etc/haproxy/haproxy.cfg 
ps -ef | grep haproxy  

4.访问地址

http://红圈中修改后的IP:8888/stats

3、Keepalived 实现双机(主备)热备

​ 试想如果前面配置的 HAProxy 主机突然宕机或者网卡失效,那么虽然 RbbitMQ 集群没有任何故障但是 对于外界的客户端来说所有的连接都会被断开结果将是灾难性的为了确保负载均衡服务的可靠性同样显得 十分重要,这里就要引入 Keepalived 它能够通过自身健康检查、资源接管功能做高可用(双机热备),实现 故障转移.

搭建步骤

1.下载 keepalived

yum -y install keepalived 

2.节点 node1 配置文件

 vim /etc/keepalived/keepalived.conf 

把资料里面的 keepalived.conf 修改之后替换

3.节点 node2 配置文件

需要修改 global_defs 的 router_id,如:nodeB

其次要修改 vrrp_instance_VI 中 state 为"BACKUP";

最后要将 priority 设置为小于 100 的值

4.添加 haproxy_chk.sh

(为了防止 HAProxy 服务挂掉之后 Keepalived 还在正常工作而没有切换到 Backup 上,所以 这里需要编写一个脚本来检测 HAProxy 务的状态,当 HAProxy 服务挂掉之后该脚本会自动重启 HAProxy 的服务如果不成功则关闭 Keepalived 服务,这样便可以切换到 Backup 继续工作)

 vim /etc/keepalived/haproxy_chk.sh(可以直接上传文件) 
 修改权限 
 chmod 777 /etc/keepalived/haproxy_chk.sh  

5.启动 keepalive 命令(node1 和 node2 启动)

systemctl start keepalived 

6.观察 Keepalived 的日志

tail -f /var/log/messages -n 200 

7.观察最新添加的 vip

ip add show 

8.node1 模拟 keepalived 关闭状态

systemctl stop keepalived  

9.使用 vip 地址来访问 rabbitmq 集群

RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡 到此完结,笔者归纳、创作不易,大佬们给个3连再起飞吧文章来源地址https://www.toymoban.com/news/detail-841226.html

到了这里,关于RabbitMQ-消息队列:镜像队列、Haproxy+Keepalive 实现高可用负载均衡的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • keepalived+haproxy 搭建高可用高负载高性能rabbitmq集群

    一、环境准备 1. 我这里准备了三台centos7 虚拟机 主机名 主机地址 软件 node-01 192.168.157.133 rabbitmq、erlang、haproxy、keepalived node-02 192.168.157.134 rabbitmq、erlang、haproxy、keepalived node-03 192.168.157.135 rabbitmq、erlang 2. 关闭三台机器的防火墙 3. 三台主机的host和hostname配置 4. erlang与rabbitmq版

    2024年02月11日
    浏览(54)
  • 参考RabbitMQ实现一个消息队列

    消息队列的本质就是阻塞队列,它的最大用途就是用来实现生产者消费者模型,从而实现 解耦合 以及 削峰填谷 。 在分布式系统中不再是单个服务器而是服务器“集群”,如果我们我们直接A服务器给B服务器发送请求,B服务器给A服务器返回响应,这样的话我们AB的耦合较大

    2024年02月14日
    浏览(86)
  • SpringBoot RabbitMQ 实现消息队列功能

    作者:禅与计算机程序设计艺术 在企业级应用中,为了提升系统性能、降低响应延迟、改善用户体验、增加系统的稳定性、提高资源利用率等方面所需的功能之一就是使用消息队列。RabbitMQ是一个开源的AMQP(Advanced Message Queuing Protocol)的实现消息队列,它是用Erlang语言开发的。

    2024年02月09日
    浏览(48)
  • C#调用RabbitMQ实现消息队列

    前言 前几天在做日志收集,用到了RabbitMQ,它作为一种中间件,需要对其进行下载,安装,和配置。 消息队列 什么是消息队列?,我们这样想一下,用户访问网站,最终是要将数据以HTTP的协议的方式,通过网络传输到主机的某个端口上的。 那么,接收数据的方式是什么呢?

    2024年02月05日
    浏览(36)
  • 《消息队列MyMQ》——参考RabbitMQ实现

    目录 一、什么是消息队列? 二、需求分析 1)核心概念 2)核心API 3)交换机类型 4)持久化 5)网络通信 ​编辑 6)消息应答 三、 模块划分 四、创建核心类 1.ExChange 2.MSGQueue  3.Binding 4. Message 五. 数据库设计  1.配置 sqlite 引⼊ pom.xml 依赖  配置数据源 application.yml 2.实现创建

    2024年02月04日
    浏览(37)
  • RabbitMQ实现延迟消息的方式-死信队列、延迟队列和惰性队列

    当一条消息因为一些原因无法被成功消费,那么这这条消息就叫做死信,如果包含死信的队列配置了dead-letter-exchange属性指定了一个交换机,队列中的死信都会投递到这个交换机内,这个交换机就叫死信交换机,死信交换机再绑定一个队列,死信最终会进入到这个存放死信的

    2024年02月19日
    浏览(60)
  • 模拟实现消息队列(以 RabbitMQ 为蓝本)

    核心概念1 生产者(Producer):生产者负责生成数据并将其放入缓冲区(队列)中。生产者可以是一个线程或多个线程,它们可以并行地生成数据。当缓冲区(队列)已满时,生产者需要等待,直到有空间可用。 消费者(Consumer):消费者负责从缓冲区(队列)中取出数据并进行处

    2024年02月13日
    浏览(69)
  • SpringCloud-实现基于RabbitMQ的消息队列

    消息队列是现代分布式系统中常用的通信机制,用于在不同的服务之间传递消息。在Spring Cloud框架中,我们可以利用RabbitMQ实现强大而可靠的消息队列系统。本篇博客将详细介绍如何在Spring Cloud项目中集成RabbitMQ,并创建一个简单的消息队列。 这里是一个简单的RabbitMQ消息队列

    2024年03月11日
    浏览(56)
  • SSM 如何使用 RabbitMQ 实现消息队列

    在分布式系统中,消息队列是一种常见的通信方式,可以实现不同服务之间的异步通信和解耦。RabbitMQ 是一个开源的消息队列软件,本文将介绍如何在 SSM 框架中使用 RabbitMQ 实现消息队列。 本文将使用 Spring Boot 作为 SSM 框架,使用 Maven 进行项目管理。 在开始之前,需要安装

    2024年02月06日
    浏览(55)
  • TP5简单使用RabbitMQ实现消息队列

    在使用 RabbitMQ 之前,你要安装好 RabbitMQ 服务,具体安装方法可以参考 windows下安装RabbitMQ 1、安装扩展 进入TP5 更目录下,输入命令安装: composer require php-amqplib/php-amqplib 2、自定义命令 TP5 的自定义命令,这里也简单说下。 第一步: 创建命令类文件,新建 application/api/command

    2024年02月07日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包