基于zookeeper实现服务节点HA主备自动切换

这篇具有很好参考价值的文章主要介绍了基于zookeeper实现服务节点HA主备自动切换。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

Spring Boot 主备切换可以采用数据库的主从同步、Zookeeper选举、Redis Sentinel等技术实现高可用。

其中,数据库的主从同步可以通过配置数据库的主从复制来实现。在主节点出现故障时,从节点可以自动接管并成为新的主节点。这种方式实现简单,但需要手动配置主从复制。

Zookeeper选举可以利用Zookeeper的特性来实现,即在Zookeeper上创建一个临时节点作为选举的标志,节点创建成功的服务就是主节点,其他服务则是备节点。在主节点出现故障时,Zookeeper会重新选举一个新的主节点。这种方式实现相对较为复杂,但具有更好的灵活性和可扩展性。

Redis Sentinel是Redis提供的一种高可用性解决方案,可以自动完成主从切换,同时具有自动故障检测和恢复等功能。Redis Sentinel需要在多个节点上运行,并且可以配置多个从节点来实现数据备份和故障转移。当主节点故障时,Redis Sentinel会自动将其中一个从节点升级为新的主节点,保证服务的高可用性。


一、架构图和流程图

基于zookeeper实现服务节点HA主备自动切换,集群&负载均衡&性能,技术架构,zookeeper,分布式,云原生
说明:
  主+备模式中有1个主服务节点、多个备服务节点,由主服务节点向外提供服务,备服务节点监听主机状态,一旦主服务节点宕机,备服务节点速接管主服务继续向外提供服务。
  通过Zookeeper(集群)服务注册/发现特性完成主备切换;

  • 1-工作服务器启动时,各服务节点在ZooKeeper的Servers节点下创建临时节点,并把基本信息写入临时节点,完成注册;
  • 2-各服务节点实时监听Servers节点的子节点列表,并尝试创建Master临时节点,谁创建成功谁就是Master,其他的服务节点就作为Slave
  • 3-所有的服务节点关注Master节点的删除事件,通过监听Master节点的删除事件来体现Master服务器是否宕机(创建临时节点的服务器一旦宕机,它所创建的临时节点即会自动删除)
  • 4-.一旦Master服务器宕机,其它服务节点开始新一轮的Master选举,计算新的Master服务器。

二、流程说明

1.服务启动初始化ZK、注册所有服务节点信息-MasterRegister

代码如下(示例):

package com.merak.hyper.automation.zk;
import com.merak.hyper.automation.util.ZkHelper;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.CommandLineRunner;
import org.springframework.core.annotation.Order;
import org.springframework.stereotype.Component;
/**
 * @author harry
 * @version 1.0
 * @ClassName: ZkMasterRegister
 * @description: zk主备MasterRegister:启动时初始化ZK、注册所有服务节点信息
 */
@Component
@Order(1)
public class ZkMasterRegister implements CommandLineRunner {
    public static final Logger log = LoggerFactory.getLogger(ZkMasterRegister.class);
    @Value("${zk_master.status}")
    private String status;
    @Value("${zk_master.serviceurl}")
    private String serviceurl;

    @Override
    public void run(String... args) {
        if( ZkHelper.getInstance().zookeeperOpen(status) ) {
            String[] workServerArr = ZkHelper.getInstance().workServerInfo();
            if (!StringUtils.isBlank(workServerArr[0]) && !StringUtils.isBlank(serviceurl)) {
                LeaderSelectorZkClient.getInstance().initZk(serviceurl, workServerArr[0], workServerArr[1], workServerArr[2], ZkHelper.getInstance().zkMasterPath());
                log.info("程序启动,初始化ZK、注册服务节点等信息!");
            } else {
                log.warn("参数未配置zookeeper服务器的地址[sys.zookeeper.serviceurl],请检查!");//ip 和 name
            }
        }
        else{
            log.warn("当前调度服务为单节点服务,未配置zookeeper服务器");
        }
    }
}

2.创建、运行服务节点,并管理服务节点-LeaderSelectorZkClient。

工作服务器节点的基本信息
每个分布式服务节点基本信息包括:serviceIp、servicePort和name, 确保分布式服务节点的唯一性。

package com.merak.hyper.automation.zk;
import java.io.Serializable;

/**
 * 工作服务器节点的基本信息
 */
public class RunningData implements Serializable {

    private static final long serialVersionUID = 4260577459043203630L;

    private String serviceIp;
    private String servicePort;
    private String name;

    public String getServiceIp() {
        return serviceIp;
    }

    public void setServiceIp(String serviceIp) {
        this.serviceIp = serviceIp;
    }

    public String getServicePort() {
        return servicePort;
    }

    public void setServicePort(String servicePort) {
        this.servicePort = servicePort;
    }

    public String getName() {
        return name;
    }

    public void setName(String name) {
        this.name = name;
    }

    @Override
    public String toString() {
        return "RunningData{" +
                "serviceIp='" + serviceIp + '\'' +
                ", servicePort='" + servicePort + '\'' +
                ", name='" + name + '\'' +
                '}';
    }
}

创建、运行服务节点,并管理服务节点
代码如下(示例):

/**
     * @description: ZOOKEEPER_SERVER连接和服务节点管理
     * @param: [zookeeper_server, session_connection_timeout, serviceIp, serviceName] 
     * @return: void
     */
    public  void initZk(String zookeeper_server,String serviceIp, String serviceName, String servicePort,String zkMasterName) {
        try {
            log.info("创建服务器节点["+serviceIp+","+serviceName+"]开始!");
            //创建zkClient
            client = ZkConnect.getInstance().connectZkSever(zookeeper_server);
            //创建serverData
            runningData = new RunningData();
            runningData.setServiceIp(serviceIp);
            runningData.setName(serviceName);
            runningData.setServicePort(servicePort);
            //创建服务
            workServer = new WorkServer(runningData,zkMasterName);
            workServer.setZkClient(client);
            workServer.start();
            log.info("创建服务器节点["+serviceIp+","+serviceName+"]结束!");
        } catch (Exception e) {
            log.error("zookeeper_server init error,msg=" + e.getMessage());
        } finally {
            log.info("zookeeper_server finally ...");
        }
    }

服务节点启动、订阅Master节点删除事件、争抢Master权利成为master节点
代码片断如下:

    //初始化工作服务器WorkServer信息
    public WorkServer(RunningData rd, String zkMasterName) {
        this.serverData = rd; // 记录服务器基本信息
        this.MASTER_PATH = zkMasterName;
        this.dataListener = new IZkDataListener() {
            public void handleDataDeleted(String dataPath) {
                //master切换时需要重置 调度云托管任务表 schedule_status = init
                zkResetScheduleStatus.switchResetScheduleStatus();
                log.info(dataPath + "路径已经删除,开始新一轮Master抢占");
                if (masterData != null && masterData.getName().equals(serverData.getName())
                        && masterData.getServiceIp().equals(serverData.getServiceIp())
                        && masterData.getServicePort().equals(serverData.getServicePort())) {
                    takeMaster();//自己就是上一轮的Master服务器,则直接抢
                } else {
                    //否则延迟5秒后再抢。应对网络抖动给上一轮的Master服务器优先抢占master的权利,避免不必要的数据迁移开销
                    delayExecutor.schedule(new Runnable() {
                        public void run() {
                            log.info("服务器开始抢占Master权利");
                            takeMaster();
                        }
                    }, delayTime, TimeUnit.SECONDS);
                }
            }

            public void handleDataChange(String dataPath, Object data) {
                log.info("IZkDataListener - handleDataChange,dataPath=" + dataPath + ",data=" + data.toString());
            }
        };
    }
    
    .....
    
    // 1 启动服务器
    public void start() throws Exception {
        if (running) {
            throw new Exception("server has startup...");
        }
        running = true;
        // 2 订阅Master节点删除事件
        zkClient.subscribeDataChanges(MASTER_PATH, dataListener);
        // 3 争抢Master权利
        takeMaster();
    }

    .....
    
    // 争抢Master
    private void takeMaster() {
        if (!running)
            return;
        try {
            if (!zkClient.exists(MASTER_PATH)) {
                // 尝试创建Master临时节点
                zkClient.create(MASTER_PATH, serverData, CreateMode.EPHEMERAL);
                masterData = serverData;
                log.info("服务器节点[" + serverData.getServiceIp() + "," + serverData.getName() + "," + serverData.getServicePort() + "]争抢Master成功,成为master[isMaster]!");
            } else {
                // 已被其他服务器创建了,读取Master节点信息
                RunningData runningData = zkClient.readData(MASTER_PATH, true);
                log.info("master已被服务器节点[" + runningData.getServiceIp() + "," + runningData.getName() + "," + runningData.getServicePort() + "]占有,当前节点["
                        + serverData.getServiceIp() + "," + serverData.getName() + "," + serverData.getServicePort() + "]只能读取master节点信息!");
                if (runningData == null) {
                    takeMaster(); // 没读到或读取瞬间Master节点宕机可争抢
                } else {
                    masterData = runningData;
                }
            }
        } catch (ZkNodeExistsException e) {
            log.error("当前节点" + serverData.getServiceIp() + "," + serverData.getName() + "," + serverData.getServicePort() + "]创建Master临时节点异常,msg=" + e.getMessage());
        } catch (Exception e) {
            log.error("当前节点" + serverData.getServiceIp() + "," + serverData.getName() + "," + serverData.getServicePort() + "]争抢Master异常,msg=" + e.getMessage());
        }
    }

3.典型场景-调度服务单体执行-DigitalEmpTask

需求:某个时刻只允许Master节点执行调度服务,其它Slave从节点处于闲置、不执行状态。

package com.merak.hyper.automation.quartz.task;
import com.merak.hyper.automation.util.DateUtils;
import com.merak.hyper.automation.util.ZkHelper;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
/**
 * @author harry
 * @version 1.0
 * @ClassName: BizOrderTask
 * @description: 任务队列服务调度
 */
@Component
public class DigitalEmpTask {
    public static final Logger log = LoggerFactory.getLogger(DigitalEmpTask.class);

    @Value("${zk_master.status}")
    private String status;

    @Scheduled(cron = "0/30 * * * * ?")
    protected void digitalEmpTaskScheduler() {
        //1.判断是否开启zookeeper分布式调度模式
        if( ZkHelper.getInstance().zookeeperOpen(status) ) {
            //2.判断当前工作服务节点为Master节点
            if( ZkHelper.getInstance().checkMaster() ) {
                executeCloudTask();
            }
        }
        else{
            //1.未开启zookeeper分布式调度模式,为单节点部署
            executeCloudTask();
        }
    }

    public void executeCloudTask(){
        log.info("任务开始执行,时间:" + DateUtils.dateTimeNow(DateUtils.YYYY_MM_DD_HH_MM_SS));
        try {

        } catch (Exception e) {
            log.error("调度失败,原因:" + e.getMessage());
        }
    }

}

总结

1.线上1主2从已运行半年,可达到HA业务需求、自动切换能力
2.前端采取Nginx负载、分流,配置多个工作服务节点

参考

浅析如何基于ZooKeeper实现高可用架构
源代码下载文章来源地址https://www.toymoban.com/news/detail-792680.html

到了这里,关于基于zookeeper实现服务节点HA主备自动切换的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于 Zookeeper 实现服务注册和服务发现

    无论是采用SOA还是微服务架构,都需要使用服务注册和服务发现组件。我刚开始接触 Dubbo 时一直对服务注册/发现以及 Zookeeper 的作用感到困惑,现在看来是因为对分布式系统的理解不够深入,对 Dubbo 和 Zookeeper 的工作原理不够清楚。 本文将基于 Zookeeper 实现服务注册和服务发

    2024年02月10日
    浏览(42)
  • pg主备切换

    2024年02月07日
    浏览(47)
  • zookeeper/HA集群配置

    1.1  安装4台虚拟机 (1)按照如下设置准备四台虚拟机,其中三台作为zookeeper,配置每台机器相应的IP,hostname,下载vim,ntpdate配置定时器定时更新时间,psmisc(psmisc用于管理系统上运行进程,包括ps、kill、fuser、pstree等命令它能够更方便地使用Linux操作系统) 192.168.142.136 n

    2024年02月09日
    浏览(37)
  • ZooKeeper技术细节_zookeeper and 服务器 and 客户端 and 数据节点

    方法入参EventType指定触发事件的类型:data变更还是childNodes变更等。 将KeeperState、EventType、Path new 到WatchedEvent实例中 根据Path路径从watchTable中找到所有对应的Watcher,为空continue,不为空时再iterator.remove掉,这样Watcher触发一次就失效了 从Map中找到的所有Watcher执行一遍其process方

    2024年04月22日
    浏览(48)
  • Hadoop集群 手动主备切换 (Active - Standby)

    手动切换 node01 备用节点 StandbyNameNode 为 主节点 ActiveNameNode,node02为备用节点SNN 查看节点状态 hdfs haadmin -getServiceState nn1 命令切换节点状态 到 hadoop 目录下执行: 1、将 NN2 切换为 Standby 备用节点 bin/hdfs haadmin -transitionToStandby --forcemanual nn2 2、将 NN1 切换为 Active 备用节点 bin/hd

    2024年02月03日
    浏览(34)
  • Hadoop HA模式切换

    YARN HA 获取所有RM节点的状态 获取 rm1 节点的状态 手动将 rm1 的状态切换到STANDBY 手动将 rm1 的状态切换到ACTIVE 检查 rm2 节点健康情况 如图: (0为健康,否则不健康。) HDFS HA 获取所有NN节点的状态 获取 nn1 节点的状态 手动将 nn1 的状态切换到STANDBY 手动将 nn1 的状态切换到A

    2024年02月10日
    浏览(41)
  • zookeeper监听集群节点的实现zkclient组件实现方案(Java版)

    ZooKeeper Watcher 机制 client 向zookeeper 注册监听 client注册的同时会存储一个WatchManager对象 向zookeeper发生改变则notification client 并发送一个WatchManager对象,然后client再更新该对象

    2024年04月24日
    浏览(43)
  • 2.Zookeeper集成springboot操作节点,事件监听,分布式锁实现

    1.Springboot项目中添加zookeeper 已经对应的客户端依赖 ,pom.xml文件如下 2.application.yml 文件中配置zookeeper连接的相关配置信息 3.java配置的方式添加zookeeper相关的配置 4.Zookeeper基础操作服务和分布式锁服务编码 5.watcher机制事件处理抽象封装 6.基本操作的单元测试代码

    2024年03月10日
    浏览(49)
  • 大数据之LibrA数据库系统告警处理(ALM-12010 Manager主备节点间心跳中断)

    告警解释 当主Manager节点在7秒内没有收到备Manager节点的心跳信号时,产生该告警。 当主Manager节点收到备Manager节点的心跳信号后,告警恢复。 告警属性 告警参数 对系统的影响 如果主Manager进程异常,主备倒换无法进行,影响业务。 可能原因 主备Manager节点间链路异常。 处理

    2024年02月06日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包