【zookeeper】ZooKeeper的特点及应用场景

这篇具有很好参考价值的文章主要介绍了【zookeeper】ZooKeeper的特点及应用场景。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ZooKeeper 的特点/设计目标

ZooKeeper(动物园管理员) ,顾名思义,是用来管理Hadoop(大象)、Hive(蜜蜂)、Pig(小猪)的管理员,同时Apache HBase、Apache Solr等众多项目中都采用了ZooKeeper。作为一个集群提供数据一致的分布式协调服务,它最好的方式就是在整个集群中的各服务节点进行数据的复制和同步。

数据复制的好处:

  • 容错:一个节点出错,不至于让整个集群无法提供服务

  • 扩展性:通过增加服务器节点能提高 ZooKeeper 系统的负载能力,把负载分布到多个节点上

  • 高性能:客户端可访问本地 ZooKeeper 节点或者访问就近的节点,依次提高用户的访问速度

设计目的

  • 一致性:client不论连接到哪个Server,展示给它都是同一个视图,这是zookeeper最重要的性能。
  • 可靠性:具有简单、健壮、良好的性能,如果消息被到一台服务器接受,那么它将被所有的服务器接受。
  • 实时性:Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息,或者服务器失效的信息。但由于网络延时等原因,Zookeeper不能保证两个客户端能同时得到刚更新的数据,如果需要最新数据,应该在读数据之前调用sync()接口。
  • 等待无关(wait-free):慢的或者失效的client不得干预快速的client的请求,使得每个client都能有效的等待。
  • 原子性:更新只能成功或者失败,没有中间状态。
  • 顺序性:包括全局有序和偏序两种:全局有序是指如果在一台服务器上消息a在消息b前发布,则在所有Server上消息a都将在消息b前被发布;偏序是指如果一个消息b在消息a后被同一个发送者发布,a必将排在b前面。

ZooKeeper 典型应用场景

命名服务

命名服务是分布式系统中较为常见的一类场景,分布式系统中,被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等,通过命名服务,客户端可以根据指定名字来获取资源的实体、服务地址和提供者的信息。Zookeeper 可以帮助应用系统通过资源引用的方式来实现对资源的定位和使用,广义上的命名服务的资源定位都不是真正意义上的实体资源, 在分布式环境中,上层应用仅仅需要一个全局唯一的名字。Zookeeper 可以实现一套分布式全局唯一 ID 的分配机制。如下,ZooKeeper节点生产全局唯一ID的示意图:
【zookeeper】ZooKeeper的特点及应用场景,zookeeper,zookeeper

说明,对于多个任务列表的主键,使用ZooKeeper生成唯一ID的基本步骤:

  • 所有客户端都会根据自己的任务类型,在指定类型的任务下面通过调用create()接口来创建一个顺序节点,例如创建“job-”节点。
  • 节点创建完毕后,create()接口会返回一个完整的节点名,例如“job-0000000001”。
  • 客户端拿到这个返回值后,拼接上 type 类型,例如“type2-job-0000000001”,这就可以作为一个全局唯一的ID了。

在ZooKeeper中,每一个数据节点都能够维护一份子节点的顺序顺列,当客户端对其创建多个顺序子节点的时候 ZooKeeper 会自动以后缀的形式在其子节点上添加一个序号,在这个场景中就是利用了 ZooKeeper的这个特性。

配置管理

程序总是需要配置的,如果程序分散部署在多台机器上,要逐个改变配置就变得困难。现在把这些配置全部放到 ZooKeeper 上去,保存在 ZooKeeper 的某个目录节点中,然后所有相关应用程序对这个目录节点进行监听,一旦配置信息发生变化,每个应用程序就会收到 ZooKeeper 的通知,然后从 ZooKeeper 获取新的配置信息应用到系统中就可以了,这样就实现了配置信息的集中式管理和数据的动态更新。
【zookeeper】ZooKeeper的特点及应用场景,zookeeper,zookeeper

集群管理

所谓集群管理无在乎两点:是否有服务器退出或者加入、选举master。
  前者侧重对集群运行时状态的收集,所有机器约定在父目录 GroupMembers 下创建临时目录节点,然后监听父目录 节点的子节点变化消息。一旦有机器挂掉,该机器与 ZooKeeper 的连接断开,其所创建的临时目录节点被删除,所有其他机器都收到通知:某个服务器目录被删除,于是,所有人都知道:有服务器挂了。新机器加入也是类似,所有机器收到通知:新服务器目录加入,又多了个新服务器。
  后者则是对集群进行操作与控制,我们稍微改变一下,所有机器创建临时顺序编号目录节点,每次选取编号最小的机器作为 master 就好。当然,这只是其中的一种策略而已,选举策略完全可以由管理员自己制定。
【zookeeper】ZooKeeper的特点及应用场景,zookeeper,zookeeper

Zookeeper的两大特性:

  • 客户端如果对Zookeeper的数据节点注册Watcher监听,那么当该数据节点的内容或是其子节点列表发生变化时,Zookeeper服务器就会向订阅的客户端发送变更通知。
  • 对在Zookeeper上创建的临时节点,一旦客户端与服务器之间的会话失效,那么临时节点也会被自动删除利用其两大特性,可以实现集群机器存活监控系统,若监控系统在/clusterServers节点上注册一个 Watcher监听,那么如果有进行动态添加机器的操作,就会在/clusterServers节点下创建一个临时节点类似:/clusterServers/[Hostname],这样,监控系统就能够实时监测机器的变动情况。

分布式锁

分布式锁是控制分布式系统之间同步访问共享资源的一种方式。如果不同的系统或是同一个系统的不同主机之间共享了一个或多个资源,那么访问这些资源的时候,往往需要通过一些互斥手动段来防止彼此之间的干扰,以保证一致性,在这种情况下,就需要使用分布式锁了。有了 ZooKeeper 的一致性文件系统,锁的问题变得容易。 锁服务可以分为两三类

  • 一个是写锁(Exclusive Locks,简称 X 锁),对写加锁,保持独占,或者叫做排它锁,独占锁
  • 一个是读锁(Shared Locks,简称S锁),对读加锁,可共享访问,释放锁之后才可进行事务操作,也叫共享锁
  • 一个是控制时序,叫时序锁

对于第一类,我们将 ZooKeeper 上的一个 znode 看作是一把锁,通过 createznode 的方式来 实现。所有客户端都去创建 /distribute_lock 节点,最终成功创建的那个客户端也即拥有了 这把锁。用完删除掉自己创建的 distribute_lock 节点就释放出锁
  对于第二类, /distribute_lock 已经预先存在,所有客户端在它下面创建临时顺序编号目录 节点,和选 master 一样,编号最小的获得锁,用完删除,依次有序。
  【zookeeper】ZooKeeper的特点及应用场景,zookeeper,zookeeper

队列管理

两种类型的队列:

  • 同步队列:当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达(Barrier模型)。
  • 先进先出队列:队列按照 FIFO 方式进行入队和出队操作(FIFO先入先出队列模型)。

第一类,在约定目录下创建临时目录节点,监听节点数目是否是我们要求的数目。
第二类,和分布式锁服务中的控制时序场景基本原理一致,入列有编号,出列按编号。 同步队列的流程图:
【zookeeper】ZooKeeper的特点及应用场景,zookeeper,zookeeper
更多关于zookeeper的知识分享,请前往博客主页。编写过程中,能力有限难免出现差错,敬请指正文章来源地址https://www.toymoban.com/news/detail-697700.html

到了这里,关于【zookeeper】ZooKeeper的特点及应用场景的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ZooKeeper 应用场景深度解析

    目录 引言 1. 分布式配置管理 2. 分布式锁 3. 分布式队列 4. 分布式协调 5. 分布式协同 6、数据发布与订阅 7、命名服务 8、集群管理 结论 ZooKeeper 是一个分布式协调服务,被广泛应用于构建高可用、可靠性强的分布式系统。它提供了一组简单而强大的原语,用于解决分布式系统

    2024年01月17日
    浏览(42)
  • zookeeper应用场景(二)

    单机环境下可以利用jvm级别的锁,比如synchronized、Lock等来实现锁,如果是多机部署就需要一个共享数据存储区域来实现分布式锁 1、基于数据库实现分布式锁 可以用数据库唯一索引来实现 2、基于redis实现分布式锁 redis实现的分布式锁始终会有一些问题,即便使用多数写入,

    2024年02月07日
    浏览(33)
  • Zookeeper六大应用场景详解

    ZooKeeper是⼀个典型的发布/订阅模式的分布式数据管理与协调框架,我们可以使用它来进行分布式数据的发布与订阅。另⼀方面,通过对ZooKeeper中丰富的数据节点类型进行交叉使用,配合Watcher 事件通知机制,可以非常方便地构建⼀系列分布式应用中都会涉及的核心功能,如数

    2024年02月07日
    浏览(56)
  • Zookeeper经典应用场景实战(一)

    ZooKeeper应用的开发主要通过Java客户端API去连接和操作ZooKeeper集群。 可供选择的Java客户端API有: ZooKeeper官方的Java客户端API。 第三方的Java客户端API,比如Curator。 ZooKeeper官方的客户端API提供了基本的操作。例如,创建会话、创建节点、读取节点、更新数据、删除节点和检查节

    2024年02月09日
    浏览(46)
  • ZooKeeper的典型应用场景及实现

    ZooKeeper是一个典型的发布/订阅模式的分布式数据管理与协调框架,开发人员可以使用它来进行分布式数据的发布与订阅。另一方面,通过对ZooKeeper中丰富的数据节点类型进行交叉使用,配合Watcher事件通知机制,可以非常方便地构建一系列分布式应用中都会涉及的核心功能,

    2024年02月10日
    浏览(47)
  • ZooKeeper客户端使用与经典应用场景

    ZooKeeper的应用场景依赖于ZNode节点特性和Watch监听机制。 常用于实现配置中心,类似的有nacos。 数据发布/订阅的一个常见的场景是配置中心,发布者把数据发布到ZooKeeper的一个或一系列的节点上,供订阅者进行数据订阅,达到动态获取数据的目的。 配置信息一般有几个特点

    2024年02月12日
    浏览(42)
  • ZooKeeper的应用场景(集群管理、Master选举)

    随着分布式系统规模的日益扩大,集群中的机器规模也随之变大,因此,如何更好地进行集群管理也显得越来越重要了。 所谓集群管理,包括集群监控与集群控制两大块,前者侧重对集群运行时状态的收集,后者则是对集群进行操作与控制。在日常开发和运维过程中,我们经

    2024年02月12日
    浏览(34)
  • 【大厂面试演练】知道ZooKeeper有什么应用场景吗

    面试官:咳咳咳,看你简历写了精通ZooKeeper,那我就随便考考你吧 面试官:不用慌尽管说,错了也没关系😊。。。 每日分享大厂面试演练,感兴趣就关注我吧 ❤️ 嗯嗯,主要有这几种。 数据发布/订阅。可以用来实现配置中心 命名服务。类似于UUID,可以生成全局唯一的

    2024年03月15日
    浏览(49)
  • ZooKeeper的应用场景(命名服务、分布式协调通知)

    命名服务(NameService)也是分布式系统中比较常见的一类场景,在《Java网络高级编程》一书中提到,命名服务是分布式系统最基本的公共服务之一。在分布式系统中,被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等一这些我们都可以统称它们为名字(Name),

    2024年02月12日
    浏览(45)
  • zookeeper应用场景之分布式的ID生成器

            在分布式系统中, 分布式ID生成器的使用场景非常之多 : 大量的数据记录,需要分布式ID。 大量的系统消息,需要分布式ID。 大量的请求日志,如restful的操作记录,需要唯一标识,以便进行后续的用户行为分析和调用链路分析。 分布式节点的命名服务,往往也

    2024年01月23日
    浏览(85)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包