Yarn与Zookeeper学习

这篇具有很好参考价值的文章主要介绍了Yarn与Zookeeper学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

YARN学习

1.YARN是什么?

yarn 分配运行资源 mapReduce的运行平台

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式

2.YARN运行过程:

  1. 客户端与ResourceManager交互,生成临时配置文件(Application)
  2. ResourceManager根据Application信息生成Task然后生成MapReduceApplicationMaster(简称AM)
  3. AM通过和App交互申请MapTask资源,并运行MapTask任务
  4. MapTask资源完毕,申请资源处理ReduceTask,收回Maptask资源 ,ReduceTask完毕,同样收回
    Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
    为什么是6个??
    图中不是四个就够用么

3.YARN任务调度

1.调度器

1.先进先出 先到先服务
资源排队,

2.容量调度器

单队列变为了多队列
这里,不同队列的资源是可以相互借调的,但是如果银行需要用钱的时候,需要将债直接收回来,而债主的任务直接失败,进行重试.
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
多租户策略,就是,一个队列起码2个job在占用资源.

3.公平调度器

如果资源满足不了job,job就先等着
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式

4.问题

1. 什么是缺额: 距离运行条件所差的资源就叫缺额
2.DRF

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
百分比的比较,谁大就是谁控制

3.什么是虚拟核数?

虚拟核数就是我们自己设定的CPU核数大小,但是当物理核数时,会按照机器的实际核数进行运载,甚至
超载

5.YARN队列如何配置

如何在YARN创建队列
capacity-scheduler
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
当前调度器能支持的最大应用数(job)

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
applicationMaster

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
集群资源的判断标准`

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
acl 与权限有关

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
job的最大存活时间
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
默认的超时时间

架构模型
调度策略
生产环境通过修改参数调控资源

Zookeeper

1.概念(是什么)?

  • Zookeeper 文件系统+通知机制
  • Zookeeper相当于管理系统,类似于HDFS的NN,而他的DN是服务器和客户端。
  • 注意,创建的都是临时节点,应该是超时删除把或者结束删除。
  • 观察者模式: 当ZK的节点列表发生变化,会通知其他节点。监听实现
  • 数据同步,每个Service上的数据都能保证一定时间内是相同的.

2.模拟

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式

问题
  • 为什么半数以上存活?
    如果一半都不存活了,就显得Zookeeper不正常

  • 为什么奇数台服务器好?
    6台错3台 无法运行 5台错3台无法运行,奇数台可以多一个机器。

  • 实时性
    因为Zookeeper不存大量业务数据,所以数据量显得比较少,这样数据更新就很快,保证了实时性。

3.Zookeeper 结构

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
路径和数据在一起.

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
zkServer.sh 开启关闭ZK
zkCli 开启客户端

4.配置修改zoo.cfg

Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式

1.配置文件名去掉simple
2.修改配置文件内容 修改数据存储路径 添加zookeeper服务器列表

参数1 : tickTime 默认2000ms 通信心跳时间,Zookeeper服务器与客户端心跳时间
参数2 : initLimit 默认10 LF初始通信时限
参数3 : syncLimit 默认5 LF同步通信时限
这三个参数,就表示,默认2秒,Zookeeper客户端和服务器交互一次,
而Zookeeper中,Leader和Follower初始连接时允许的最多心跳数为initLimit,也就是说,Leader和Follower如果在tickTime * initLimit不能完成初次交互,则Follower直接失败.
同步通信时限: 同步,就是日常交互时的通信时限,最多syncLimit次不进行回应,就结束
dataDir: 存储Zookeeper的数据的地址 注意tmp是存储临时文件的,会被Linux定期删除
server.1=hadoop201:2888:3888
server.2=hadoop202:2888:3888
server.3=hadoop203:2888:3888

server.服务器序号 = 服务器地址: Follower与Leader交换信息的端口:选举时互相通信的端口

3.创建数据存储文件夹 创建id文件 ,输入自身服务器序号

5.选举机制(面试)

1.第一次启动
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
我的理解,先投自己,如果没Leader,交换信息后,投大的。如果已经有Leader就无法改变。
2.再次选举
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
选最强者,数据最全者,
1.保存数据时,有时间戳,进行时间戳比对,(事务ID)
2. 数据同步时,比myid

Zookeeper 默认创造永久节点
create -e 创建临时节点
create -s 带序列永久节点
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式

递归删除 deleteall
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
zookeeper的修改只能整体覆盖
set

反向通知
默认不做反向通知
ls -w 开启监控
Yarn与Zookeeper学习,hadoop,大数据,Zookeeper,zookeeper,学习,分布式
zk通知 但是并不帮忙直接取数据

查看文件信息 stat 文件路径
ls -s /文件路径 也显示子文件

监听(感觉也可以叫触发器)
zk存储监听器列表,

ZK写数据,先发给Leader,Leader再分发出去,然后写入文章来源地址https://www.toymoban.com/news/detail-606765.html

到了这里,关于Yarn与Zookeeper学习的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)

    说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 ip hostname 192.168.1.11 node1 192.168.1.12 node2 192.168.1.13 node3 1.2.1系统版本 1.2.2内存建议最少4g、2cpu、50G以上的磁盘容量 本次

    2024年02月12日
    浏览(50)
  • 【大数据】大数据之分布式协调服务--Zookeeper 教程

    ZooKeeper 是一种分布式协调服务,用于管理大型主机。在分布式环境中协调和管理服务是一个复杂的过程。ZooKeeper 通过其简单的架构和 API 解决了这个问题。ZooKeeper 允许开发人员专注于核心应用程序逻辑,而不必担心应用程序的分布式特性。 ZooKeeper 框架最初是在“Yahoo!\\\"上构

    2023年04月09日
    浏览(35)
  • 分布式服务框架_Zookeeper--管理分布式环境中的数据

    安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网   http://hadoop.apache.org/zookeeper/ 来获取, Zookeeper 的安装非常简单,下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单机模式

    2024年02月12日
    浏览(39)
  • 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)

    1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是192.168.181.2,但是一定要注意,它在D盘的文件名称是Hadoop 101,后面重新搭建的会命名文件夹为hadoop 101,hadoop 102和hadoop 103,然后发到一个总的文件夹hadoop_03里面去 VMnet8的IP地址一定

    2024年02月02日
    浏览(96)
  • Java中利用Redis,ZooKeeper,数据库等实现分布式锁(遥遥领先)

    1.1 什么是分布式锁 在我们进行单机应用开发涉及并发同步的时候,我们往往采用synchronized或者ReentrantLock的方式来解决多线程间的代码同步问题。但是当我们的应用是在分布式集群工作的情况下,那么就需要一种更加高级的锁机制,来处理种跨机器的进程之间的数据同步问题

    2024年02月03日
    浏览(49)
  • 在Spring中,可以使用不同的方式来实现分布式锁,例如基于数据库、Redis、ZooKeeper等

    在Spring中,可以使用不同的方式来实现分布式锁,例如基于数据库、Redis、ZooKeeper等。下面是两种常见的实现方式: 使用Redis实现分布式锁: 使用自定义注解实现本地锁: 以上是两种常见的在Spring中实现分布式锁的方式。第一种方式使用Redis作为分布式锁的存储介质,通过

    2024年03月17日
    浏览(45)
  • 【分布式】Zookeeper

    可以参考:https://zhuanlan.zhihu.com/p/62526102 ZooKeeper 是一个分布式的,开放源码的分布式应用程序协同服务。ZooKeeper 的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语集,并以一系列简单易用的接口提供给用户使用。 配置管理。 Java微服

    2024年02月11日
    浏览(44)
  • ZooKeeper的分布式锁

    ZooKeeper的分布式锁机制主要利用ZooKeeper的节点特性,通过创建和删除节点来实现锁的控制。 实现步骤: 创建锁节点:当一个进程需要访问共享资源时,它会在ZooKeeper中创建一个唯一的临时顺序节点作为锁。 尝试获取锁:进程会查看当前所有的锁节点,检查自己创建的节点是

    2024年04月22日
    浏览(39)
  • 分布式协调组件Zookeeper

    ZooKeeper 是⼀种 分布式协调组件 ,用于管理大型主机。 在分布式环境中协调和管理服务是一个复杂的过程 。ZooKeeper 通过其简单的架构和 API 解决了这个问题。ZooKeeper 允许开发人员专注于核心应用程序逻辑,而不必担心应用程序的分布式特性。 分布式协调组件 在分布式系统

    2024年02月13日
    浏览(41)
  • zookeeper伪分布式安装

    需要有jdk1.8 (1)将zookeeper的安装包上传到/opt/modules目录下 (2)解压 (3)更名 切换到/opt/installs目录下 (4)配置环境变量 切换到/opt/installs/zookeeper3.6.3/conf目录下

    2024年02月17日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包