1. Toy模板网首页
  2. > Toy博客

磁盘均衡器：HDFS Disk Balancer

7月前 作者：fiveym 分类：Toy博客 阅读(28) 违法举报

这篇具有很好参考价值的文章主要介绍了磁盘均衡器：HDFS Disk Balancer。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

背景

  • 相比较于个人PC，服务器一般可以通过挂载多块磁盘来扩大单机的存储能力
  • 在Hadoop HDFS中，DataNode负责最终数据block的存储，在所在机器上的磁盘之间分配数据块。当写入新block时，DataNodes将根据选择策略（循环策略或可用空间策略）来选择block的磁盘（卷）
  • 循环策略：它将新的block均匀分布在可用磁盘上
  • 可用空间策略：此策略将数据写入具有更多可用空间（按百分比）的磁盘
    磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据

产生的问题以及解决方法

  • 在长期运行的集群中采用循环策略的时，DataNode有时会不均匀的填充其存储目录（磁盘/卷），从而导致某些磁盘已满而其他磁盘却很少使用的情况。发生这种情况的原因可能是由于大量的写入和删除操作，也可能是由于更换了磁盘。
  • 另外，如果我们使用基于可用空间选择策略，则每个新写入将进入新添加的空磁盘，从而使该期间的其他磁盘处于空闲状态，这将在新磁盘上创建瓶颈。
  • 因此需要一种INTRA DATANODE BALANCING（DataNode内数据块的均匀分布）来解决intra-DataNode偏斜（在磁盘上块的不均匀分布），这种偏斜是由于磁盘更换或随机写入和删除发生的。
  • 因此，hadoop3.0中引入了一个名为disk balancer的工具，该工具专注于在DataNode内分发数据

hdfs disk balancer简介

  • hdfs disk balancer是hadoop3中引入的命令行工具，用于平衡DataNode中的数据在磁盘指甲分布不均匀问题。在这里特别注意，hdfs diskbalancer与hdfsbalancer是不同的

磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据

HDFS Disk Balancer功能

数据传播报告

为了衡量集群中哪些计算机遭受数据分布不均的影响，磁盘平衡器定义了volume data density metric（磁盘/卷数据密度度量标准）和Node Data Density metric（节点数据密度度量标准）

  • 卷（磁盘）数据密度：比较同台机器上不同卷之间的数据分布情况
  • 节点数据密度：比较的是不同机器之间的

磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据

  • 卷数据密度计算
    假设有一台具有四个卷的计算机，各个磁盘的使情况
    磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据

磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据

  • 磁盘平衡
    当指定某个datanode节点进行disk数据平衡，就可以先计算或读取当前的volume data density（磁盘数据密度）。有了这些数据，我们可以轻松确定哪些卷已经超量配置，哪些卷已经不足
    为了将数据从一个卷移动到datanode中的另一个卷，Hadoop开发实现了基于rpc协议的disk balancer

HDFS Disk Balancer开启

  • hdfs disk balancer通过创建计划进行操作，该计划是一组语句，描述应在两个磁盘之间移动多少数据，然后在datanode上执行该语句。计划包含多个移动步骤。计划中的每个移动步骤都具有目标磁盘，源磁盘的地址。移动步骤还具有要移动的字节数。该计划是针对可操作的datanode执行的
  • 默认情况下，Hadoop集群上已经启用了disk balancer功能。通过hdfs-site.xml中调整dfs.disk.balancer.enabled参数值，选择在Hadoop中是否启用磁盘平衡器

相关命令

  • plan计划
    命令：hdfs diskbalancer -plan < datanode>

磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据
磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据
磁盘均衡器：HDFS Disk Balancer,# hdfs,hdfs,hadoop,大数据文章来源地址https://www.toymoban.com/news/detail-621365.html

到了这里，关于磁盘均衡器：HDFS Disk Balancer的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 音频均衡器的设计与实现（Matlab）

    音频均衡器是一种用于调整音频信号频谱平衡的数字信号处理（DSP）算法。它可以增强或减弱特定频段的音频信号，从而改善音频的听感。在本文中，我们将使用Matlab来实现一个简单的音频均衡器，以展示其工作原理和实际应用。 实现步骤： 读取音频文件：首先，我们需要

    2024年02月04日
    浏览(47)
  • 高可用keepalived + Nginx 负载均衡器

    高可用keepalived + Nginx 负载均衡器

    准备操作： [root@localhost ~]# systemctl stop firewalld  # 或 systemctl disable --now firewalld [root@localhost ~]# setenforce 0 [root@localhost ~]# cd /etc/yum.repos.d [root@localhost ~]# mv repo.bak/* ./ [root@localhost ~]# yum -y install epel-release [root@localhost ~]# yum install -y keepalived nginx         #epel下载的旧版nginx 没有str

    2024年02月01日
    浏览(38)

  • SpringCloud LoadBalancer 新一代负载均衡器

    工作中使用 OpenFeign 进行跨服务调用，最近发现线上经常会遇到请求失败。 通过排查我们发现不是接口超时，而是有时候会请求到已经下线的服务导致报错。这多发生在服务提供者系统部署的时候，因为系统部署的时候会调用 Spring 容器 的 shutdown() 方法， Eureka Server 那里能够

    2023年04月22日
    浏览(39)

  • 负载均衡器 OpenELB ARP 欺骗技术解析

    作者：大飞哥，视源电子运维工程师，KubeSphere 用户委员会广州站站长，KubeSphere Ambassador。 K8S 对集群外暴露服务有三种方式：NodePort，Ingress 和 Loadbalancer。NodePort 用于暴露 TCP 服务(4 层)，但限于对集群节点主机端口的占用，不适合大规模使用；Ingress 用于暴露 HTTP 服务(7 层)，

    2024年02月01日
    浏览(45)
  • DAY 50 LVS负载均衡器 NAT模式

    DAY 50 LVS负载均衡器 NAT模式

    Cluster，集群、群集 由多台主机构成，但对外只表现为一一个整体，只提供一-个访问入口(域名或IP地址)， 相当于一台大型计算机。 互联网应用中，随着站点对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，单台服务器已经无法满足负载均衡及高可用的要求

    2024年02月02日
    浏览(50)
  • 选择正确的负载均衡器：LVS还是Nginx？

    选择正确的负载均衡器：LVS还是Nginx？

    💡一个热爱分享高性能服务器后台开发知识的博主，目标是通过理论与代码实践的结合，让世界上看似难以掌握的技术变得易于理解与掌握。技能涵盖了多个领域，包括C/C++、Linux、Nginx、MySQL、Redis、fastdfs、kafka、Docker、TCP/IP、协程、DPDK等。 👉 🎖️ CSDN实力新星，社区专家

    2024年02月13日
    浏览(38)
  • 【kubernetes】负载均衡器安装部署-Haproxy与keepalived

    【kubernetes】负载均衡器安装部署-Haproxy与keepalived

    前言 ：二进制部署kubernetes集群在企业应用中扮演着非常重要的角色。无论是集群升级，还是证书设置有效期都非常方便，也是从事云原生相关工作从入门到精通不得不迈过的坎。通过本系列文章，你将从虚拟机准备开始，到使用二进制方式从零到一搭建起安全稳定的高可用

    2024年02月10日
    浏览(36)
  • ADS仿真，3db均衡器是否可以补偿3db插入损耗？

    ADS仿真，3db均衡器是否可以补偿3db插入损耗？

    高速信号走线经常会有走线超长的问题，走线过长带来的直接影响是对应的插入损耗IL会增加，当超过标准要求时需增加Redriver等补偿，最常用的调整时增加预加重和去加重。而调整预加重时首先遇到的一个问题是补偿多少db? http://www.eepw.com.cn/article/237872.htm 使用ADS 眼图仿真，

    2024年02月07日
    浏览(47)
  • [11]云计算｜简答题｜案例分析｜云交付｜云部署｜负载均衡器｜时间戳

    [11]云计算｜简答题｜案例分析｜云交付｜云部署｜负载均衡器｜时间戳

    我们学校要根据目前学生互联网在线学习、教师教学资源电子化、教学评价过程化精细化的需求，计划升级为云教学系统。请同学们根据学校发展实际考虑云交付模型包含哪些？云部署采用什么模型最合适？请具体说明。 A公司有20人，行政人员5人，科研和技术人员15人。现接

    2024年02月03日
    浏览(37)
  • 赛灵思7系列FPGA GT收发器中的RX均衡器

    赛灵思7系列FPGA GT收发器中的RX均衡器

            串行信号经过传输媒介时，必然伴随着衰减或者扭曲。为了减少信号衰减带来的串行误码率，并且兼顾功耗与性能，GT收发器提供了两种信号改善方法：一种是LPM模式（low-power mode），另一种是DFE模式（判决反馈均衡器 Decision Feedback Equalizer ）。         DFE模式

    2024年02月03日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包