hadoop大数据集群中更换磁盘，balance的速度缓慢问题（解决）
看现象只有4个bloucks在执行的
调整参数：
增大配置参数，观察重新负载的速度
修改配置文件 hdfs-site.xml
dfs.datanode.balance.max.concurrent.moves=100
dfs.balancer.max-size-to-move=21474836480
dfs.balancer.moverThreads=1300
dfs.balabcer.getBlocks.size=4294967296
dfs.datanode.balance.bandwidthPerSec=20971520
以上参数需要重启hdfs
参数说明：
dfs.datanode.balance.max.concurrent.moves：此参数定义了数据平衡器并行移动数据块的最大并发数。它限制了同时进行数据移动的任务数量。
dfs.balancer.max-size-to-move：该参数定义了数据平衡器所能移动的单个数据块的最大大小。超过此大小的数据块将不会被移动。
dfs.balancer.moverThreads：此参数指定了数据平衡器使用的线程数。它决定了同时执行数据移动任务的线程数量。
dfs.balancer.getBlocks.size：该参数定义了在进行数据平衡期间每次获取数据块信息的最大数量。当数据平衡器需要了解 DataNode 上的数据块分布时，它可以请求获取这些信息。
dfs.datanode.balance.bandwidthPerSec：此参数定义了每秒钟用于数据平衡的最大带宽限制。它限制了数据平衡器在集群中移动数据时的带宽使用
查看默认参数的命令：
hdfs getconf -confKey dfs.datanode.balance.max.concurrent.moves
还需要调整的参数：
dfs.namenode.replication.max-streams：该参数用于指定在同一时间内执行数据块复制操作的最大流数。具体来说，它限制了在复制过程中可以并行进行的数据块传输流的数量。默认情况下，它的值等于 dfs.namenode.replication.work.multiplier.per.iteration 的值。
dfs.namenode.replication.max-streams-hard-limit：这是一个硬限制参数，用于限制在同一时间内执行数据块复制操作的最大流数。与上述参数相比，它提供了一种更强制的限制，无论 dfs.namenode.replication.work.multiplier.per.iteration 的值如何，都不会超过该硬限制。如果未设置该参数，它的值将等于 dfs.namenode.replication.max-streams 的值。
dfs.namenode.replication.work.multiplier.per.iteration：该参数用于控制每次迭代期间执行的复制工作量。它表示每次迭代中生成新的复制任务的数量。具体来说，每个迭代将根据 dfs.replication 的值和该参数的乘积来生成复制任务。例如，如果 dfs.replication 为 3，dfs.namenode.replication.work.multiplier.per.iteration 为 2，则每次迭代会生成 6 个复制任务。默认情况下，该参数的值为 4。
dfs.replication.considerLoad：该参数在进行数据块复制操作时，考虑数据节点的负载情况。默认值为 true，即复制操作会考虑数据节点的负载情况来分配任务。如果希望在进行数据块复制时忽略节点的负载情况，可以将该参数设置为 false。
文章来源：https://www.toymoban.com/news/detail-682040.html
速度快了很多的文章来源地址https://www.toymoban.com/news/detail-682040.html
到了这里，关于hadoop大数据集群中更换磁盘，balance的速度缓慢问题（解决）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
