部署HDFS集群

这篇具有很好参考价值的文章主要介绍了部署HDFS集群。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

上传hadoop-3.3.4.tar.gz到/export/server

解压

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server/
# 快捷方式
ln -s /export/server/hadoop-3.3.4 hadoop

Hadoop安装包目录结构

目录 说明
bin 存放Hadoop的各类程序(命令)
etc 存放Hadoop的配置文件
sbin 管理员程序(super bin)
include C语言的一些头文件
lib 存放Linux系统的动态链接库(.so文件)
libexec 存放配置Hadoop系统的脚本文件(.sh和.cmd)
licenses-binary 存放许可证文件
share 存放二进制源码(Java jar包)

配置集群

  1. workers:配置从节点(DataNode)有哪些
  2. hadoop-env.sh:配置Hadoop的相关环境变量
  3. core-site.xml:Hadoop核心配置文件
  4. hdfs-site.xml:HDFS核心配置文件

这些文件均存在与 HADOOP_HOME/etc/hadoop文件夹中。
HADOOP_HOME:/export/server/hadoop, 这个后期配置成环境变量

cd /export/server/hadoop/etc/hadoop/
# 配置workers文件
vim workers
# 填入node1 node2 node 3

部署HDFS集群

# 配置hadoop-env.sh文件
# 填入以下内容
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
# 配置core-site.xml文件
# 在文件内部填入如下内容
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

Key 含义 备注
fs.defaultFS HDFS文件系统的网络通讯路径 hdfs://node1:8020 协议为hdfs://,namenode为node1,namenode通讯端口为8020
io.file.buffer.size io操作文件缓冲区大小 131072 bit

hdfs://node1:8020为整个HDFS内部的通讯地址,应用协议为hdfs://(Hadoop内置协议)
表明DataNode将和node1的8020端口通讯,node1是NameNode所在机器
此配置固定了node1必须启动NameNode进程

# 配置hdfs-site.xml文件
# 在文件内部填入如下内容
<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
  </property>
<property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

hdfs-site.xml 简单说明:

Key 含义
dfs.datanode.data.dir.perm hdfs文件系统,默认创建的文件权限设置 700,即:rwx------
dfs.namenode.name.dir NameNode元数据的存储位置 /data/nn,在node1节点的/data/nn目录下
dfs.namenode.hosts NameNode允许哪几个节点的DataNode连接(即允许加入集群) node1、node2、node3,这三台服务器被授权
dfs.blocksize hdfs默认块大小 268435456(256MB)
dfs.namenode.handler.count namenode处理的并发线程数 100,以100个并行度处理文件系统的管理任务
dfs.datanode.data.dir 从节点DataNode的数据存储目录 /data/dn,即数据存放在node1、node2、node3,三台机器的/data/dn内
# namenode数据存放node1的/data/nn
# datanode数据存放node1、node2、node3的/data/dn

# 在node1节点执行:
mkdir -p /data/nn
mkdir /data/dn
# 在node2和node3节点:
mkdir -p /data/dn

分发Hadoop文件夹

cd /export/server
scp -r hadoop-3.3.4 node2:$PWD
scp -r hadoop-3.3.4 node3:$PWD
# 登陆node2/3分别执行创建软连接命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

配置环境变量

# 为了方便以后的操作把常用的hadoop命令配置成环境变量 [node1/2/3都配置]
vim /etc/profile
# 在/etc/profile文件底部追加如下内容
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
# 环境变量配置好了可以执行 hadoop version看看效果
hadoop version
#输出如下
Hadoop 3.3.4
Source code repository https://github.com/apache/hadoop.git -r a585a73c3e02ac62350c136643a5e7f6095a3dbb
Compiled by stevel on 2022-07-29T12:32Z
Compiled with protoc 3.7.1
From source with checksum fb9dd8918a7b8a5b430d61af858f6ec
This command was run using /export/server/hadoop-3.3.4/share/hadoop/common/hadoop-common-3.3.4.jar

授权hadoop用户

# 为了确保安全,hadoop系统不以root用户启动,我们以普通用户hadoop来启动整个Hadoop服务
# (之前说过创建hadoop,并配置hadoop用户之间的免密登陆)
# 以root账户执行下面的命令,(node 1/2/3都要执行)
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

格式化文件系统

# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
# 因为我们在前面配置了环境变量,因此可以直接hadoop命令来操作,简单粗暴
hadoop namenode -format

Hadoop 启动

# 一键启动hdfs集群
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh

windows下的hosts文件也映射下

192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

最后打开 http://node1:9870/
可以看到集群状态
部署HDFS集群

快照

执行init 0 命令,把三台虚拟机关机在虚拟机上拍摄快照.文章来源地址https://www.toymoban.com/news/detail-710898.html

到了这里,关于部署HDFS集群的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • linux安装部署mysql服务 tar.gz rpm两种安装方式教程

    本教程为linux下安装部署mysql服务,安装方式分为两种,一种tar.gz包安装,另一种为rpm包安装。 服务器:linxu CentOS 7 mysql服务tar.gz版本:mysql-5.7.36-el7-x86_64.tar.gz mysql服务rpm版本: mysql-5.7.36-1.el7.x86_64.rpm-bundler.tar 首先连接linux服务器,将防火墙关闭: 1.下载mysql-5.7.36-el7-x86_64.ta

    2024年02月05日
    浏览(31)
  • Hadoop上传文件到hdfs中

    hadoop常见指令: hdfs dfs -copyFromLocal /local/data /hdfs/data :将本地文件上传到 hdfs 上(原路径只能是一个文件) hdfs dfs -put /tmp/ /hdfs/ :和 copyFromLocal 区别是,put 原路径可以是文件夹等 hadoop fs -ls / :查看根目录文件 hadoop fs -ls /tmp/data :查看/tmp/data目录 hadoop fs -cat /tmp/a.txt :查看

    2023年04月15日
    浏览(40)
  • 【ubuntu】详解解压命令(.tar、.gz、.tar.gz、.bz2、.tar.bz2、.zip、.rar等)

    目录 *.tar 文件 *.tar.gz 和 *.tgz 文件 *.gz 文件 *.bz2 文件 *.tar.bz2 文件 *.zip 文件 *.rar 文件      

    2024年02月16日
    浏览(61)
  • HDFS 跨集群数据同步(hive,hadoop)

    两个不同的HDFS 集群数据迁移( A集群的数据 - B 集群) 采用的是 SHELL 脚本  按表进行; 日期分区进行; #!/bin/bash ##################### #创建人:DZH #创建日期: 2020-04 #内容: 数据迁移 ##################### ##################################### [ \\\"$#\\\" -ne 0 ] FILE=$1 path=$(cd `dirname $0`; pwd) ############## 获取执

    2024年04月27日
    浏览(58)
  • docker保存、导入、导出和加载tar及其tar.gz

    一、操作tar包 1、save和load命令 save命令 示例 : 或 其中-o和表示输出到文件,nginx.tar为目标文件,nginx:latest是源镜像名(name:tag) load命令 示例: 或 其中-i和表示从文件输入。会成功导入镜像及相关元数据,包括tag信息 2、export和import命令 export命令 示例 导出为tar 其中-o表示输出

    2024年02月07日
    浏览(36)
  • 大数据技术之Hadoop:HDFS集群安装篇(三)

    目录 分布式文件系统HDFS安装篇 一、为什么海量数据需要分布式存储 二、 分布式的基础架构分析 三、 HDFS的基础架构 四 HDFS集群环境部署 4.1 下载安装包 4.2 集群规划 4.3 上传解压 4.4 配置HDFS集群 4.5 准备数据目录 4.6 分发hadoop到其他服务器 4.7 配置环境变量 4.8 为普通用户授

    2024年02月14日
    浏览(50)
  • Hadoop集群启动后利用Web界面管理HDFS

           Hadoop集群启动后,可以通过自带的浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址, hadoop版本为3.0以前访问端口默认为9870 , hadoop版本为3.0以后访问端口默认为50070 。( 下面测试版本为Hadoop3.0以后的 ) 一、利用ifconfig命令查看NameNode所在服

    2024年02月11日
    浏览(51)
  • linux 解压.tar.gz文件

    (1)解压 .tar.gz文件 其中, 文件名.tar.gz 是你要解压的文件的名称。 解释一下命令的选项: -z :表示使用 gzip 压缩算法进行解压。 -x :表示解压操作。 -v :可选参数,用于显示详细的解压过程。 例如,如果你有一个名为 archive.tar.gz 的文件,可以使用以下命令将其解压:

    2024年02月10日
    浏览(48)
  • linux解压tar.gz文件

    LINUX解压缩TAR.GZ文件命令 以下介绍如何压缩与解压 .tar.gz 格式的文件 1、压缩命令: 命令格式: 可先切换到当前目录下,压缩文件名和被压缩文件名都可加入路径。 2、解压缩命令: 命令格式:

    2024年02月12日
    浏览(43)
  • tar.gz 压缩和解压命令

    以·tar.gz为后缀的文件是一种压缩文件,在Linux和macOS下常见,Linux和macOS都可以直接解压使用这种压缩文件。 运行命令后会将data.tar.gz解压到当前目录下 运行后会将指定文件或者文件夹data,压缩后保存成data.tar.gz -z: 使用gzip -c: 压缩 -x: 解压 -v: 显示解压压缩的文件列表 -f: 指定

    2024年02月11日
    浏览(66)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包