hadoop伪集群部署教程-Toy模板网

这篇具有很好参考价值的文章主要介绍了hadoop伪集群部署教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

本文将介绍如何安装和配置Hadoop，一个用于分布式存储和处理大规模数据的开源框架。您将学习如何安装Java Development Kit (JDK) 和Hadoop，并进行必要的配置。通过按照本文提供的步骤，您将能够在自己的机器上搭建一个Hadoop伪集群，并通过浏览器访问Hadoop的管理页面。

一、安装准备

1. 安装条件

jdk版本：1.8+

2. 安装jdk

下载地址：https://www.oracle.com/java/technologies/downloads/#java8

下载后上传到/tmp目录下。

然后执行下面命令，用于创建目录、解压，并设置系统级环境变量。

mkdir -p /opt/module
tar -zxvf /tmp/jdk-8u391-linux-x64.tar.gz -C /opt/module/
echo >> /etc/profile
echo '#JAVA_HOME' >> /etc/profile
echo "export JAVA_HOME=/opt/module/jdk1.8.0_391" >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

3. 配置本节点免密登录

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

二、安装hadoop

1. 下载并解压hadoop

wget --no-check-certificate https://archive.apache.org/dist/hadoop/common/hadoop-3.0.0/hadoop-3.0.0.tar.gz -P /tmp
mkdir -p /opt/soft/hadoop
tar -zxvf /tmp/hadoop-3.0.0.tar.gz -C /opt/soft/hadoop

2. 设置环境变量

2.1 设置hadoop安装目录环境变量

设置hadoop系统级环境变量，并加载环境变量。

echo >> /etc/profile
echo '#HADOOP_HOME' >> /etc/profile
echo "export HADOOP_HOME=/opt/soft/hadoop/hadoop-3.0.0" >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
echo 'export HADOOP_LOG_DIR=$PATH:$HADOOP_HOME/logs' >> /etc/profile
source /etc/profile

2.2. 设置hadoop的root用户环境变量

hadoop通常不建议以root用户身份来启动服务，因为这可能会导致安全漏洞。如果以root用户启动hadoop就会报错，设置hadoop的root用户环境变量后，就可以用root用户启动hadoop。

echo >> /etc/profile
echo 'export HDFS_NAMENODE_USER=root' >> /etc/profile
echo 'export HDFS_DATANODE_USER=root' >> /etc/profile
echo 'export HDFS_SECONDARYNAMENODE_USER=root' >> /etc/profile
echo 'export YARN_RESOURCEMANAGER_USER=root' >> /etc/profile
echo 'export YARN_NODEMANAGER_USER=root' >> /etc/profile
source /etc/profile

3. 修改配置文件

3.1 修改 etc/hadoop/hadoop-env.sh 文件

修改 etc/hadoop/hadoop-env.sh 文件，设置Java环境变量。

cd /opt/soft/hadoop/hadoop-3.0.0
sed -i "s|^# export JAVA_HOME=.*|export JAVA_HOME=/opt/module/jdk1.8.0_391|" "etc/hadoop/hadoop-env.sh"
sed -i "s|^export JAVA_HOME=.*|export JAVA_HOME=/opt/module/jdk1.8.0_391|" "etc/hadoop/hadoop-env.sh"

3.2 修改 etc/hadoop/core-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/core-site.xml 文件。内容如下所示。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.3 修改 etc/hadoop/hdfs-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/hdfs-site.xml 文件。内容如下所示。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3.4 修改 etc/hadoop/mapred-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/mapred-site.xml 文件。内容如下所示。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.5 修改 etc/hadoop/yarn-site.xml 文件

修改 /opt/soft/hadoop/hadoop-3.0.0/etc/hadoop/yarn-site.xml 文件。内容如下所示。

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

4. 格式化文件系统

hdfs namenode -format

5. 启动hadoop

启动 hadoop，包括 hdfs 和 yarn 。

cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-all.sh

6. 浏览器访问

浏览器访问地址 http://localhost:9870 即可进入 hdfs 页面。如下图所示。

hadoop伪集群部署教程,hadoop,hadoop

浏览器访问地址 http://localhost:8088 即可进入 yarn 页面。如下图所示。

hadoop伪集群部署教程,hadoop,hadoop

三、hadoop伪集群命令

1. 启停命令

1.1 启动所有组件

cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-all.sh

1.2 停止所有组件

cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./stop-all.sh

1.3 启动 hdfs

cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-dfs.sh

1.4 停止 hdfs

cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./stop-dfs.sh

1.5 启动 yarn

cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./start-yarn.sh

1.6 停止 yarn

cd /opt/soft/hadoop/hadoop-3.0.0/sbin
./stop-yarn.sh

总结

本教程详细介绍了安装和配置Hadoop的步骤。您学习了如何安装JDK和Hadoop，并进行必要的环境变量配置。我们还演示了如何修改Hadoop的配置文件以适应您的需求，并展示了如何格式化文件系统和启动Hadoop。最后，我们展示了如何通过浏览器访问Hadoop的管理页面。

希望本教程对您有所帮助！如有任何疑问或问题，请随时在评论区留言。感谢阅读！文章来源地址https://www.toymoban.com/news/detail-842752.html

到了这里，关于hadoop伪集群部署教程的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

hadoop伪集群部署教程

前言