Hadoop伪集群安装
1、 基础配置
考核条件如下：
(1) 按照左侧虚拟机名称修改对应主机名为hadoop000(使用hostnamectl命令)
hostnamectl set-hostname hadoop000
bash(2) /root/目录下创建文件夹task
mkdir /root/task(3) task文件夹下创建文件student
touch /root/task/student(4) 修改hosts文件添加左侧hadoop000节点IP与主机名映射（使用内网IP）
echo '内网ip hadoop000' >> /etc/hosts(5) 时区更改为上海时间（CST+0800时区）
echo TZ="Asia/Shanghai;export TZ" >> /etc/profile
source /etc/profile(6) 添加定时任务要求每天早十点将系统日期和时间写入创建好的student文件中
crontab -e
* * 10 * * echo `date +"%Y-%m-%d %H:%M:%S"` begin >> /root/task/student2、 ssh免密配置
考核条件如下：
(1) 节点中生成公钥文件id_rsa.pub(数字签名RSA，用户root，主机名hadoop000)
/usr/sbin/sshd
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop000(2) 建⽴hadop000⾃身使⽤root⽤户ssh访问localhost免密登录（自行完成首次公钥匙认证）
ssh localhost3、 JDK安装
考核条件如下：
(1) 将jdk安装包解压到/usr/java目录（安装包存放于/usr/package277，路径自行创建，解压后文件夹为默认名称，其他安装同理）
cd /usr/ && mkdir java
tar -zxvf /usr/package277/jdk-8u221-linux-x64.tar.gz -C /usr/java(2) 配置系统环境变量JAVA_HOME，同时将JDK安装路径中bin目录加入PATH系统变量，注意生效变量，查看JDK版本
echo 'export JAVA_HOME=/usr/java/jdk1.8.0_221' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile && bash
java -version
文章来源地址https://www.toymoban.com/news/detail-445745.html
4、 Hadoo伪集群部署
考核条件如下：
(1) 将Hadoop安装包解压到指定路径/usr/hadoop（安装包存放于/usr/package277/）
cd /usr/ && mkdir hadoop
tar -zxvf /usr/package277/hadoop-2.7.7.tar.gz -C /usr/hadoop(2) 配置环境变量HADOOP_HOME，将Hadoop安装路径中bin目录和sbin目录加入PATH系统变量，注意生效变量
echo 'export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile && bash接下来所有的配置文件都存放在/usr/hadoop/hadoop-2.7.7/etc/hadoop中，我们先进入该目录
cd /usr/hadoop/hadoop-2.7.7/etc/hadoop(3) 配置Hadoop运行环境JAVA_HOME(hadoop-env.sh)
修改JAVA_HOME
(4) 设置全局参数，指定HDFS上NameNode地址为hadoop000,端口默认为9000(core-site.xml)
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop000:9000</value>
</property>(5) 设置全局参数，指定临时存储目录为本地/root/hadoopData/tmp(要求为绝对路径，下同)
<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoopData/tmp</value>
</property>(6) 设置HDFS参数，指定备份文本数量为1（hdfs-site.xml）
<property>
<name>dfs.replication</name>
<value>1</value>
</property>(7) 设置HDFS参数，指定NN存放元数据信息路径为本地/root/hadoopData/name；指定DN存放元数据信息路径为本地/root/hadoopData/data(要求为绝对路径)
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hadoopData/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hadoopData/data</value>
</property>(8) 设置HDFS参数，关闭hadoop集群权限校验（安全配置），允许其他用户连接集群
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>(9) 设置YARN运行环境$JAVA_HOME参数(yarn-env.sh)
(10) 设置YARN核心参数，指定mapreduce 获取数据的方式为mapreduce_shuffle（yarn-site.xml）
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>(11) 设置计算框架参数，指定MR运行在yarn上（mapred-site.xml）
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>(12) 设置节点文件slaves，要求hadoop000为子节点
hadoop000(13) 对文件系统进行格式化
hdfs namenode -format当出现“Exiting with status 0”的时候，表明格式化成功。
(14) 启动Hadoop集群查看各节点服务
start-all.sh(15) 查看集群运行状态是否正常
jps一定确保进程都已经启动
文章来源：https://www.toymoban.com/news/detail-445745.html
到了这里，关于2022.04.27智警杯CIPUC校内选拔赛-伪集群安装的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
