目录
vim命令编辑器安装
SSH配置
JDK配置
hadoop 配置
hadoop 配置文件
集群格式化及启动
文中jdk与hadoop版本可能与博主不同 文中出现的所有jdk1.8.0_361和hadoop-2.7.7都要换成你所下载的jdk和hadoop版本,下方链接是我的jdk和hadoop压缩包自行提取。
链接:https://pan.baidu.com/s/132aoruf7SuUfqRisyR4TrQ?pwd=xu75
提取码:xu75
vim命令编辑器安装
书中是利用gedit进行文本编辑,利用xshell进行连接时不能使用gedit,而且有编辑状态下按上下左右键变成ABCD,所以个人喜欢使用vim命令编辑器。也可以跳过这一步,将文中vim命令全部换成gedit,vim安装命令如下:
sudo apt-get remove vim-common 卸载原先的vim-common组件。
sudo apt-get install vim 卸载完成后安装vim编辑器
SSH配置
sudo apt-get install ssh 安装ssh
ssh-keygen -t rsa 输入后一直回车即可
cd ~/.ssh/ 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa 会有提示,都按回车就可以
cat ~/.ssh/id_rsa.pub >> ~ /.ssh/authorized_keys # 加入授权
chmod 755 ~
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
安装完成后出现以下界面
ssh 主机名 登陆测试一下 使用hostname查看主机名
将jdk和hdoop移动到opt文件夹里(本人是放入了opt文件夹,可以根据自己喜好设置,记好这个位置 多次要用)
cd /opt 切换到放置jdk和hadoop的文件夹
tar -zxvf jdk压缩包 依次进行解压
tar -zxvf hadoop压缩包 可以在当前目录下使用table键进行补全
JDK配置
sudo vim /etc/profile 编辑profile文件
按i进入编辑模式
在末尾添加以下代码
export JAVA_HOME=/opt/jdk1.8.0_361
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
:wq 保存并退出
source /etc/profile 更新全局变量
java -version 查看jdk是否配置成功
出现以下界面即为JDK安装成功
hadoop 配置
sudo vim ~/.bashrc 编辑bashrc文件
按i进入编辑模式
添加以下代码
export JAVA_HOME=/opt/jdk1.8.0_361
export HADOOP_HOME=/opt/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib "
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/
:wq 保存并退出
source ~/.bashrc 刷新环境变量
输入 hadoop version 查看是否安装成功
出现以下界面即为安装成功
hadoop 配置文件
cd /opt/hadoop-2.7.7/etc/hadoop 进入hadoop目录下进行配置
sudo vim hadoop-env.sh 打开hadoop-env.sh进行编辑
按i进入编辑模式
添加 export JAVA_HOME=/opt/jdk1.8.0_361
以下标红的字体都是根据本机ip地址和你jdk hadoop 所放置的文件夹自行更改
ifconfig #查看本机ip地址
以下几个配置文件的代码都要放到箭头所指的地方
切记配置文件不要打错字 否则会出错
sudo vim yarn-site.xml 打开yarn-site.xml进行编辑
按i进入编辑模式
<!-- 指定resourcemanager的主机名-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.244.129</value>
</property>
<!-- 指定yarn的shuffle技术-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
sudo vim hdfs-site.xml 打开hdfs-site.xml进行编辑
按i进入编辑模式
<!-- 块的副本数-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/namenode</value>
</property>
<!-- 确定DFS数据节点应该将其块存储在本地文件系统的何处-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/datanode</value>
</property>
<!-- namenode守护进程的http地址:主机名和端口号。参考守护进程布局-->
<property>
<name>dfs.http-address</name>
<value>192.168.244.129:50070</value>
</property>
sudo vim core-site.xml 打开core-site.xml进行编辑
按i进入编辑模式
<!-- hdfs的地址名称:schame,ip,port-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.244.129:9000</value>
</property>
<!-- hdfs的基础路径,被其他属性所依赖的一个基础路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop2.7.7/dataNode_1_dir</value>
</property>
sudo vim mapred-site.xml 打开mapred-site.xml进行编辑
按i进入编辑模式
<!-- 指定mapreduce使用yarn资源管理器-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
最后修改
sudo vim /etc/profile #打开/etc/profile进行编辑
按i进入编辑模式
在末尾添加
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME=./hadoop-2.7.7
:wq # 保存并退出
#创键并格式化文件系统
sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/namenode
sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/datanode
sudo mkdir -p ./hadoop-2.7.7/dataNode_1_dir/datanode
集群格式化及启动
hdfs namenode -format #将hdfs格式化
start-all.sh #启动集群
输入jps命令查看运行的节点
出现以下节点则证明伪分布安装成功
stop-all.sh #关闭集群文章来源:https://www.toymoban.com/news/detail-467805.html
谢谢观看!!如果有错误请各位大佬及时提出,有问题也可以留言问我,欢迎补充!!!!文章来源地址https://www.toymoban.com/news/detail-467805.html
到了这里,关于ubuntu系统hadoop伪分布搭建详细教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!