ubuntu系统hadoop伪分布搭建详细教程

这篇具有很好参考价值的文章主要介绍了ubuntu系统hadoop伪分布搭建详细教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

vim命令编辑器安装

SSH配置

JDK配置

hadoop 配置 

hadoop 配置文件 

集群格式化及启动

文中jdk与hadoop版本可能与博主不同 文中出现的所有jdk1.8.0_361和hadoop-2.7.7都要换成你所下载的jdk和hadoop版本,下方链接是我的jdk和hadoop压缩包自行提取。

链接:https://pan.baidu.com/s/132aoruf7SuUfqRisyR4TrQ?pwd=xu75 
提取码:xu75

vim命令编辑器安装

     书中是利用gedit进行文本编辑,利用xshell进行连接时不能使用gedit,而且有编辑状态下按上下左右键变成ABCD,所以个人喜欢使用vim命令编辑器。也可以跳过这一步,将文中vim命令全部换成gedit,vim安装命令如下:

sudo apt-get remove vim-common         卸载原先的vim-common组件。

sudo apt-get install vim                         卸载完成后安装vim编辑器

SSH配置

sudo apt-get install ssh        安装ssh

ssh-keygen -t rsa        输入后一直回车即可

   ubuntu系统hadoop伪分布搭建详细教程

cd ~/.ssh/                             若没有该目录,请先执行一次ssh localhost

ssh-keygen -t rsa                 会有提示,都按回车就可以

cat ~/.ssh/id_rsa.pub >> ~ /.ssh/authorized_keys    # 加入授权

chmod 755 ~

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

安装完成后出现以下界面

 ubuntu系统hadoop伪分布搭建详细教程

ssh 主机名                        登陆测试一下   使用hostname查看主机名

将jdk和hdoop移动到opt文件夹里(本人是放入了opt文件夹,可以根据自己喜好设置,记好这个位置 多次要用)

cd  /opt                             切换到放置jdk和hadoop的文件夹

tar -zxvf   jdk压缩包             依次进行解压

tar -zxvf   hadoop压缩包      可以在当前目录下使用table键进行补全

JDK配置

sudo vim /etc/profile                 编辑profile文件

按i进入编辑模式

在末尾添加以下代码

export JAVA_HOME=/opt/jdk1.8.0_361

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

:wq                                        保存并退出

ubuntu系统hadoop伪分布搭建详细教程

source /etc/profile                    更新全局变量

java -version                            查看jdk是否配置成功

 出现以下界面即为JDK安装成功

ubuntu系统hadoop伪分布搭建详细教程

hadoop 配置 

sudo vim ~/.bashrc   编辑bashrc文件

按i进入编辑模式

添加以下代码

export JAVA_HOME=/opt/jdk1.8.0_361

export HADOOP_HOME=/opt/hadoop-2.7.7

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib "

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/

ubuntu系统hadoop伪分布搭建详细教程

:wq                                           保存并退出

source  ~/.bashrc                        刷新环境变量

输入 hadoop version   查看是否安装成功

出现以下界面即为安装成功

ubuntu系统hadoop伪分布搭建详细教程

hadoop 配置文件 

cd  /opt/hadoop-2.7.7/etc/hadoop   进入hadoop目录下进行配置

 sudo vim hadoop-env.sh      打开hadoop-env.sh进行编辑

按i进入编辑模式

添加 export JAVA_HOME=/opt/jdk1.8.0_361

ubuntu系统hadoop伪分布搭建详细教程

以下标红的字体都是根据本机ip地址和你jdk hadoop 所放置的文件夹自行更改

ifconfig               #查看本机ip地址

ubuntu系统hadoop伪分布搭建详细教程

以下几个配置文件的代码都要放到箭头所指的地方

切记配置文件不要打错字 否则会出错

ubuntu系统hadoop伪分布搭建详细教程

sudo vim yarn-site.xml         打开yarn-site.xml进行编辑

按i进入编辑模式

<!-- 指定resourcemanager的主机名-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>192.168.244.129</value>       

</property>

<!-- 指定yarn的shuffle技术-->

    <property>

        <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

</property>

sudo vim  hdfs-site.xml        打开hdfs-site.xml进行编辑   

按i进入编辑模式

<!-- 块的副本数-->

    <property>

        <name>dfs.replication</name>

        <value>1</value>   

    </property>

 <!-- namenode守护进程管理的元数据文件fsimage存储的位置-->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/namenode</value> 

    </property>

 <!-- 确定DFS数据节点应该将其块存储在本地文件系统的何处-->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/datanode</value>    

    </property>

<!-- namenode守护进程的http地址:主机名和端口号。参考守护进程布局-->

    <property>

      <name>dfs.http-address</name>

      <value>192.168.244.129:50070</value>     

    </property> 

sudo vim core-site.xml               打开core-site.xml进行编辑

按i进入编辑模式

   <!-- hdfs的地址名称:schame,ip,port-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.244.129:9000</value>      

    </property>

     <!-- hdfs的基础路径,被其他属性所依赖的一个基础路径 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop2.7.7/dataNode_1_dir</value>    

</property>

sudo vim mapred-site.xml             打开mapred-site.xml进行编辑

按i进入编辑模式

<!-- 指定mapreduce使用yarn资源管理器-->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

最后修改

sudo vim /etc/profile               #打开/etc/profile进行编辑

按i进入编辑模式

在末尾添加

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin   

export HADOOP_HOME=./hadoop-2.7.7

:wq                              # 保存并退出ubuntu系统hadoop伪分布搭建详细教程

#创键并格式化文件系统 

sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/namenode      

sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/datanode

sudo mkdir -p ./hadoop-2.7.7/dataNode_1_dir/datanode

集群格式化及启动

hdfs namenode -format                #将hdfs格式化

start-all.sh                                    #启动集群

输入jps命令查看运行的节点

出现以下节点则证明伪分布安装成功

ubuntu系统hadoop伪分布搭建详细教程

 stop-all.sh                                    #关闭集群

谢谢观看!!如果有错误请各位大佬及时提出,有问题也可以留言问我,欢迎补充!!!!文章来源地址https://www.toymoban.com/news/detail-467805.html

到了这里,关于ubuntu系统hadoop伪分布搭建详细教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop伪分布式搭建(超详细)

    上一篇文章已经为大家介绍了如何在Linux系统上配置java环境,这为hadoop的集群搭建提供了基础条件,因为Hadoop是由Java编写的 如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527 接下来是hadoop伪分布搭建的要准备东

    2024年02月03日
    浏览(60)
  • hadoop完全分布式集群搭建(超详细)-大数据集群搭建

    本次搭建完全分布式集群用到的环境有: jdk1.8.0 hadoop-2.7.7 本次搭建集群所需环境也给大家准备了,下载链接地址:https://share.weiyun.com/dk7WgaVk 密码:553ubk 本次完全分布式集群搭建需要提前建立好三台虚拟机,我分别把它们的主机名命名为:master,slave1,slave2 一.配置免密登陆 首先

    2024年02月10日
    浏览(52)
  • Hadoop分布式集群搭建教程

    大数据课程需要搭建Hadoop分布式集群,在这里记录一下搭建过程 搭建Haoop分布式集群所需环境: VMware:VMware-workstation-full-17.0.2-21581411 CentOS:CentOS-7-x86_64-DVD-2003, Hadoop:hadoop-3.1.3.tar JDK:jdk-8u212-linux-x64.tar.gz 新建虚拟机 设置用户 命名虚拟机 自定义硬件,完成虚拟机创建 开始

    2024年02月08日
    浏览(39)
  • (小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建

    目录 0.准备 1.Hadoop伪分布式环境搭建 2.安装ssh,配置ssh无密码登录 3.通过拖拽的方式将文件从windows传到linux桌面 5.安装hadoop 6.修改hadoop环境变量 7.修改配置文件 core-site.xml 8.修改配置文件hdfs-site.xml文件 9.执行NameNode的格式化 10.开启NameNode和DataNode守护进程 11.访问web页面 12.关闭

    2024年02月03日
    浏览(49)
  • Hadoop伪分布式安装搭建教程

    安装VMware虚拟机 下载Ubuntu 18.04镜像,并在VMware中新建虚拟机 安装VMware tools 搭建Hadoop伪分布式 1.安装VMware Workstation 14 Pro版本 2.1 在VMware上方菜单栏,文件--新建虚拟机  2.2 默认  2.3 选择稍后安装操作系统 2.4 选择Linux(L),版本 Ubuntu    2.5 定义虚拟机的名称,选择虚拟机的

    2023年04月09日
    浏览(39)
  • hadoop伪分布式环境搭建,完整的详细步骤

    1、VMware14 2、一台ubtuntu 18 64位 3、主机名位master 4、ip 地址:192.168.136.31 5、本次实验需要的安装包 1、 查看id 地址 2、 关闭防火墙 命令来关闭防火墙 命令查看当前防火墙状态 3、 修改主机名、 添加主机映射 修改虚拟机hosts文件,将ip地址添加进来 使用 :wq 保存 测试是否修改

    2024年02月08日
    浏览(44)
  • Hadoop完全分布式搭建教程(完整版)

    切换到Hadoop的etchadoop目录下并进行相关配置 1.配置workers文件 2.配置Hadoop-env.sh文件 3. 配置core-site.xml 文件 4.配置mapred-site.xml 文件 5. 配置hdfs-site.xml文件 6. 配置yarn-site.xml 文件 master:9870查看 ii. master:8088查看

    2024年02月07日
    浏览(39)
  • 伪分布式hadoop+spark+scala 超详细搭建

    目录 安装伪分布式hadoop 安装 JAVA 环境 实现免密登陆 Hadoop环境的安装与配置 安装伪分布式spark  安装伪分布式scala 步骤一:下载 JDK 安装包(jdk-8u152-linuxx64.tar.gz) 官网地址:https://www.oracle.com/java /technologies /javase-jdk8-downloads.html 步骤二:卸载自带 OpenJDK [root@master ~]# rpm -qa |

    2024年04月27日
    浏览(36)
  • 【教程】Hadoop完全分布式环境搭建全过程

    保姆级入门教程:图片讲解 + 各种问题解决方案 集群服务器:hadoop102、hadoop103和hadoop104 虚拟机版本:CentOS7-1804 资源分享处(文章最后)提供CentOS7和Hadoop各组件压缩包(也可以自行下载,要注意版本兼容的问题),有需要自取~ 1, 模板虚拟机准备 2, 克隆三台虚拟机,作为

    2024年02月06日
    浏览(54)
  • Ubuntu搭建Hadoop3.X分布式和高可用集群,一步步深入

    目录 1. 介绍 2. 基础环境 2.1 关闭防火墙 2.2 修改主机名和主机映射 2.3 免密登录 2.4 安装jdk 3. 搭建hadoop3.x完全分布式 3.1 下载包地址 3.2 上传并解压 3.3 创建目录 3.4 修改配置文件  3.4.1 core.site.xml  3.4.2 hdfs-site.xml  3.4.3 yarn-site.xml 3.4.4 mapred-site.xml 3.4.5 workers 3.4.6 hadoop-env.sh

    2024年02月04日
    浏览(65)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包