(小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建

这篇具有很好参考价值的文章主要介绍了(小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

0.准备

1.Hadoop伪分布式环境搭建

2.安装ssh,配置ssh无密码登录

3.通过拖拽的方式将文件从windows传到linux桌面

5.安装hadoop

6.修改hadoop环境变量

7.修改配置文件 core-site.xml

8.修改配置文件hdfs-site.xml文件

9.执行NameNode的格式化

10.开启NameNode和DataNode守护进程

11.访问web页面

12.关闭Hadoop


0.准备

已经按照《(小白全过程记录)Ubuntu-14.04.5虚拟机安装》篇成功在虚拟机上安装Ubuntu。

1.Hadoop伪分布式环境搭建

(1)运行虚拟机

(2)以root登录,为普通用户hadoop进行授权。

 #切换root用户
 su root
 #编辑sudoers文件,最后一行添加"hadoop   ALL=(ALL:ALL)    ALL"
 vim /etc/sudoers
 #添加下面的语句
 hadoop   ALL=(ALL:ALL)    ALL

#我安装的这个ubuntu没有vim,需要使用apt-get安装,vim apt-get install vim

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

2.安装ssh,配置ssh无密码登录

(1)安装、启动ssh服务器

 #root账户下
 apt-get install openssh-server
 #普通用户(hadoop),步骤1中已为hadoop账户授权,hadoop账户可以通过sudo执行apt-get命令
 sudo apt-get install openssh-server

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

 #启动ssh服务器
 service ssh start

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

刚刚安装好ssh时,LINUX系统还没有把SSH放进service 列表里,2个解决方法:

(1)重启虚拟机

(2)根目录下,执行./etc/init.d/ssh start

 #重启服务器
 #再次启动ssh服务器
 service ssh start
 #嗨,还是报错,使用方法2
 ./etc/init.d/ssh start
 #检验:检查有没有sshd
 ps -e | grep ssh

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

(2)配置

 ssh localhost

发现建立链接失败,输入yes看一看,发现还需要输入密码,但是我们没有设置过密码,说明有问题

不慌,下面我们设置一下就不需要密码,能够正常建立链接了

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

 #ssh密钥
 ssh-keygen  -t  rsa  #直接回车就行
 #密钥添加到服务器,这样ssh localhost就不用输入了
 cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
 #设置权限
 chmod  600  ~/.ssh/authorized_keys

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

(3)测试

 #这回成功建立链接
 ssh localhost

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

  

3.通过拖拽的方式将文件从windows传到linux桌面

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

1.拖拽文件就可以实现是因为安装了vmware tools

2.如果您的虚拟机没有安装vmware tools,您可以通过ifconfig命令查看虚拟机的ip地址,然后通过xftp软件(官网申请免费使用)实现文件传输

4.配置Java

(1)解压jdk7u79linuxx64.tar.gz文件到/usr/local下

 #文件传到了hadoop(普通用户)的桌面上,所以使用hadoop账户
 #普通账户(hadoop)
 sudo tar -zxvf ~/Desktop/jdk7u79linuxx64.tar.gz  -C /usr/local
 sudo apt-get install openjdk-7-jdk

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

(2)修改文件,设置环境变量。

sudo  vim /etc/profile

文件末尾加入:

export JAVA_HOME=/usr/local/jdk1.7.0_79

export PATH=$JAVA_HOME/bin:$PATH:

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

#不要忘记source激活
source   /etc/profile

(3)验证

#查看路径信息
echo $JAVA_HOME
#查看java版本号
java -version

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

5.安装hadoop

(1)解压文件

sudo tar -zxvf ~/Desktop/hadoop-2.7.7.tar.gz -C /usr/local  
cd /usr/local
sudo mv hadoop-2.7.7 hadoop 
sudo chown -R hadoop:hadoop hadoop

(2)检测是否安装成功

cd /usr/local/hadoop
./bin/hadoop version     #成功则会显示 Hadoop 版本信息

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

6.修改hadoop环境变量

sudo vim  /usr/local/hadoop/etc/hadoop/hadoop-env.sh
#加入下面内容,保存退出:
export  JAVA_HOME=/usr/local/jdk1.7.0_79

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

#在老师的实验报告指导书基础上,进行增加,把hadoop加到环境变量中
sudo  vim /etc/profile
#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#激活
source   /etc/profile

#重启虚拟机
reboot

#终端测试,看是否添加成功
hadoop

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

 

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

 

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

7.修改配置文件 core-site.xml

sudo vim  /usr/local/hadoop/etc/hadoop/core-site.xml

#configuration里增加内容
<configuration>
<property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
<property>
<!-- namenode的通信地址 -->
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

8.修改配置文件hdfs-site.xml文件

sudo vim  /usr/local/hadoop/etc/hadoop/hdfs-site.xml

#configuration里增加内容


<configuration>
<property>
<!-- 设置hdfs副本数量 -->
        <name>dfs.replication</name>
        <value>1</value>
    </property>
<property>
<!-- name node 存放 name table 的目录 -->
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
<property>
<!-- data node 存放数据 block 的目录 -->
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

9.执行NameNode的格式化

/usr/local/hadoop/bin/hdfs namenode -format
#成功的话,会看到 "successfully formatted" 和 "Exitting with status 0" 的提示,若为 "Exitting with status 1" 则是出错。

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

10.开启NameNode和DataNode守护进程

/usr/local/hadoop/sbin/start-all.sh

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

这里我们使用的是hadoop(普通账户),又出现了类似2(2)的情况,需要输入密码。

为什么呢?步骤2中我们明明配置好并测试过了,为什么还会出现这种情况呢?

原因:步骤2中使用的root账户,这里使用的是hadoop账户

两种解决办法:

(1)切换root账户进行(下面采用此方法)

(2)hadoop账户先执行一遍2(2)步骤,再执行本步骤操作即可。(已亲自测试过)

经验:以后涉及到ubuntu软件、环境变量配置、进程等操作,一律使用root账户,会减少很多不必要的麻烦!

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

#jps
jps

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

11.访问web页面

http://localhost:50070

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux

12.关闭Hadoop

/usr/local/hadoop/sbin/stop-all.sh

ubuntu虚拟机hadoop伪分布式搭建,大数据技术篇,hadoop,ubuntu,linux文章来源地址https://www.toymoban.com/news/detail-770774.html

到了这里,关于(小白全过程记录)Ubuntu下伪分布式Hadoop环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 【教程】Hadoop完全分布式环境搭建全过程

    【教程】Hadoop完全分布式环境搭建全过程

    保姆级入门教程:图片讲解 + 各种问题解决方案 集群服务器:hadoop102、hadoop103和hadoop104 虚拟机版本:CentOS7-1804 资源分享处(文章最后)提供CentOS7和Hadoop各组件压缩包(也可以自行下载,要注意版本兼容的问题),有需要自取~ 1, 模板虚拟机准备 2, 克隆三台虚拟机,作为

    2024年02月06日
    浏览(12)
  • STM32蓝牙小车制作全过程---刚入门的小白也能会

    STM32蓝牙小车制作全过程---刚入门的小白也能会

    首先我本人也是学stm32满打满算也才半个学期的小白,经过半学期的学习总感觉理论啥的虚了点,所以就打算搞辆蓝牙小车来练练手,这就有了现在的这篇文章,来分享一下制作小车时的一些问题和经验希望能帮助到更多的小白(。・ω・。),有说错的地方希望大家能指正哈。

    2023年04月08日
    浏览(4)
  • CentOS7搭建伪分布式Hadoop(全过程2023)

    CentOS7搭建伪分布式Hadoop(全过程2023)

    可以使用XFTP,用物理主机链接虚拟机的centos传送java文件,或者直接去java官网下载文件,解压。配置文件,启动配置。 验证java是否配置好 输入: java javac java -version 修改六个配置文件hadoop-env.sh 启动hadoop之前需要格式化(具体在出现的问题第六点) 验证: 出现错误,解决和验

    2024年02月08日
    浏览(24)
  • Microsoft Office安装全过程记录

    Microsoft Office安装全过程记录

    相信过新年时大家都会收到许多压岁钱吧(也可能是输出了许多压岁钱),过了一个新年,我收到了2000多块压岁钱。因此,我想完成一个一直没有完成的梦想,那就是把电脑上的WPS换成信息课老师示范的Microsoft Office(我放弃WPS的两个原因:1. 没Office用着习惯;2. 它慢慢的也

    2024年02月08日
    浏览(7)
  • 记录一次开机内存分析的全过程

    记录一次开机内存分析的全过程

    作者:zzy的学习笔记 记录一次开机内存分析的全过程,尽量详尽的介绍常用内存分析工具和命令行的使用,结合具体问题探讨开机内存分析的实践经验。通过这篇文章我会介绍开机内存的常用测试分析工具的基本使用方法,以及如何通过抓取出来的内存数据得出下一步的分析

    2024年02月07日
    浏览(8)
  • 记录Java读取hdfs上的文件全过程

    记录Java读取hdfs上的文件全过程

    文章目录 前言 一、项目大体流程 二、详细步骤 1.在idea里面创建空项目(小白也能看懂) 2.导入所需的jar包 2.输入代码后就可以实现了 总结         跟着白哥学Java,今天就来分享一下Java如何上传文件到hdfs上面, 提示:以下是一点见解         我们想要上传到hdfs,首先就

    2024年02月10日
    浏览(7)
  • 使用ubuntu搭建hadoop伪分布全过程图解

    使用ubuntu搭建hadoop伪分布全过程图解

    目录 1. 安装jdk 2. 添加java环境变量 3. 设置免密登录 4. 安装hadoop 5. 添加hadoop环境变量 6. 修改hdoop-env.sh文件 7. 修改core-site.xml文件 8. 修改yarn-site.xml文件 9. 修改mapred-site.xml文件 10. 修改hdfs-site.xml文件 11. 进行授权 12. 创建namenode,datanode目录 13. 格式化 14. 启动服务 15. 关闭防火墙

    2024年03月14日
    浏览(11)
  • ShaderToy着色器移植到Three.js全过程记录

    ShaderToy着色器移植到Three.js全过程记录

    推荐:用 NSDT设计器 快速搭建可编程3D场景。 作为 Publicis Pixelpark Innovationlab 研究的一部分,我们研究了如何将较低底层的语言用于网络技术。 显而易见的选择似乎是 asm.js 或 WebAssembly。 但你也可以使用 WebGL 着色器来解决面向机器的问题。 着色器使用类似于 C/C++ 的语言进行

    2024年02月13日
    浏览(8)
  • 解决Ubuntu下升级openssh以及openssl全过程

    解决Ubuntu下升级openssh以及openssl全过程

    由于ubuntu的openssh版本过低导致无法远程链接服务器 需要升级ssh方能远程连接服务器 闲话不多说,开始记录全过程 网上说要先进行以下步骤: 注意: 如果确保你的网络是没问题的,那这步骤可以跳过 openssh以及openssl的资源链接: openssl 官方下载地址: https://www.openssl.org/source

    2024年02月05日
    浏览(10)
  • 记录在linux上使用科大讯飞的语音识别的全过程

    记录在linux上使用科大讯飞的语音识别的全过程

            1.网址讯飞开放平台-以语音交互为核心的人工智能开放平台 (xfyun.cn)。         2.登录上述网站。         3.点击控制台,创建应用。         4.再在网页中找到语音听写功能,就是本次需要使用到的语音转文字功能,有很多入口可以进入,进入后请自行查看相关介

    2024年04月13日
    浏览(5)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包