超详细版Hadoop的安装与使用(单机/伪分布式)

这篇具有很好参考价值的文章主要介绍了超详细版Hadoop的安装与使用(单机/伪分布式)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、首先安装VMware虚拟机

虚拟机安装包以及Ubuntu ISO映像下载:https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=9999 

下载完成后,进入VMware,点击右上角【文件】——【新建虚拟机向导】

1.1选择典型

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

1.2选择光盘映像

映像文件选择上方刚刚下载的ubuntukylin-16.04-desktop-amd64

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

1.3命名

根据自己需求来,无统一规定

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据
1.4安装位置

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

1.5设置磁盘容量

一般为20GB即可

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

点击下一步,再点击完成,虚拟机就创建完毕了。

二、创建Hadoop用户

2.1运行虚拟机

默认情况下,创建完虚拟机会自动启动,也可以在主页点击绿色启动按钮

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

第一次启动需要耐心等待安装

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

点击我们创建的用户登录

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

如果安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。

首先按 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :

(可以直接把命令粘贴过去,右击的Paste是粘贴键,如果Paste键是灰色的话,关机再重启虚拟机就好了)

sudo useradd -m hadoop -s /bin/bash

上面这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell,该命令会让你输入登录密码来验证操作身份,输入密码后按回车就可以(密码输入后是不可见的)

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

接着使用如下命令设置Hadoop用户的密码,简单设置就好,按提示输入两次密码:

sudo passwd hadoop

可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:

sudo adduser hadoop sudo

完成后我们可以在右上角点击小齿轮,切换到hadoop用户

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

三、SSH登录权限设置

安装ssh的服务端:

sudo apt-get install openssh-server

根据提示,输入y进行安装

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

四、安装Java环境

4.1安装并解压Java jdk

首先下载Java jdk,链接:https://pan.baidu.com/s/1JKwJEAnYpNDN2hZ5JpPMVw?pwd=9999

为了方便传输文件,我们需要用到FileZilla,FileZilla下载链接:https://pan.baidu.com/s/1DFFt-PWFBBY9Obm_Zv_24g?pwd=9999

下载后双击运行安装,安装完成后运行FileZilla

先回到虚拟机,输入ifconfig查看本机虚拟机的ip

红色圈出来的就是ip地址了,记一下方便后续使用

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

接下来回到FileZilla,点击左上角【文件】——【站点管理器】

点击下方【新站点】,右侧主机输入刚刚查询到的虚拟机ip,协议选择SFTP,登录类型正常。

用户名hadoop,密码是虚拟机用户hadoop的密码

检查输入无误后,点击右下方【连接】

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

勾选信任,点确认

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

左上角显示如下就代表连接成功了

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

接下来把我们刚刚下载的Java jdk-8u162-linux-x64.tar.gz通过FileZilla传输到虚拟机 /home/hadoop/Downlods/   路径下面

简单来说FileZilla的用法就是左侧是你自己的电脑,在左侧找到存放你下载的Java jdk位置,然后在右侧找到/home/hadoop/Downlods/(没找到的话把FileZilla关了重新再连接试试)

鼠标点住左侧的jdk文件不要动,拖动到右侧Downlods里,即可完成文件的传输。

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

传输完成后回到虚拟机中,输入命令如下:

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
cd Downloads  #注意区分大小写字母,刚才已经通过FTP软件把JDK安装包jdk-8u162-linux-x64.tar.gz上传到该目录下
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  #把JDK文件解压到/usr/lib/jvm目录下

如下图代表解压完毕

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

4.2配置环境变量

配置环境变量为了方便也用到了FileZilla(也可以用vim编辑器),这里我用的FileZilla。

首先依然是打开FileZilla,然后像刚刚一样,与站点建立连接,确保连接正常。

接下来在右侧文件目录中找到.bashrc文件

找到后像刚刚一样,鼠标单击选中,拖拽到左侧(左侧路径最好是桌面,方便找到)

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

拖到桌面上我们双击就可以对.bashrc文件进行编辑,复制下方代码粘贴到.bashrc文件中(粘贴到任意空白位置都可以,注意别误删了其他代码)

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

改好后记得保存,点击左上角【文件】——【保存】

保存完毕后,打开FileZilla,我们需要用新修改完的.bashrc替换虚拟机中原有的.bashrc文件

在左侧单击选择刚刚修改好的.bashrc,将它移动到右侧刚刚的路径(/home/hadoop下面),此时会出现弹窗,我们选择【覆盖】,点击确定,这样环境变量就配置好了

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

回到虚拟机中,输入命令如下

source ~/.bashrc #让.bashrc文件的配置立即生效

五、单机安装配置

首先需要下载hadoop 3,链接:https://pan.baidu.com/s/1b36jbPa4-S3aFMjd7V1zpw?pwd=9999 

打开FileZilla,将下载好的hadoop上传到虚拟机。(路径跟刚刚Java jdk的一样)

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

回到虚拟机中执行如下命令:

cd /home/hadoop/Downloads
sudo tar -zxf ./hadoop-3.1.3.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

安装完成

六、伪分布式安装配置 

伪分布式安装需要修改配置文件,仍然是用filezilla把下面2个文件下载到本地进行修改,经过上面的操作相信大家对于使用FileZilla传文件都很熟练了。
分别需要修改/usr/local/hadoop/etc/hadoop/core-site.xml文件和
/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件

注意我们的文件路径/usr/local/hadoop/etc/hadoop(实在找不到文件的位置可以复制路径到远程站点那个输入框按回车)

把这两个文件都拖拽到桌面上来,方便修改

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

这两个文件的打开方式都选择【用记事本打开】

将core-site.xml在<configuration>和</configuration>中增加以下内容:

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

改完别忘点击保存。

将hdfs-site.xml在<configuration>和</configuration>中增加以下内容:

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
       <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>

改完别忘点击保存。

然后用FileZilla将这两个改好后的文件传回到虚拟机中(注意路径),同样是选择覆盖之前的。

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

接下来配置ssh无密码登录,在虚拟机中输入以下命令:

ssh localhost            #输入yes
exit
cd ~/.ssh/
ssh-keygen -t rsa                     #敲3次回车
cat ./id_rsa.pub >>./authorized_keys

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

修改hadoop的配置文件  /usr/local/hadoop/etc/hadoop/hadoop_env.sh
用FileZilla把hadoop_env.sh文件传到桌面上,用记事本方式打开,找到下面这行
#  JAVA_HOME=/usr/java/testing hdfs dfs -ls
把# JAVA_HOME=后面的内容修改为/usr/lib/jvm/jdk1.8.0_162
保存

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

修改完后用FileZilla传回虚拟机,仍然是选择覆盖。

超详细版Hadoop的安装与使用(单机/伪分布式),分布式,hadoop,大数据

传输完毕之后,执行命令初始化文件系统

cd /usr/local/hadoop/bin
./bin/hdfs namenode -format

然后启动所有进程

cd /usr/local/hadoop/sbin
start-all.sh
start-dfs.sh       #启动文件系统

此时,可以在虚拟机中访问 Web 页面(http://localhost:9870)来查看 Hadoop 的信息

若想停止hdfs可输入以下命令:文章来源地址https://www.toymoban.com/news/detail-811150.html

cd /usr/local/hadoop
./sbin/stop-dfs.sh

到了这里,关于超详细版Hadoop的安装与使用(单机/伪分布式)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置

    华为云耀云服务器试用领取 领取的试用云耀云服务器在哪 阿里云服务器免费试用领取 Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置 阿里云服务器ECS安装图形界面 本篇文章是基于上一篇所配置好的云服务器进行实验软件安装,该系列文章是根据林子雨所讲述的课程就在

    2024年01月21日
    浏览(32)
  • Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

    目录 前言: 一、VMware Workstation 二、Ubuntu系统安装 新建虚拟机 三、Ubuntu系统的配置 四、更新apt 五、安装SSH、配置SSH无密码登陆  六、安装Java环境 七、安装 Hadoop3.1.3 八、Hadoop单机配置(非分布式) 九、Hadoop伪分布式配置 前言:         本篇教程由作者本人进行修改,原教

    2024年02月03日
    浏览(23)
  • hadoop(伪分布式)上的spark和Scala安装与配置详细版

    在搭建spark和Scala前提下,必需安装好hive和java,和 Hadoop的伪分布式 哦 1、安装与配置Scale        (1)去官网下载Scala         官网地址: The Scala Programming Language (scala-lang.org) https://www.scala-lang.org/ 这里我要的是scala-2.2.12.12.tgz 然后我们点击 all releases 点进去之后往下找 然后

    2024年04月28日
    浏览(35)
  • 大数据-安装 Hadoop3.1.3 详细教程-伪分布式配置(Centos7)

    **相关资源:**https://musetransfer.com/s/q43oznf6f(有效期至2023年3月16日)|【Muse】你有一份文件待查收,请点击链接获取文件 1.检查是否安装ssh (CentOS 7 即使是最小化安装也已附带openssh 可跳过本步骤) 若已安装进行下一步骤 若未安装 请自行百度 本教程不做过多讲解 2.配置ss

    2023年04月08日
    浏览(24)
  • Hadoop 伪分布式搭建(超详细)

    Hadoop伪分布式搭建 虚拟机准备阶段操作 安全设置 防火墙相关指令 关闭关闭selinux IP设置 查看机器IP 修改主机名 修改IP及主机名映射 SSH免密登陆 Hadoop伪分布式搭建 JDK配置 解压 配置环境变量 Hadoop配置 解压文件 修改配置文件 配置Hadoop环境变量 验证环境变量是否配置成功 格

    2023年04月13日
    浏览(24)
  • hadoop伪分布式搭建(超详细)

    上一篇文章已经为大家介绍了如何在Linux系统上配置java环境,这为hadoop的集群搭建提供了基础条件,因为Hadoop是由Java编写的 如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527 接下来是hadoop伪分布搭建的要准备东

    2024年02月03日
    浏览(40)
  • 真·保姆级——在VMware的Ubuntukylin上进行Hadoop单机/伪分布式安装时安装VMware Tools后虚拟机与物理机之间无法传输文件和复制粘贴的问题(附Ubuntu更改默认登录用户)

    目录 一、前言 二、版本信息 三、hadoop用户创建 1.创建hadoop用户 2.在创建hadoop用户后对系统进行重启 四、解决办法 4.1 更改默认登陆用户 4.2 安装VMware Tools 4.3 验证VMware Tools是否安装成功 4.4 KO!!! 4.4.1 卸载安装的Vmware Tools 4.4.2 安装VMware Tools所需的组件 五、可能遇见的问题

    2024年02月08日
    浏览(31)
  • Hadoop分布式安装

    首先准备好三台服务器或者虚拟机,我本机安装了三个虚拟机,安装虚拟机的步骤参考我之前的一篇 virtualBox虚拟机安装多个+主机访问虚拟机+虚拟机访问外网配置-CSDN博客 jdk安装 参考文档:Linux 环境下安装JDK1.8并配置环境变量_linux安装jdk1.8并配置环境变量_Xi-Yuan的博客-CSDN博

    2024年02月08日
    浏览(30)
  • Hadoop分布式集群安装

            上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn 伪分布式集群的安装方法,方便大家学习,真实环境不可能只有一台机器,肯定是多节点的集群,大单位还会建设很多Hadoop集群,比如各个大部门有自己的集群,或者按热、温、冷来划分建立集群,反正都是很多台服

    2024年01月19日
    浏览(27)
  • Hadoop分布式安装部署

    VMware Workstation Pro17 CentOS7 Hadoop-3.3.6 jdk1.8.0_391 事先需要在本地电脑安装VMware,再创建虚拟机,并且克隆该虚拟机,使用多台机器配合完成完全的分布式文件系统。本文使用三台虚拟机搭建Hadoop。 Hadoop在安装部署之前,需要对虚拟机进行网络配置,将虚拟机的网络状态由动态修

    2024年01月23日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包