Hadoop的安装实验报告

这篇具有很好参考价值的文章主要介绍了Hadoop的安装实验报告。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、实验目的

1. 掌握Linux虚拟机的安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能。鉴于目前很多读者正在使用Windows操作系统,因此,为了完成本书的后续实验,这里有必要通过本实验让读者掌握在Windows操作系统上搭建Linux虚拟机的方法。

2. 掌握Hadoop的伪分布式安装方法。很多读者并不具备集群环境,需要在一台机器上模拟一个小的集群,因此,需要通过本实验让读者掌握在单机上进行Hadoop的伪分布式安装方法。

二、实验平台

操作系统: Windows 系统或者CentOS(推荐)。

虚拟机软件:推荐使用的开源虚拟机软件为VMware Workstation Player。 VMware Workstation Player是一款桌面虚拟化应用,无需重新启动即可在同一计算机上运行一个或多个操作系统。凭借其简单的用户界面、无可比拟的操作系统支持和移动性,用户可以比以往更轻松地使用公司桌面投入工作。可虚拟的系统包括Windows、MacOS X、Linux、OpenBSD、Solaris、 IBM OS2,甚至Android 4.0系统等。读者可以在Windows系统上安装VMware Workstation Player软件,然后在VMware Workstation Player上安装并且运行Linux操作系统。本次实验默认的Linux发行版为CentOS7。

三、实验内容和要求

1.下载相关软件

如果读者正在使用Linux 操作系统,可以跳过本步,不需要下载相关软件;如果正在使用Windows操作系统,请下载VMware Workstation Player软件和CentOS7镜像文件。

VMware Workstation Player软件的下载地址: https://www.vmware.com/products/workstation-player/workstation-player-evaluation.html

CentOS7的镜像文件下载地址: https://www.centos.org/download/。

2.安装Linux虚拟机

如果读者正在使用Linux操作系统,则不需要了解Windows系统上的Linux虚拟机安装方法;如果正在使用Windows操作系统,则需要在Windows系统上安装Linux虚拟机。首先,在Windows系统上安装虚拟机软件VMware Workstation Player软件;其次,在虚拟机软件VMware Workstation Player上安装CentOS7操作系统。

3.进行Hadoop伪分布式安装

在Linux环境下完成伪分布式环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常。

步骤一、创建虚拟机

  1. 选择新建虚拟机

hadoop安装实验报告,hadoop,linux,windows

 文章来源地址https://www.toymoban.com/news/detail-714752.html

2.选择虚拟机类型

hadoop安装实验报告,hadoop,linux,windows

 

3.选择虚拟机磁盘空间

hadoop安装实验报告,hadoop,linux,windows

 

4更改虚拟机硬件环境

hadoop安装实验报告,hadoop,linux,windows

 

步骤二、安装Centos7操作系统

  1. 将ISO文件装入CD/DVD

hadoop安装实验报告,hadoop,linux,windows

 

  1. 选择安装语言

hadoop安装实验报告,hadoop,linux,windows

 

  1. 选择安装位置、安装类型

hadoop安装实验报告,hadoop,linux,windows

 

  1. 设置网络环境
  1. 设置root用户密码
  1. 安装文件
  1. 启动后设置

步骤三、设置CentOS7更新源

1. 下载repo文件(以163源为例)

wget http://mirrors.163.com/.help/CentOS7-Base-163.repo

2. 备份并替换系统的repo文件

cp CentOS7-Base-163.repo /etc/yum.repos.d/

cd /etc/yum.repos.d/

mv CentOS-Base.repo CentOS-Base.repo.bak

mv CentOS7-Base-163.repo CentOS-Base.repo

hadoop安装实验报告,hadoop,linux,windows

 

3. 执行yum源更新命令

yum clean all

yum makecache

yum update

hadoop安装实验报告,hadoop,linux,windows

 

hadoop安装实验报告,hadoop,linux,windows

 

步骤四、更改用户为sudoer用户

1. 切换到root用户

su –

2. 修改/etc/sudoers文件的权限,添加写权限

chmod 660 /etc/sudoers

3. 编辑sudoers文件,添加hadoop用户的权限

hadoop ALL=(ALL) ALL

hadoop安装实验报告,hadoop,linux,windows

 

4. 恢复sudoers文件原始权限

chmod 440 /etc/sudoers

5. 切回hadoop用户去测试一下,是否可适用sudo命令

步骤五、安装Java

一、压缩包的安装

1. 去官网下载对应版本的压缩包

2. 解压缩

tar -zxvf 压缩包名

3. 将解压缩的目录移动到指定位置

4. 修改系统配置文件

5. update-alternatives

二、yum在线安装

1. 查看支持的在线安装版本

yum -y list java*

2. 在线安装java

yum -y install 安装应用名称

3. 找到安装的路径

/usr/lib/jvm/……

hadoop安装实验报告,hadoop,linux,windows

 

4. 写入JAVA_HOME并修改PATH(在配置文件中bashrc或profile)

vi ~/.bashrc

JAVA_HOME=/usr/lib/jvm/……

PATH=$PATH:$JAVA_HOME/bin

hadoop安装实验报告,hadoop,linux,windows

 

  1. source 配置文件

hadoop安装实验报告,hadoop,linux,windows

 

6. 更新java

update-alternatives --install /usr/bin/java java /usr/lib/jvm/……/bin/java 300

update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/……/bin/javac 300

update-alternatives --config java

7.查看JAVA

java -version

步骤六、设置SSH免密登陆

1. 生成密钥

ssh-keygen -t rsa

2.复制公钥到authorized_keys

~/.ssh/authorized_keys

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3. 测试免密登陆

ssh 机器名

hadoop安装实验报告,hadoop,linux,windows

 

步骤七、安装和配置Hadoop

一、hadoop程序的安装

1. 下载hadoop

hadoop.apache.org  (2.7.7)

2. 解压

tar -zxvf Hadoop的压缩包

3. 将解压后的目录移动指定目录

mv 解压后的目录 /usr/local/Hadoop

4. 修改系统环境变量

vi ~/.bashrc

hadoop安装实验报告,hadoop,linux,windows

 

5. 更新配置文件

source 配置文件

hadoop安装实验报告,hadoop,linux,windows

 

6. 检验

hadoop version

二、hadoop的配置

1. 伪分布式的配置:

core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/Hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/Hadoop/tmp/dfs/data</value>

</property>

</configuration>

三、格式化分布式文件系统

hdfs namenode -format

四、启动hdfs

start-dfs.sh

五、验证

jps

或浏览器中输入:localhost:9870

hadoop安装实验报告,hadoop,linux,windows

 

到了这里,关于Hadoop的安装实验报告的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据 | 实验零:安装 Hadoop 伪分布式系统

    👀 前言 :本篇是个人配置环境的总结,基于指导书,补充了许多在配置过程中出现的问题的解决细节。希望能帮到你😄。 Vmware workstation pro 16 Ubuntu 20.04 JDK 1.8 Hadoop 3.2.2 下边资源是本篇博客会用到的相关文件 (建议直接下载,相关代码直接对应的下述文件, 下载完先不要动

    2023年04月17日
    浏览(47)
  • Spark编程实验一:Spark和Hadoop的安装使用

    目录 一、目的与要求 二、实验内容 三、实验步骤 1、安装Hadoop和Spark 2、HDFS常用操作 3、Spark读取文件系统的数据 四、结果分析与实验体会 1、掌握在Linux虚拟机中安装Hadoop和Spark的方法; 2、熟悉HDFS的基本使用方法; 3、掌握使用Spark访问本地文件和HDFS文件的方法。 1、安装

    2024年04月14日
    浏览(34)
  • Windows下安装Hadoop(手把手包成功安装)

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统( Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System)。HDFS有

    2024年02月08日
    浏览(49)
  • windows环境下安装配置hadoop

    (需要提前安装好JDK,否则会出错。) 1、进入 https://archive.apache.org/dist/hadoop/ 下载所需要的hadoop版本 (演示:hadoop-2.9.1.tar.gz(可能需要双重解压)) 下载后解压至想要安装的目录位置 2、下载winutils.exe(GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windo

    2023年04月08日
    浏览(53)
  • hadoop win11安装hadoop环境 winutils.exe获取,windows安装大数据运行环境 winutils文件获取,winutils文件 hadoop(十四)

    注:有些win环境的大数据dll文件,winutils.exe需要积分下载,我没有积分,提供一份github链接 每个版本基本都有,挺全。 1. github地址: GitHub - cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows 2. 从上述链接,下载工程,复制出来自己的版本,我hadoop安装的3.3.4,

    2024年02月04日
    浏览(55)
  • Windows上安装Hadoop 3.x

          目录 0. 安装Java 1. 安装Hadoop 1.1 下载Hadoop 1.2 下载winutils 2. 配置Hadoop 1. hadoop-env.cmd 2. 创建数据目录 3. core-site.xml 4. hdfs-site.xml 3. 启动测试 3.1 namenode格式化 3.2 启动Hadoop  3.3 查看webui 3.4 测试hdfs 3.5. 测试MapReduce 4. 还没结束 4.1 YARN的webui没看到任务 4.2 hadoop-streaming的小坑 我

    2024年02月11日
    浏览(37)
  • windows上Hadoop的安装和使用

    Hadoop的安装和使用(windows) 下载hadoop在windows上运行的软件winutils    由于Hadoop 不直接 支持Windows系统,需要使用工具集winutils进行支持。到github.com网站(https://github.com/s911415/apache-hadoop-3.1.3-winutils)下载与Hadoop3.1.3配套的winutils。 将hadoop3.1.3解压到常用的学习路径(E:minghuan

    2024年02月15日
    浏览(43)
  • Windows11安装hadoop-3.3.0

    一、安装Java 1. 下载Java 进入下载页面Java Archive Downloads - Java SE 8 Java SE Development Kit 8u191中 选择适合操作系统的下载文件 在安装好的路径下,将Java目录复制到C:根目录下,形成C:Javajdk1.8.0_191目录结构 2. 设置环境变量 注意:要保证jdk所在的路径中不能包含空格,比如Program F

    2024年02月12日
    浏览(66)
  • 大数据开发之windows安装hadoop教程

    下载hadoop地址:http://archive.apache.org/dist/hadoop/common/hadoop-3.2.2/ 2. 下载hadoop-winutils https://github.com/cdarlint/winutils 将红色方框里面的文件复制到hadoop-3.2.2bin目录中,hadoop主要基于linux编写,这个winutil.exe主要用于模拟linux下的目录环境。因此hadoop放在windows下运行的时候,需要这个辅

    2024年02月14日
    浏览(37)
  • Windows 环境下 Hadoop 的安装和配置

    Windows10 JDK1.8.0_192 Hadoop2.7.3 首先要安装好Java。没装的先搜索安装Java的教程吧。 这里我已经安装好了,需要配置好环境变量,Hadoop的安装会用到。 路径:C:Program FilesJavajdk1.8.0_192 环境变量:HAVA_HOME,值:C:Program FilesJavajdk1.8.0_192 从hadoop-2.7.3下载hadoop-2.7.3.tar.gz,解压后放到

    2024年02月08日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包