Linux 虚拟机安装 hadoop

这篇具有很好参考价值的文章主要介绍了Linux 虚拟机安装 hadoop。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1 hadoop下载

2 解压hadoop

3 为 hadoop 文件夹改名

4 给 hadoop 文件夹赋权 

5 修改环境变量

6 刷新环境变量

7 在hadoop313目录下创建文件夹data

8 检查文件

 9 编辑 ./core-site.xml文件

 10 编辑./hadoop-env.sh文件

11 编辑./hdfs-site.xml文件

 12 编辑./mapred-site.xml 文件

13 编辑./yarn-site.xml文件

14  编辑./workers文件

15 初始化

16 配置免密登录

17 启动和关闭hadoop

18 测试 hadoop


1 hadoop下载

hadoop3.1.3网盘资源如下:

链接:https://pan.baidu.com/s/1a2fyIUABQ0e-M8-T522BjA?pwd=2jqu 提取码: 2jqu

2 解压hadoop

解压 hadoop 压缩包到/opt/soft 目录中

tar -zxf ./hadoop-3.1.3.tar.gz -C /opt/soft/

查看是否已经解压到/opt/soft 目录中

ls /opt/soft

Linux 虚拟机安装 hadoop,linux,运维,服务器

3 为 hadoop 文件夹改名

将hadoop-3.1.3/ 改成hadoop313

mv hadoop-3.1.3/ hadoop313

4 给 hadoop 文件夹分配组 

chown -R root:root ./hadoop313/

5 修改环境变量

# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

6 刷新环境变量

source /etc/profile

7 在hadoop313目录下创建文件夹data

mkdir ./data

8 检查文件

查看/opt/soft/hadoop313/etc/hadoop路径下是否有如下文件

Linux 虚拟机安装 hadoop,linux,运维,服务器

 9 编辑 ./core-site.xml文件

vim ./core-site.xml

在<configuration></configuration> 中添加如下内容

注意自己的 hostname 是否一致,还有是否做了域名映射

域名映射可以参考Linux安装配置Oracle+plsql安装配置(详细)_sqlplus 安装_超爱慢的博客-CSDN博客

前几步骤

    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://kb129:9000</value>
    </property>
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/soft/hadoop313/data</value>
    </property>
    <property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
    </property>
    <property>
      <name>io.file.buffer.size</name>
      <value>131073</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
    </property>

 10 编辑./hadoop-env.sh文件

找到被注释的export JAVA_HOME或者直接重新写一个

注意自己的 JAVA_HOME 路径是否与本文一致

vim ./hadoop-env.sh
export JAVA_HOME=/opt/soft/jdk180

11 编辑./hdfs-site.xml文件

vim ./hdfs-site.xml

在<configuration></configuration> 中添加如下内容

    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>/opt/soft/hadoop313/data/dfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>/opt/soft/hadoop313/data/dfs/data</value>
    </property>
    <property>
      <name>dfs.permissions.enabled</name>
      <value>false</value>
    </property>

 12 编辑./mapred-site.xml 文件

vim ./mapred-site.xml

在<configuration></configuration> 中添加如下内容

注意自己的主机名

    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.address</name>
      <value>kb129:10020</value>
    </property>
    <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>kb129:19888</value>
    </property>
    <property>
      <name>mapreduce.map.memory.mb</name>
      <value>4096</value>
    </property>
    <property>
      <name>mapreduce.reduce.memory.mb</name>
      <value>4096</value>
    </property>
    <property>
      <name>mapreduce.application.classpath</name>
      <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/had    oop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/    share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/op    t/soft/hadoop313/share/hadoop/yarn/lib/*</value>
    </property>

13 编辑./yarn-site.xml文件

vim ./yarn-site.xml

在<configuration></configuration> 中添加如下内容

注意自己的主机名(hostname)是否一致

    <property>
      <name>yarn.resourcemanager.connect.retry-interval.ms</name>
      <value>20000</value>
    </property>
    <property>
      <name>yarn.resourcemanager.scheduler.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
      <name>yarn.nodemanager.localizer.address</name>
      <value>kb129:8040</value>
    </property>
    <property>
      <name>yarn.nodemanager.address</name>
      <value>kb129:8050</value>
    </property>
    <property>
      <name>yarn.nodemanager.webapp.address</name>
      <value>kb129:8042</value>
    </property>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
  
    <property>
      <name>yarn.nodemanager.local-dirs</name>
      <value>/opt/soft/hadoop313/yarndata/yarn</value>
    </property>
  
    <property>
      <name>yarn.nodemanager.log-dirs</name>
      <value>/opt/soft/hadoop313/yarndata/log</value>
    </property>
  
  
    <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
    </property>

14  编辑./workers文件

vim ./workers

 将里面的内容替换成你的主机名(hostname)

如:

kb129

15 初始化

hadoop namenode -format

看到下面内容即为成功初始化

Linux 虚拟机安装 hadoop,linux,运维,服务器

16 配置免密登录

返回家目录

ssh-keygen -t rsa -P ""

回车后再回车

会出现以下画面

Linux 虚拟机安装 hadoop,linux,运维,服务器

查看是否有.ssh文件

ll -a

Linux 虚拟机安装 hadoop,linux,运维,服务器

 配置免密登录

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

测试免密登录(ssh连接自己)

ssh -p 22 root@kb159

如果不用输密码就算配置成功

第一次连接会有输入 yes 或 no 的选择

以后连接不会有这样的提示会直接连接成功

连接成功后返回本机输入 exit 回车

如果你是两台不同虚拟机想要用 ssh 连接则需要下面一条命令分别在两台虚拟机中执行一次

(这里的主机名对于的是另一台虚拟机)

ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb128

17 启动和关闭hadoop

启动 hadoop

start-all.sh 

 关闭 hadoop

stop-all.sh 

18 测试 hadoop

输入 jps 会出现以下六个信息Linux 虚拟机安装 hadoop,linux,运维,服务器

 在浏览器输入网址http://192.168.153.129:9870/ 可出现页面(注意替换自己的 IP 地址

Linux 虚拟机安装 hadoop,linux,运维,服务器

 再或者查看 hadoop 版本

hadoop version

Linux 虚拟机安装 hadoop,linux,运维,服务器文章来源地址https://www.toymoban.com/news/detail-667561.html

到了这里,关于Linux 虚拟机安装 hadoop的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux中搭建FTP服务器,匿名用户访问、本地用户访问、虚拟用户访问(详细解答安装配置步骤)

    对于Linux搭建服务器步骤详解:可以基于匿名访问、本地用户访问、虚拟用户访问 FTP服务访问可分为三种 匿名用户:用户名为ftp或者anonymous,提供任意密码或无密码访问即可. 本地用户:要求有用户名和相对应密码,适用于使用者都是使用此服务器的人。 虚拟用户(出于安全

    2024年02月10日
    浏览(66)
  • 运维 | 查看 Linux 服务器 IP 地址

    大多数在操作 Linux 系统时,我们经常需要知道服务器的 IP 比便于后续的一系列操作,这时候有快速查看主机 IP 的命令行操作,能够有效的帮助我们 本章节主要记录一些常用查看服务器 IP 的命令,希望对大家有所帮助。 查看 Linux 服务器的 IP 地址的命令大体上有以下几种。

    2024年04月27日
    浏览(81)
  • 【运维】Linux 跨服务器复制文件文件夹

    如果是云服务 建议用内网ip scp是secure copy的简写,用于在Linux下进行远程拷贝文件的命令,和它类似的命令有cp,不过cp只是在本机进行拷贝不能跨服务器,而且scp传输是加密的。可能会稍微影响一下速度。当你服务器硬盘变为只读 read only system时,用scp可以帮你把文件移出来

    2024年02月08日
    浏览(74)
  • hadoop_虚拟机linux环境部署全教程

    hadoop_虚拟机linux环境部署: 一、 网卡设置 使用VMnet8虚拟网卡 网段设置为:192.168.88.0 网关设置为:192.168.88.2 二、安装Linux操作系统 下载地址:https://vault.centos.org/7.6.1810/isos/x86_64/ 三、Linux系统配置 修改主机名:hostnamectl set-hostname node1 修改IP地址:Vim /etc/sysconfig/network-scripts

    2024年02月06日
    浏览(35)
  • 【Linux 服务器运维】定时任务 crontab 详解 | 文末送书

    本文思维导图概述的主要内容: 1.1 什么是 crontab Crontab 是一个在 Unix 和 Linux 操作系统上 用于定时执行任务 的工具。它允许用户创建和管理计划任务,以便在特定的时间间隔或时间点自动运行命令或脚本。Crontab 是 cron table 的缩写, cron 指的是 Unix 系统中的一个后台进程,它

    2024年02月08日
    浏览(92)
  • 【Linux运维】shell脚本检查服务器内存和CPU利用率

    在管理服务器时候写了一个 shell脚本,在服务上实现每天凌晨3点查系统的指定文件夹下的容量大小,如果超过10G就要删除3天前的内容,还要时刻查询内存和cpu利用率,如果超过80%就要提示用户出现过载 将以上代码保存为一个.sh文件,然后通过crontab在每天凌晨3点运行即可:

    2024年02月09日
    浏览(67)
  • StableDiffusion-webUI环境配置、部署、汉化、扩展超详细步骤 || 服务器Linux Ubuntu/本地Windows || 比官方安装更高自定义度 || anaconda虚拟环境下

    目录 一、代码下载 以下指令用git下载代码(可能不能直接跑通,后续需要修改一些代码,见“ 四、代码修改”部分) 1. 下载 stable-diffusion-webui 仓库 2. 下载其他仓库 二、环境配置 0. 安装anaconda、CUDA、cuDNN 1. 建立并激活新 conda 环境 2. 安装 requirements.txt 中的依赖包 3

    2024年02月10日
    浏览(87)
  • Linux服务器常见运维性能测试(1)综合跑分unixbench、superbench

    最近需要测试一批服务器的相关硬件性能,以及在常规环境下的硬件运行稳定情况,需要持续拷机测试稳定性。所以找了一些测试用例。本次测试包括在服务器的高低温下性能记录及压力测试,高低电压下性能记录及压力测试,常规环境下CPU满载稳定运行的功率记录。 这个系

    2024年02月04日
    浏览(82)
  • Linux本地部署1Panel服务器运维管理面板并实现公网访问

    1Panel 是一个现代化、开源的 Linux 服务器运维管理面板。高效管理,通过 Web 端轻松管理 Linux 服务器,包括主机监控、文件管理、数据库管理、容器管理等 下面我们介绍在Linux 本地安装1Panel 并结合cpolar 内网穿透工具实现远程访问1Panel 管理界面 执行如下命令一键安装 1Panel: 安

    2024年02月04日
    浏览(98)
  • [1Panel]开源,现代化,新一代的 Linux 服务器运维管理面板

    本期测评试用一下1Panel这款面板。1Panel是国内飞致云旗下开源产品。整个界面简洁清爽,后端使用GO开发,前端使用VUE的Element-Plus作为UI框架,整个面板的管理都是基于docker的,想法很先进。官方还提供了视频的使用教程,本期为大家按照本专栏的基本内容进行多方面的测评。

    2024年02月07日
    浏览(94)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包