1. Toy模板网首页
  2. > Toy博客

centos7安装hadoop 单机版

9月前 作者：jmzcc 分类：Toy博客 阅读(45) 违法举报

这篇具有很好参考价值的文章主要介绍了centos7安装hadoop 单机版。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.解压

（1）将hadoop压缩包复制到/opt/software路径下

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（2）解压hadoop到/opt/module目录下

[root@kb135 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（3）修改hadoop属主和属组

[root@kb135 module]# chown -R root:root ./hadoop-3.1.3/

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

2.配置环境变量

[root@kb135 module]# vim /etc/profile

# HADOOP_HOME

export HADOOP_HOME=/opt/soft/hadoop313

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

修改完之后[root@kb135 module]# source /etc/profile

3.在hadoop目录创建data目录

[root@kb135 module]# cd ./hadoop-3.1.3/

创建目录data

[root@kb135 hadoop-3.1.3]# mkdir ./data

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

4.修改配置文件

进入/opt/module/hadoop-3.1.3/etc/hadoop目录，查看目录下的文件，配置几个必要的文件

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（1）配置core-site.xml

[root@kb135 hadoop]# vim ./core-site.xml

<configuration>

    <property>

      <name>fs.defaultFS</name>

      <value>hdfs://kb135:9000</value>

    </property>

    <property>

      <name>hadoop.tmp.dir</name>

      <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

    <property>

      <name>hadoop.http.staticuser.user</name>

      <value>root</value>

    </property>

    <property>

      <name>io.file.buffer.size</name>

      <value>131073</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.hosts</name>

      <value>*</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.groups</name>

      <value>*</value>

    </property>

 </configuration>

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（2）配置hadoop-env.sh

[root@kb135 hadoop]# vim ./hadoop-env.sh

修改第54行

export JAVA_HOME=/opt/module/jdk1.8.0_381

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（3）配置hdfs-site.xml

[root@kb135 hadoop]# vim ./hdfs-site.xml

<configuration>

   <property>

     <name>dfs.replication</name>

     <value>1</value>

   </property>

   <property>

     <name>dfs.namenode.name.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/name</value>

   </property>

   <property>

     <name>dfs.datanode.data.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/data</value>

   </property>

   <property>

     <name>dfs.permissions.enabled</name>

     <value>false</value>

   </property>

</configuration>

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（4）配置mapred-site.xml

[root@kb135 hadoop]# vim ./mapred-site.xml

<configuration>

    <property>

      <name>mapreduce.framework.name</name>

      <value>yarn</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.address</name>

      <value>kb135:10020</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.webapp.address</name>

      <value>kb135:19888</value>

    </property>

    <property>

      <name>mapreduce.map.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.reduce.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.application.classpath</name>

      <value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*</value>

    </property>

</configuration>

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（5）配置yarn-site.xml

[root@kb135 hadoop]# vim ./yarn-site.xml

<configuration>

   <property>

     <name>yarn.resourcemanager.connect.retry-interval.ms</name>

     <value>20000</value>

   </property>

   <property>

     <name>yarn.resourcemanager.scheduler.class</name>

     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

   </property>

   <property>

     <name>yarn.nodemanager.localizer.address</name>

     <value>kb135:8040</value>

   </property>

   <property>

     <name>yarn.nodemanager.address</name>

     <value>kb135:8050</value>

   </property>

   <property>

     <name>yarn.nodemanager.webapp.address</name>

     <value>kb135:8042</value>

   </property>

  <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

   </property>

   <property>

     <name>yarn.nodemanager.local-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/yarn</value>

   </property>

   <property>

     <name>yarn.nodemanager.log-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/log</value>

   </property>

   <property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

   </property>

</configuration>

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

（6）配置workers

[root@kb135 hadoop]# vim ./workers

修改为kb135

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

5.初始化hadoop

进入/opt/module/hadoop-3.1.3/bin路径

[root@kb135 bin]# hadoop namenode -format

6.设置免密登录

[root@kb135 ~]# ssh-keygen -t rsa -P ""

[root@kb135 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

[root@kb135 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb135

7.启动hadoop

[root@kb135 ~]# start-all.sh

查看进程

[root@kb135 ~]# jps

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java

8.测试

网页中输入网址：http://192.168.142.135:9870/

centos7安装hadoop 单机版,hadoop,大数据,linux,centos,java文章来源地址https://www.toymoban.com/news/detail-669890.html

到了这里，关于centos7安装hadoop 单机版的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 23年hadoop单机版+hive

    23年hadoop单机版+hive

    工作需要研究hive功能，线上环境不能动，搭建单机版hadoop+hive测试环境，使用当前最新hadoop 3.3.6+ hive 3.1.3。 大数据博客列表 开发记录汇总 个人java工具库 项目https://gitee.com/wangzonghui/object-tool 包含json、string、集合、excel、zip压缩、pdf、bytes、http等多种工具，欢迎使用。 系统环

    2024年02月12日
    浏览(82)
  • 最新版本——Hadoop3.3.6单机版完全部署指南

    最新版本——Hadoop3.3.6单机版完全部署指南

    大家好，我是独孤风，大数据流动的作者。 本文基于最新的 Hadoop 3.3.6 的版本编写，带大家通过单机版充分了解 Apache Hadoop 的使用。本文更强调实践，实践是大数据学习的重要环节，也能在实践中对该技术有更深的理解，所以一些理论知识建议大家多阅读相关的书籍（都在资

    2024年02月03日
    浏览(48)
  • hadoop3.3.1单机版环境搭建详细流程记录

    hadoop3.3.1单机版环境搭建详细流程记录

    安装vim即可； 按“o”进入编辑模式； 编辑完内容后，“esc”--“:”--\\\"wq\\\"--回车，执行保存并退出。 点\\\"i\\\"或者\\\"o\\\"进入编辑模式； 编辑完后，点\\\"Esc\\\"--\\\":\\\"--\\\"wq\\\"，回车，保存退出。 生成公钥和私钥；（一直点下去即可） 授权是单向的； 8.1、方法一： 进入 ~/.ssh 目录下，查看生成

    2024年02月09日
    浏览(46)
  • CentOS 7 部署 Nacos-2.3.0 （单机版）

    CentOS 7 部署 Nacos-2.3.0 （单机版）

    历史版本：https://github.com/alibaba/nacos/releases/ 我选的是 2.3.0 版本，https://github.com/alibaba/nacos/releases/download/2.3.0/nacos-server-2.3.0.tar.gz 单机部署: 将下载安装包上传至 /usr/local 目录下并解压： 进入解压后目录： /usr/local/nacos ， 出现如下： 自行安装好 MySQL8.0 进入 /usr/local/nacos/bin 目

    2024年01月17日
    浏览(43)
  • HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式（详细安装+配置+增删改查测试脚本）（附开源镜像站地址）

    HBase【部署 01】CentOS 7.5 部署 hbase-2.4.5 单机版standalone模式（详细安装+配置+增删改查测试脚本）（附开源镜像站地址）

    HBase的 官网 内容还是挺多的，下载安装包还是使用 清华大学开源软件镜像站 会快一些 ⚡️ 本文的安装文件为：hbase-2.4.5-bin.tar.gz HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。运行时不仅需要 Hadoop 还依赖 JDK 环境，HBase 2.0+ 以上版本不再支持 JDK 1.7 ，需

    2024年04月11日
    浏览(47)
  • Docker Compose安装milvus向量数据库单机版-milvus基本操作

    Docker Compose安装milvus向量数据库单机版-milvus基本操作

    以管理员身份运行powershell Ubuntu 22.04 LTS可以不装，wsl必须更新。。。 如果 操作超时 ，可以试试开代理。 重启电脑。。。 设置用户名、密码 https://hub.docker.com/ 重启电脑。。。 power shell输入以下命令，下载yaml文件到指定目录，并重命名为docker-compose.yml 或者 点击一下链接直接

    2024年01月19日
    浏览(63)
  • 安装配置 zookeeper（单机版）

    安装配置 zookeeper（单机版）

    目录 一 准备并解压安装包 二 修改zoo.cfg文件 三 创建相应两个目录 四 创建文件myid  五 修改环境变量 六 启动 zookeeper         这里提供了网盘资源  http://链接: https://pan.baidu.com/s/1BybwSQ_tQUL23OI6AWxwFw?pwd=d4cf         提取码: d4cf         这里的安装包是放在/opt/install 目

    2024年02月08日
    浏览(59)
  • HBase单机版安装详细步骤

    HBase单机版安装详细步骤

    目录 一、安装HBase前置环境 1.jdk 2.hadoop 3.zookeeper 二、安装HBase步骤 (一)解压 (二)修改文件名 (三)修改配置文件 (四)配置HBase的环境变量 (五)启动HBase 1.启动hadoop 2.启动zookeeper 3.启动hbase 4.jps出现HMaster和HRegionServer 5.HBase的WebUI (六)HBase的逻辑结构： (七)HBase基本命令  1.进入HBase

    2024年02月07日
    浏览(61)
  • Nacos单机版安装启动流程

    Nacos单机版安装启动流程

    安装地址：https://github.com/alibaba/nacos/ 1、选择自己需要的版本  2、选择自己的环境下在对应的压缩包  3、下载后放到自己的文件目录中解压 4、window环境修改startup.cmd文件，改为单机部署后，就可以直接点击cmd文件直接启动了 mac通过终端进入cd ～/nacos/bin 目录下，通过命令 

    2024年02月11日
    浏览(58)
  • docker 安装zookeeper单机版

    docker 安装zookeeper单机版

    1. 安装版本3.5.7 ,  也可以自己去官网找到自己需要的版本复制命令即可    https://hub.docker.com/_/zookeeper/tags   2. 创建映射文件夹 ：        3. docker命令创建容器 ：     4.centos 打开防火墙2181端口，如果是云服务器的话，阿里云控制台打开云服务器2181端口就可以了。 5. 下载客

    2024年02月13日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包