linux安装JDK及hadoop运行环境搭建

这篇具有很好参考价值的文章主要介绍了linux安装JDK及hadoop运行环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1.linux中安装jdk

(1)下载JDK至opt/install目录下,opt下创建目录soft,并解压至当前目录

tar xvf ./jdk-8u321-linux-x64.tar.gz -C /opt/soft/

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(2)改名

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(3)配置环境变量:vim /etc/profile

#JAVA_HOME

export JAVA_HOME=/opt/soft/jdk180

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(4)更新资源并测试是否安装成功

source /opt/profile

java

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

2.hadoop运行环境搭建

2.1  安装jDK:参上

2.2  下载安装Hadoop

解压至soft目录下,改名为hadoop313

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

更改所属用户为root

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

配置环境变量:vim /etc/profilre;配置完成后source /etc/profile

# HADOOP_HOME

export HADOOP_HOME=/opt/soft/hadoop313

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

创建数据目录data

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

切换至hadoop目录,查看目录下文件,准备进行配置

cd /opt/soft/hadoop313/etc/hadoop

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

2.3  配置单机Hadoop

(1)配置core-site.xml

<configuration>

 <!-- 指定NameNode的地址 -->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://kb129:9000</value>

    </property>

    <!-- 指定hadoop数据的存储目录 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/soft/hadoop313/data</value>

    </property>

    <!-- 配置HDFS网页登录使用的静态用户为root -->

    <property>

        <name>hadoop.http.staticuser.user</name>

        <value>root</value>

    </property>

    <property>

        <name>io.file.buffer.size</name>

        <value>131072</value>

    </property>

    <property>

        <name>hadoop.proxyuser.root.hosts</name>

        <value>*</value>

    </property>

    <property>

        <name>hadoop.proxyuser.root.groups</name>

        <value>*</value>

    </property>

</configuration>
 

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(2)配置hdfs-site.xml

1)编辑hadoop-enc.sh

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

2)开始配置hdfs-site.xml

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/opt/soft/hadoop313/data/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/opt/soft/hadoop313/data/dfs/data</value>

    </property>

    <property>

        <name>dfs.permissions.enabled</name>

        <value>false</value>

    </property>

</configuration>
linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(3)配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <!-- 每隔20s测试连接 -->

    <property>

        <name>yarn.resourcemanager.connect.retry-interval.ms</name>

        <value>20000</value>

    </property>

    <property>

        <name>yarn.resourcemanager.scheduler.class</name>

        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

    </property>

    <property>

        <name>yarn.nodemanager.localizer.address</name>

        <value>kb129:8040</value>

    </property>

    <property>

        <name>yarn.nodemanager.address</name>

        <value>kb129:8050</value>

    </property>

    <property>

        <name>yarn.nodemanager.webapp.address</name>

        <value>kb129:8042</value>

    </property>

    <!-- 指定MapReduce走shuffle -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.local-dirs</name>

        <value>/opt/soft/hadoop313/yarndata/yarn</value>

    </property>

    <property>

        <name>yarn.nodemanager.log-dirs</name>

        <value>/opt/soft/hadoop313/yarndata/log</value>

</property>

<property>

        <name>yarn.nodemanager.vmem-check-enabled</name>

        <value>false</value>

    </property>

</configuration>
 

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(4)配置workers更改workers内容为kb129(主机名)

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(5)配置mapred-site.xml

<configuration>

<!-- 指定MapReduce程序运行在Yarn上 -->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>kb129:10020</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>kb129:19888</value>

    </property>

    <property>

        <name>mapreduce.map.memory.mb</name>

        <value>2048</value>

    </property>

    <property>

        <name>mapreduce.reduce.memory.mb</name>

        <value>2048</value>

    </property>

    <property>

        <name>mapreduce.application.classpath</name>

<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>

    </property>

</configuration>
 

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

2.4  启动测试hadoop

(1)bin目录下初始化集群hadoop namenode -format

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

(2)设置免密登录

回到根目录下配置kb129免密登录:ssh-keygen -t rsa -P ""

将本地主机的公钥文件(~/.ssh/id_rsa.pub)拷贝到远程主机 kb128 的 root 用户的 .ssh/authorized_keys 文件中,通过 SSH 连接到远程主机时可以使用公钥进行身份验证:cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

将本地主机的公钥添加到远程主机的授权密钥列表中,以便实现通过 SSH 公钥身份验证来连接远程主机:ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb128

(3)启动/关闭、查看

[root@kb129 hadoop]# start-all.sh

[root@kb129 hadoop]# stop-all.sh

[root@kb129 hadoop]# jps

15089 NodeManager

16241 Jps

14616 DataNode

13801 ResourceManager

14476 NameNode

16110 SecondaryNameNode

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop

 

(4)网页测试:浏览器中输入网址:http://192.168.142.129:9870/

linux安装JDK及hadoop运行环境搭建,linux,java,hadoop文章来源地址https://www.toymoban.com/news/detail-670412.html

到了这里,关于linux安装JDK及hadoop运行环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 从 Linux 安装到 Hadoop 环境搭建全过程

    从 Linux 的最小化安装到 Hadoop 环境的搭建,尽可能详尽介绍每个步骤。 首先需要将如下四个必要的文件下载到计算机( 已经附上了下载地址,点击即可下载 )。 Vmware Workstation 16.x 【官方的下载地址】 CentOS-7-x86_64-Minimal-2009 【阿里云镜像站下载地址】 openjdk-8u41-b04-linux-x64-1

    2023年04月08日
    浏览(47)
  • 【Linux】jdk、tomcat、MySQL环境搭建的配置安装,Linux更改后端端口

    工具的组合为开发者和系统管理员提供了构建和运行Java应用程序以及存储和管理数据的完整环境。 JDK(Java Development Kit):JDK是Java开发工具包,它提供了开发和运行Java应用程序所需的工具和库。通过安装JDK,您可以在Linux上编译、调试和运行Java程序。 Tomcat:Tomcat是一个开源

    2024年02月06日
    浏览(48)
  • Linux-一篇文章,速通Hadoop集群之伪分布式,完全分布式,高可用搭建(附zookeeper,jdk介绍与安装)。

    文章较长,附目录,此次安装是在VM虚拟环境下进行。文章第一节主要是介绍Hadoop与Hadoop生态圈并了解Hadoop三种集群的区别,第二节和大家一起下载,配置Linux三种集群以及大数据相关所需的jdk,zookeeper,只需安装配置的朋友可以直接跳到文章第二节。同时,希望我的文章能帮

    2024年03月19日
    浏览(48)
  • 环境搭建及源码运行_java环境搭建_mysql安装

    抖音教学视频​​​​​​​ 目录 1、介绍 2、下载 MySQL 3、安装 4、设置环境变量 5、启动 MySQL 6、重新设置root账户密码 7、创建数据库及表 8、安装mysql工具 概览 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle旗下产品。MySQL是最流行的关系型数据库

    2024年02月04日
    浏览(39)
  • Hadoop运行环境搭建

    0)安装模板虚拟机,IP 地址 192.168.10.100 、主机名称 hadoop100 、内存 4G 、硬盘 50G 1)hadoop100 虚拟机配置要求如下 1.使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情 况

    2024年02月13日
    浏览(52)
  • 虚拟机上搭建Hadoop运行环境

    下载并安装VMware,这里不做赘述,具体步骤可自行百度。 本篇文章使用的VMware15版本演示,其他版本步骤同理。 2.1硬件部分 注意:这里不能超过自己电脑内核总数 打开任务管理器(快捷键 ctrl + alt +del),查看电脑内核总数: 查看到我电脑是有8个CPU内核 假如我们未来要克隆

    2024年02月04日
    浏览(60)
  • Hadoop 运行环境搭建(开发重点)

    将 hadoop 的安装包和 jdk 的安装包,上传到 hadoop102 的 /opt/software 目录下 输入命令: tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/ 将jdk压缩包解压到 /opt 目录下 输入命令: mv jdk1.8.0_212/ jdk1.8 包的名字太长了我们给他改成 jdk1.8 然后接下来,配置jdk的环境变量 输入命令: vim /etc/profile 添

    2024年02月07日
    浏览(43)
  • Hadoop——Hive运行环境搭建

    Windows:10         JDK:1.8         Apache Hadoop:2.7.0 Apache Hive:2.1.1         Apache Hive src:1.2.2         MySQL:5.7 1、下载 Hadoop搭建 Apache Hive 2.1.1:https://archive.apache.org/dist/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz Apache Hive 1.2.2 src:https://archive.apache.org/dist/hive/hive-1.2.2/apache-hive-1.

    2024年02月16日
    浏览(36)
  • 【大数据】Hadoop运行环境搭建

    使用VMware虚拟机搭建基于CentOS7的Hadoop环境: cpu核数(需要搭建3台Hadoop组成集群,加上Windows本机,所以可以分配的数量为本机的cpu核数除以4) 内存至少4G 硬盘最少50G 创建虚拟机: 新建虚拟机,选择自定义(高级)—硬件兼容性默认—选择稍后安装操作系统 —客户机操作系统

    2024年02月08日
    浏览(41)
  • 【大数据】hadoop运行环境搭建(搭建如此简单)

    首先准备好工具。下载好最新的VMware Workstation,CentorOS 7运行Linux,建议Linux桌面标准版,且创建好一个用户 安装模板虚拟机。IP地址192.168.150.100(自定义)、主机名称hadoop100、内存4G、硬盘50G,嘎嘎重要,一步一步来完成 vim /etc/sysconfig/network-scripts/ifcfg-ens33 进入配置文件(想不

    2024年02月08日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包