hadoop2.6.4伪分布式搭建

这篇具有很好参考价值的文章主要介绍了hadoop2.6.4伪分布式搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、jdk的安装与配置

        解压jdk到我需要的目录

                tar -zxf jdk-8u333-linux-x64.tar.gz -C /home/hadoop/soft-install/bigdata/

        配置环境变量

                vi /etc/profile

                export JAVA_HOME=/home/hadoop/soft-install/bigdata/jdk1.8.0_333

                PATH=$PATH:$JAVA_HOME/bin

        刷新环境变量

                source /etc/profile

        测试jdk是否配置成功

                java -version

2、hadoop2.6.4安装与配置

        1、配置hadoop环境变量

                vi /etc/profile

                export HADOOP_HOME=/home/hadoop/soft-install/bigdata/hadoop-2.6.4

                 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

        刷新环境变量

                source /etc/profile

        到配置文件,目录

                cd /home/hadoop/soft-install/bigdata/hadoop-2.6.4/etc/hadoop

1、配置 hadoop-env.sh

vi hadoop-env.sh

export JAVA_HOME=/home/hadoop/soft-install/bigdata/jdk1.8.0_333

2、配置core-site.xml

vi core-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/soft-install/bigdata/hadoop-2.6.4/tmp</value>

//临时文件存放地点

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop:9000</value>

</property>

3、配置hdfs-site.xml

vi hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

4、配置 mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

5、配置yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

3、修改主机名

hostnamectl set-hostname hadoop

4、配置免密

ssh-keygen -t rsa

ssh-copy-id -i /root/.ssh/id_rsa.pub hadoop

5、格式化

hadoop namenode -format

6、启动hdfs

start-all.sh

7、进入客户端

http://hadoop:50070

 文章来源地址https://www.toymoban.com/news/detail-461119.html

到了这里,关于hadoop2.6.4伪分布式搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 头歌Hadoop 开发环境搭建及HDFS初体验(第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建)

    注: 1 头歌《Hadoop 开发环境搭建及HDFS初体验》三关在一个实验环境下,需要三关从前往后按顺序评测,跳关或者实验环境结束后重新打开 不能单独评测通过 2 复制粘贴请用右键粘贴,CTRL+C/V不管用哦~ 第1关:配置开发环境 - JavaJDK的配置: 解压: 配置环境变量: 细节: vi

    2024年02月08日
    浏览(120)
  • 【大数据】Hadoop-3.3.4完全分布式安装(包含VMware16和Ubuntu22的下载安装及配置)、搭建、配置教程,以及Hadoop基础简介

    注:本篇文章主要涉及到: HDFS (分布式文件系统)、 YARN (资源管理和调度框架)、以及 MapReduce (离线计算)。 以下就是本篇文章所采用的的架构 。 (1)HDFS架构简述 HDFS架构图 注:上述的master、slave1、slave2均是主机名(结点名),可以和本篇文章不一致,但下面所有涉

    2023年04月17日
    浏览(84)
  • 华为云云耀云服务器L实例评测|伪分布式环境下部署hadoop2.10.1

    #【中秋征文】程序人生,中秋共享# 这是Maynor创作的华为云云耀云服务器L实例测评的第二篇,上篇传送门: 华为云云耀云服务器L实例评测|单节点环境下部署ClickHouse21.1.9.41数据库 云耀云服务器L实例简介 ​ 云耀云服务器L实例 是新一代的轻量应用云服务器,专门为中小企业

    2024年02月07日
    浏览(27)
  • Hadoop伪分布式安装搭建教程

    安装VMware虚拟机 下载Ubuntu 18.04镜像,并在VMware中新建虚拟机 安装VMware tools 搭建Hadoop伪分布式 1.安装VMware Workstation 14 Pro版本 2.1 在VMware上方菜单栏,文件--新建虚拟机  2.2 默认  2.3 选择稍后安装操作系统 2.4 选择Linux(L),版本 Ubuntu    2.5 定义虚拟机的名称,选择虚拟机的

    2023年04月09日
    浏览(30)
  • 【Hadoop】安装部署-完全分布式搭建

    Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台,广义上讲Hadoop代表大数据的一个技术生态圈,包括很多软件框架。而我们的完全分布式,指的是在真实环境下,使⽤多台机器,共同配合,来构建⼀个完整的分布式文件系统。在真实环境中,

    2024年02月07日
    浏览(34)
  • Hadoop伪分布式安装配置

    1、添加用户组 [root@hadoop00 ~]# groupadd hadoop 2、添加用户并分配用户组 [root@hadoop00 ~]# useradd -g hadoop hadoop 3、修改hadoop用户密码 [root@hadoop00 ~]# passwd hadoop 1、上传系统安装镜像到虚拟机服务器的/root目录 2、新建挂载点目录 [root@hadoop00 ~]# mkdir /mnt/centos 3、挂载镜像        [root@h

    2024年01月24日
    浏览(35)
  • 【Hadoop】下载安装及伪分布式集群搭建教程

    目录 1.概述 2.环境准备 3.hadoop安装 3.1.下载安装配置 3.2.伪分布式集群 3.3.注意事项 4.Hadoop集群的组成 hadoop有三种安装模式 单机模式,只在一台机器上运行,存储用的本地文件系统而不是HDFS。 伪分布式模式,存储采用HDFS,名称节点和数据节点在同一台机器上。 分布式模式,

    2024年04月14日
    浏览(44)
  • 基于CentOS 7 的 Hadoop3版本分布式环境配置搭建

    以下是在VMware虚拟机中安装centos 7去配置hadoop。所以要准备的包 centos 7:Index of /apache/hadoop/common/hadoop-3.3.5 hadoop3.3.5:Index of /apache/hadoop/common/hadoop-3.3.5 查看原本的jdk版本   其实原来的openjdk版本也是可用的,但是hadoop3.x不支持较低版本的jdk,所以这里卸载重新安装新版本jdk文件

    2024年02月01日
    浏览(44)
  • Hadoop3.1.3完全分布式安装配置

    1. 将hadoop-3.1.3.tar.gz复制到虚拟机/opt/software目录下: 2.在/opt/software目录下使用tar命令解压hadoop-3.1.3.tar.gz到/opt/module目录下:  执行结果如下: 3.在/opt/module目录下修改文件夹名称: 执行结果如下:  4.打开环境变量: 执行结果如下: 5.将光标移至文件底部,按“i”键编辑并作

    2024年02月08日
    浏览(36)
  • 【云平台技术】Hadoop全分布式安装与配置

    目录 一、虚拟机安装  1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置IP映射   3、网络参数配置 四、SSH服务配置  1、生成密钥文件 2、将本机公钥文件复制到其他虚拟机上  五、JDK安装

    2024年02月08日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包