hadoop——环境配置

这篇具有很好参考价值的文章主要介绍了hadoop——环境配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

鉴于“一课一得,一事一展”的要求,我们小组选择了第一个项目——集群搭建:使用Hadoop、Hbase搭建新能源汽车大数据平台。我主要负责的部分是集群的基本环境搭建,也就是下图的要求1,2和3,要求4咱宿舍说摇色子看谁摇最大谁来做,本人很社恐还好没摇着我。

hadoop配置,hadoop,大数据,hbase
hadoop配置,hadoop,大数据,hbase

一、准备三台虚拟机

之前上课的时候我就已经用VMware Workstation 15 player创过了一台虚拟机并做了Hadoop的伪分布式安装,所以就不再从头演示,直接在这基础上接着讲了

1.在虚拟机上找到之前安装Hadoop的路径

鼠标右键点击有深蓝色底纹文件名为hadoop的文件,在弹出的选项中选择 设置——选项,全选然后复制工作目录下的文件路径,到D盘粘贴找出hadoop的文件
hadoop配置,hadoop,大数据,hbase

2、新建三个文件夹

找到这些文件以后全选复制下来,家人们先别急着粘贴,咱就是说,先新建三个文件夹,分别取名为master、slave1、slave2,然后再把刚刚复制好的文件分别粘贴到这三个文件夹中。
hadoop配置,hadoop,大数据,hbase

3.用vmware分别打开master、slave1、slave2文件夹下的虚拟机

以master为例。首先Player>文件>打开>…弹出一个对话框,然后在对话框中选中要vmx为后缀的文件。打开以后右键点击虚拟机进行重命名。
hadoop配置,hadoop,大数据,hbase
打开后,默认是选中的,此时右键就可以重命名了, 最终打开三个虚拟机,并重命名
hadoop配置,hadoop,大数据,hbase
作业的要求2是集群至少可以存储100G的数据,但是我忘记了,不过可以在建虚拟机的时候就把磁盘改成100G,我感觉应该是这样,我也不太懂。
hadoop配置,hadoop,大数据,hbase

二、修改master、slave1、slave2的IP

因为master、slave1、slave2这三台虚拟机是从原有的虚拟机拷贝过来的,所以所有的东西都是一样的,包括环境变量、已安装的程序(jdk、redis、hadoop、hbase等)、IP、主机名。不同的主机,IP肯定是不能一样的,所以要修改这三台虚拟机的IP和主机名。
进入虚拟机后,通过执行以下代码修改主机的IP地址:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

1.ip修改后,重启网卡:

systemctl restart network

2.ping一下外网确认是否可以访问

ping www.baidu.com

3.修改主机名,改为master

hostnamectl set-hostname master

最后退出root,再重新登录,命令行提示符就可以看到新的主机名了,剩余的slave1和slave2也是一样的操作。

三、修改master、slave1、slave2的IP映射

通过以下代码添加三条映射记录

vi /etc/hosts

hadoop配置,hadoop,大数据,hbase
能够成功ping三台主机就说明映射配置成功
hadoop配置,hadoop,大数据,hbase
为了避免手写错误,master的host映射配置好后,可以通过scp命令,将master修改好的/etc/hosts文件,同步到slave1、slave2主机上。

scp /etc/hosts root@slave1:/etc
scp /etc/hosts root@slave1:/etc

同步成功:
hadoop配置,hadoop,大数据,hbase
由于master、slave1、slave2这三个节点都是从之前已经安装好的Hadoop伪分布式的虚拟机复制得来的,而当时已经设置好了免密登录,所以就不用再设置了,也就是master可以免密登录到master、slave1、slave2。同理,之前已经设置了不允许防火墙自己开机,默认开机是关闭的,所以也不需要再操作,没操作的同学还是需要再补上的——设置免密登录以及关闭防火墙。

四、修改master主机上的hadoop配置文件

1、修改core-site.xml文件

先cd $HADOOP_HOME/etc/hadoop然后再vi core-site.xml

cd $HADOOP_HOME/etc/hadoop
vi core-site.xml

配置内容如下:
hadoop配置,hadoop,大数据,hbase
记得要把存放namenode、datanode数据的根路径的tem换成tmp啊!!!!不然他会存放到临时路径下,到时候文件太多会被删掉的!!!怪不得我之前还说找半天为什么找不到我文件夹。
hadoop配置,hadoop,大数据,hbase
然后就是把数据块副本数改为3,命令如下:修改为3即可

vi hdfs-site.xml

五、Hadoop高可用集群搭建

1、Linux部署jdk

由于我之前上课的时候就已经部署过jdk了所以就不再进行讲解了,没有部署的同学还是要部署的——找一份适用于Linux版本的jdk压缩包—>把压缩文件解压到想存放的的位置然后进行解压---->修改环境变量(如果权限不够的话切换到root用户)只需要添加JAVA_HOME和PATH即可,最后只需要重新启用环境变量(source /etc/profile)再检验(java -version)一下就好啦。成功了的话就是这样子的。
hadoop配置,hadoop,大数据,hbase文章来源地址https://www.toymoban.com/news/detail-713963.html

到了这里,关于hadoop——环境配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hadoop环境下HBase的安装部署与操作指南(图文详解)

    本文详细介绍了在Hadoop集群环境下HBase的安装部署步骤及相关操作,包括准备环节、版本兼容性检查、IP及IP映射修改、上传并解压安装包、配置HBASE_HOME等关键步骤,图文结合,为初学者和开发者提供一站式解决方案。

    2024年04月27日
    浏览(51)
  • Hadoop 之 Hbase 配置与使用(四)

    HBase 是一个分布式的、面向列的开源数据库:Hbase API Hbase 下载 跳转到下载链接 1.启动 hadoop 集群 Hadoop 集群搭建参考:Hadoop 搭建 2.启动 zookeeper 集群 ZOOKEEPER 集群搭建说明 3.启动 hbase 集群 查看 UI 监控:http://192.168.1.6:16010/master-status 4.集群启停脚本 测试配置效果 JDK 版本 工程

    2024年02月15日
    浏览(41)
  • Hadoop3.x完全分布式环境搭建Zookeeper和Hbase

    集群规划 IP地址 主机名 集群身份 192.168.138.100 hadoop00 主节点 192.168.138.101 hadoop01 从节点 192.168.138.102 hadoop02 从节点 Hadoop完全分布式环境搭建请移步传送门 先在主节点上进行安装和配置,随后分发到各个从节点上。 1.1 解压zookeeper并添加环境变量 1)解压zookeeper到/usr/local文件夹

    2024年02月04日
    浏览(46)
  • hbase配置及解决错误: 找不到或无法加载主类 org.apache.hadoop.hbase.util.GetJavaProperty

    如图所示 1.改一下hbase/bin/目录下的hbase文件 2.187行,在add_to_cp_if_exists “${HBASE_HOME}/hbase-server/target” 这里下面加上两行 3.把1行下面的注释

    2024年02月11日
    浏览(45)
  • 大数据之Hadoop分布式数据仓库HBase

    HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。 要想明白为什么产生 HBase,就需要先了解一下 Hadoop 存在的限制?Hadoop 可以通过 HDFS 来存储结构化、半结构甚至非结构化的数据,它是传统数据库的补充,是海量数据存储的最佳方法,它针对大文件的存储,

    2024年02月02日
    浏览(55)
  • 大数据平台运维(hadoop入门(保姆篇))----概述及基本环境配置(HA-1)

    2022.12.4  大数据运维基础篇 本章主要是基础坏境配置 目录 前言  一、hadoop是什么? 1.1 Hadoop 是什么 1.2 Hadoop 优势 1.3 Hadoop 组成  二、大数据技术体系                   2.1 HDFS 架构概述Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 2.2 YARN 架构概述 2.3 MapRed

    2024年02月08日
    浏览(50)
  • Hadoop3.3.6安装和配置hbase-2.5.5-hadoop3x,zookeeper-3.8.3

    vm设置 在安装过程中推荐设置root用户密码为1234方面后续操作 1.设置主机名 以hadoop3为例 2.设置固定ip hadoop1 192.168.88.201 hadoop2 192.168.88.202 hadoop3 192.168.88.203 最后执行 service network restart 刷新网卡 3.工具连接(三个机器都要设置) 4.主机映射 windows: C:WindowsSystem32driversetc 修改这个路

    2024年02月03日
    浏览(43)
  • 构建大数据环境:Hadoop、MySQL、Hive、Scala和Spark的安装与配置

    在当今的数据驱动时代,构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark,以搭建一个完整的大数据环境。 安装Hadoop 首先,从Apache Hadoop的官方网站下载所需的Hadoop发行版。选择适合你系统的二进制发行版,下

    2024年02月11日
    浏览(52)
  • 【大数据之Hadoop】二十三、Yarn命令行操作及生产环境下的配置

    Yarn状态查询可以在hadoop103:8088页面查看,也可以通过命令查看。 先运行案例再查看运行情况。 (1)yarn application 查看任务 (2)yarn logs 查看日志 (3) yarn application attempt 查看尝试运行的任务(即正在运行的任务状态) (4) yarn container查看容器 只有任务在执行过程中才能看

    2024年02月16日
    浏览(44)
  • HBase伪分布式配置下,报错:org.apache.hadoop.hbase.PleaseHoldException: Master is initializing的解决方案

    今天在使用HBase Java API编程实践时发现出现报错,同样在创建表和查看HBase集群状态信息时也出现报错,以下是错误截图: 这是由于HBase的主节点正在初始化过程中,无法处理请求。通常发生在启动HBase集群或进行主节点故障转移时。HBase主节点在启动或重启时需要一些时间来

    2024年02月05日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包