虚拟机配置(hadoop)

这篇具有很好参考价值的文章主要介绍了虚拟机配置(hadoop)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

安装集群化软件,需要有多台Linux服务器(至少三台)。

1. 首先创建一台CentOS7系统的Linux虚拟机,作为基础虚拟机

2. VMware新建文件夹,命名为:hadoop集群

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

3.克隆三台虚拟机并且命名为hadoop1、hadoop2、hadoop3、内存分别设置为4GB,2GB,2GB.

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

二、主机名、IP、ssh免密登录

1.对三台虚拟机设置主机名、固定IP和ssh免密登录等系统设置

一、修改主机名:

1.开启hadoop1,修改主机名为hadoop1

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

同样的操作,打开hadoop2、hadoop3分别修改主机名为hadoop2、hadoop3

二、修改IP地址

1.进入root权限,输入vim /etc/sysconfig/network-scripts/ifcfg-ens33

2.虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

修改dhcp(自动获取IP)为static(静态)

修改为:虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

然后esc按住shift+:输入wq退出保存

然后三台虚拟机分别设置IP为192.168.88.102、192.168.88.103分别进行上述操作

3.重启网卡:输入systemctl  restart  network

在输入ifconfig查看IP地址是否改对

 虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 三、配置主机名映射

1在Windows系统中修改hosts文件填入如下内容(Windows的hosts文件在C:\Windows\System32\drivers\etc这里面)hosts文件会出现保存不了,这里我们鼠标右键点击hosts文件点击属性虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop 

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop 

打上√之后点击确定,然后搜索记事本,以管理员身份打开,

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop 这样就可以更改hosts文件在将一下内容填入到hosts文件中即可

192.168.88.101 hadoop1

192.168.88.102 hadoop2

192.168.88.103 hadoop3

2.在三台Linux的虚拟机中的/etc/hosts文件填入

192.168.88.101 hadoop1

192.168.88.102 hadoop2

192.168.88.103 hadoop3

 四、设置SSH免密登录

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

五、创建hadoop用户并且配置免密登录

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

六、JDK环境部署

1. 下载JDK软件:https://www.oracle.com/java/technologies/downloads

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

2.创建文件夹用来装软件和和部署JDK以及后续的其他软件

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

3.上传JDK

我们用的是finashell可以点这里进行文件的上传,或者通过rz命令进行上传,上传之前我们先点击到我们创建的software文件夹,再进行上传。

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

这里可以看到JDK压缩包已经上传到我们的software文件夹下面 

4.解压缩JDK

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 由于压缩包的名字较长,我们可以复制防止名字打错,注意:不要复制到后面的空格,一定要只复制到压缩包的名字,复制到后面会复制到换行符,到时候命令就会直接运行。

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

这样我们的文件就解压缩成功了 。

5.配置JDK的软连接

注意我们现在是在en这个文件夹下面

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

6. 配置JAVA_HOME环境变量,以及将$JAVA_HOME/bin文件夹加入PATH环境变量中

     1.有了软连接之后呢我们来修改一下/etc/profile文件,给它追加环境变量

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 输入vim /etc/profile之后可以看到下面这个

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

这个时候我们到最后面追加变量就行了(可以使用shift+g命令进行快速到达文件的行尾emmm我么通常进行文件操作需要快速到达文件行首、尾行、行首、行尾

文件行首:gg

文件尾行:shift + g

行首:shift + ^

行尾:shift + $

) 这里我们shift+g快速到达文件尾行

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

7.然后我们sourc一下让环境变量生效

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 8.配置Java执行程序的软连接

我们先删除linux系统自带的Java程序,这个java不是oracle的Java是一个开源的java

,然后我们在用软链接到我们自己安装的Java程序

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

链接完成后我们来验证一下

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 这里呢是hadoop1的操作,然后呢hadoop2的操作和Hadoop操作与上述操作完全一致

我们先cd到en文件下,然后在将jdk复制到hadoop2,注意这里的hadoop2:`pwd`/不是引号而是键盘ESC键下面的那个

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

然后回车,去hadoop2中

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

可以看到复制成功 ,hadoop3一样的操作,只是把hadoop2改成haadoop3

scp -r  jdk1.8.0_351 hadoop3:`pwd`/

 一样的,我们在对hadoop2进行软链接

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

之后在修改环境变量,我们先去hadoop1 里面看一下环境变量来进行复制粘贴

 虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

复制粘贴进hadoop2中,:wq保存退出就可以了

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop 然后我们source一下profile文件,删除系统自带的java,并将我们的自己安装的java进行一个软连接

 虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

验证一下:

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

hadoop3完全一模一样。这样呢我们的三台服务器都正确的配置好了我们的java运行环境。

七、关闭防火墙

我们先查看防火墙状态

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 我的防火墙是打开的,我们需要将它关闭

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 同样的操作,hadop2、hadoop3也执行一遍

八、关闭SELinux功能

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

 重启系统让他生效

接着修改hadoop2,修改hadoop2的时候呢我们将hadoop1重启

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

九、配置时区并自动时区同步

        1.安装ntp软件,三台服务器都得安装

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

        2. 更新时区

在更改之前我们先看一下时间date命令,可以看到时间是不准确的

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

更改时区,我们删除localtime这个文件

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

        3.同步时间(联网同步)

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

        4.开启ntp服务并且设置开机自启

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop 这里我们可以看到正在运行中,这样呢他就会每隔一段时间就帮我们校准时间

十、设置快照

我们上述内容配置下来花费了很多的时间,真的是来之不易,我们可以通过VMware设置一个快照,防止以后出了问题我们还得重新配置,打上快照就可以恢复到我们拍快照的时候虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

保存快照之前呢我们需要先关机,这样保存最快,然后我们鼠标右键hadoop1

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

虚拟机配置(hadoop),大数据集群,开发语言,hdfs,大数据,hadoop

hadoop2、hadoop3也拍摄快照。文章来源地址https://www.toymoban.com/news/detail-847765.html

十一、结束啦!

到了这里,关于虚拟机配置(hadoop)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • HDFS 跨集群数据同步(hive,hadoop)

    两个不同的HDFS 集群数据迁移( A集群的数据 - B 集群) 采用的是 SHELL 脚本  按表进行; 日期分区进行; #!/bin/bash ##################### #创建人:DZH #创建日期: 2020-04 #内容: 数据迁移 ##################### ##################################### [ \\\"$#\\\" -ne 0 ] FILE=$1 path=$(cd `dirname $0`; pwd) ############## 获取执

    2024年04月27日
    浏览(36)
  • 大数据技术之Hadoop:HDFS集群安装篇(三)

    目录 分布式文件系统HDFS安装篇 一、为什么海量数据需要分布式存储 二、 分布式的基础架构分析 三、 HDFS的基础架构 四 HDFS集群环境部署 4.1 下载安装包 4.2 集群规划 4.3 上传解压 4.4 配置HDFS集群 4.5 准备数据目录 4.6 分发hadoop到其他服务器 4.7 配置环境变量 4.8 为普通用户授

    2024年02月14日
    浏览(39)
  • 【大数据之Hadoop】二十八、生产调优-HDFS集群扩容及缩容

      增加或缩减服务器,注意不允许白名单和黑名单同时出现同一个主机。   原有数据节点不能满足数据存储需求时,需要在原有集群的基础上动态增加节点,即动态增加服务器,增加服务器的同时不需要重启集群。   hadoop完全分布式集群设置了3个datanode节点,当白名

    2024年02月03日
    浏览(48)
  • 大数据:Hadoop HDFS,基础架构,去中心化,中心化模式,HDFS基础架构,虚拟机和云服务器部署HDFS

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月17日
    浏览(40)
  • 大数据开发之Hadoop(HDFS)

    1、HDFS产生背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。 2、HDFS定义 H

    2024年01月20日
    浏览(43)
  • VMware CentOS 虚拟机 Hadoop集群网络 配置静态IP

    一、虚拟机集群IP分配与规划: 二、操作步骤 1、打开虚拟机,点击导航栏上面的 编辑-–虚拟网络编辑器 2、首先选中上面的VMnet8。 不要勾选“使用本地DHCP服务将IP地址分配给虚拟机(D)”。在到下面的“子网IP”处编辑IP地址,可以改成 192.168.121.0 ,最后点击右边的 NAT设置。

    2024年02月08日
    浏览(40)
  • Linux多虚拟机集群化配置详解(Zookeeper集群、Kafka集群、Hadoop集群、HBase集群、Spark集群、Flink集群、Zabbix、Grafana部署)

    前面安装的软件,都是以单机模式运行的,学习大数据相关的软件部署,后续安装软件服务,大多数都是以集群化(多台服务器共同工作)模式运行的。所以,需要完成集群化环境的前置准备,包括创建多台虚拟机,配置主机名映射,SSH免密登录等等。 我们可以使用VMware提供

    2024年02月04日
    浏览(40)
  • 【Hadoop】-HDFS集群环境部署[2]

    目录 一、VMware虚拟机中部署 1、安装包下载 2、集群规划 3、上传解压 3.1.上传hadoop安装包到node1节点中 3.2.解压缩安装包到/export/server/中 3.3.构建软连接 4、进入hadoop安装包内 4.1Hadoop安装包目录结构 4.2修改配置文件,应用自定义设置 4.2.1.配置workers文件 4.2.2.配置hadoop-env.sh文件

    2024年04月27日
    浏览(26)
  • Hadoop学习-集群配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml

    配置核心文件 core-site.xml 编辑core-site.xml(进入hadoop文件夹内) hdfs-site.xml yarn-site.xml mapred-site.xml 配置完后要分发给其他服务器,可以使用之前写的分发脚本xsync进行快速分发 配置workers(各集群节点) 启动集群 如果集群是第一次启动 ,需要在 hadoop102 节点格式化 NameNode(注意:格式

    2024年02月08日
    浏览(33)
  • Hadoop 3.1.1 HDFS 集群部署

    JDK 1.8.0_133 ZooKeeper 3.5.5:https://blog.csdn.net/weixin_42598916/article/details/135726572?spm=1001.2014.3001.5502 每个节点都需进行如下优化 每个节点都需创建如下路径 每个节点都需配置如下环境变量 以便于后续启停及使用 HDFS 相关脚本和命令 将 /data/service/hadoop 分发至所有节点 HDFS Web UI:10.1

    2024年02月21日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包