Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

这篇具有很好参考价值的文章主要介绍了Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)



前言

本文直接从最最最开始安装Hadoop开始讲解,省略了虚拟机安装的这部分,这里我就默认学过Liunx的各位小伙伴们已经有相关环境了。
下半部分在这里~

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(下)


一、Hadoop项目结构

组件 功能
HDFS 分布式文件系统
MapReduce 分布式并行编程模型
YARN 运行在YARN之上的下一代Hadoop查询处理框架
Hive Hadoop上的数据仓库
HBase Hadoop上的非关系型的分布式数据库
Pig 一个基于Hadoop的大规模数据分析平台,提供类似SQL的查询语言Pig Latin
Sqoop 用于在Hadoop与传统数据库之间进行数据传递
Oozie Hadoop上的工作流管理系统
Zookeeper 提供分布式协调一致性服务
Storm 流计算框架
Flume 一个高可用,高可靠的,分布式的海量日志采集、聚合和传统的系统
Ambari Hadoop快速部署工具,支持Apache Hadoop集群的供应、管理和监控
Kafka 一种高吞吐量的分布式发布订阅消息系统,可以处理消费者规模的网站中的所有动作流数据
Spark 类似于Hadoop MapReduce的通用并行框架

二、Hadoop安装方式

这里我们用分布式模式安装

  • 单机模式:Hadoop默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。访问的是本地磁盘,而不是HDFS。
  • 伪分布式模式:Hadoop可以在单节点上以伪分布式的方式运行,节点既作为NameNode也作为DataNode,同时,读取的是HDFS中的文件。
  • 分布式模式:使用多个节点构成集群环境来运行Hadoop。

三、VMware虚拟网络设置+Windows10的IP地址配置+CentOS7静态IP设置

(1)VMware虚拟网络设置

下面我更改了两部分地址
1)子网IP:192.168.88.0(自己原来的地址)改为192.168.10.0
2)NAT设置网关IP:192.168.88.2改为192.168.10.2

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

(2) Window10的IP地址配置

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

找到VMnet8
将IP地址改为静态地址

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

这里取消勾选自动获得IP地址改为静态IP
默认网关:192.168.10.2
DNS服务器改为:192.168.10.2
备用DNS服务器改为:8.8.8.8(国外DNS)或者114.114.114.114(国内DNS)
注意:有时候8.8.8.8不行就换成114.114.114.114

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

(3)CentOS(hadoop 100)静态IP设置

在cenntos7输入startx命令进入图形界面(安不安装图形界面都可以,为了便于后续使用我还是安装上了)

startx

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

进入配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

进入后将DHCP协议改为静态的,并添加网关

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

添加刚刚配置的DNS地址解析、Hadoop100的ip地址、子网掩码
注意!!!!
这里的IP地址一定要写对,我这里写错了!!!
写错IP导致后面连接XSHell的时候浪费了好多时间找错
这里的IP应该是192.168.10.100

IPADDR=192.168.10.100

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

正确的IP

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

配置名称(别忘了配Hadoop的名字,我这里之前忘记配了,后面才想起来配,要不然后面分不清谁是谁了)

vim /etc/hostname

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

(5)设置名字解析

为了方便后续更改IP地址,这里配置Linux克隆机主机名称映射hosts文件

配置映射host文件
hosts文件是Linux系统中负责IP地址与域名快速解析的文件,需要配置其他的几个节点“主机名”和“IP地址”可达到快速访问集群中其他节点的效果。

vim /etc/hosts

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

重启虚拟机,使配置生效

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

重启后验证:

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

四、XSHELL7远程访问工具+XFTP7文件传输

(1)分别下好XSHELL7和XFTP7

因为这里我使用的是老师给的旧版本工具(和书上一样的版本,后续课程中方便使用)
如果要下载最新版本可以去官网下载

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)然后分别安装:

1)先安装Xshell

这个步骤很简单,一路默认就行
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

2)打不开Xshell7的解决方法

如果和我一样安装的老旧版本,那就看看下面我的解决方法吧。

安装成功后一直提示“您已经在系统上安装了最新版本的Xshell 7”

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

解决方法:

右击我的电脑/计算机–管理

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

找到【flexnet licensing service】服务然后停止,右击属性,把启动类型改成禁止就可以了。

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

如果上面的方法还是没能解决你的问题!!!
再看看下面这个方法吧,一定可以解决!!(我试了上一个方法没成功,但是网上好多人成功了,建议小试一下)

1、试试把系统时间改成2017年(因为版本老旧,把时间改旧一点就行了,2017年以前的时间就可以,这个方法好用!!!)

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

打开了

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

2、bat文件 自动修改时间并在10秒后将日期恢复。(这个方法也行,要是觉得时间短可以把时间改久一点)

因为手动反复修改电脑日期麻烦。所以可以通过bat 文件进行修改。

新建bat文件:新建txt文件,右键重命名将“新建文本文档.txt ”改成"xshell.bat"即可。

编辑xshell.bat文件,然后复制下面的代码。

##################################begin####################
@echo off
%1 mshta vbscript:CreateObject("Shell.Application").ShellExecute("cmd.exe","/c%~s0::","","runas",1)(window.close)
title Xshell启动器
set atime=%date:~0,4%-%date:~5,2%-%date:~8,2%

#设置系统时间
date 2017-7-27

#改成你的xshell启动路径
start ""  "D:\Xshell.exe"

echo 启动软件中...
ping 0.0.0.0 -n 10> null
echo 同步时间中,完成后自动关闭窗口...

date %atime%
exit

我不嫌麻烦我用的每次打开XShell手动改时间的方法,第二种方法我还没有试过,嫌麻烦或感兴趣的小伙伴可以试一试

3)新建XShell文件

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

如果要进行传输
在没安装XFTP之前,点击传输

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

会出现以下情况

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
于是我们安装XFTP7

4)安装Xftp

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

安装好了(如果和XShell一样一直让你更新就把时间改一下就行了)

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

安装后即可出现此界面,可以将本机的东西传输到虚拟机里

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

五、基础信息配置

(1)关闭防火墙 ,关闭防火墙开机自启

关闭防火墙的命令:

systemctl stop firewalld

关闭防火墙开机自启的命令:

systemctl disable firewalld.service

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

(2)创建自己的新用户 ,并修改新用户的密码(这一步必须要做)

老师课上是直接创建了一个Hadoop账户,这里我随便创建一个

命令:

useradd fjr
passwd fjr

注:名字可以自定义,即

useradd newname
passwd newname

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

(3)卸载虚拟机自带的 JDK

发现centos7自带JDK:

java -version

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)卸载原有的JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

验证虚拟机自带的JDK是否删干净了,并重启(reboot)

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

六、克隆三台虚拟机

(1)首先关闭虚拟机才能克隆

在CentOS 7 上右键->管理->克隆:

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

同理克隆Hadoop103和Hadoop104

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

(2)配置克隆出来的虚拟机的IP地址,主机名称

分别执行以下三条命令:

vim /etc/sysconfig/network-scripts/ifcfg-ens33(Linux的网卡参数详解)
vim /etc/hostname
vim /etc/hosts

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

hadoop103和hadoop104配置同上,我就不一一截图了

(3)都配置好后重启,再ping百度

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)

(4)三台克隆虚拟机都配置好了后,将XSHELL也配置好

Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)
Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)


总结

以上就是今天要讲的内容,本文仅仅简单介绍Hadoop集群安装和搭建的上半部分,按照查找步骤和老师讲解相结合相信你也可以成功搭建Hadoop集群。文章来源地址https://www.toymoban.com/news/detail-463405.html

到了这里,关于Hadoop集群安装和搭建(从零开始超级超级详细的过程)(上)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 搭建hadoop集群,从安装虚拟机开始直到hadoop成功搭建

    搭建Hadoop集群   一、实验目的与要求 学习和掌握Hadoop的相关应用,首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。学会虚拟机的安装和克隆,Linux系统的网络配置和SSH配置,Hadoop集群的搭建和配置,Hadoop集群测试,熟悉Hadoop集群基本的操作。

    2023年04月08日
    浏览(42)
  • 从零开始在 Linux 上搭建 Hadoop 平台:一个详细的教程和必备配置文件

    在信息时代,大数据处理是企业发展必不可少的一部分。Hadoop 是一种分布式计算平台,能够高效地处理大数据集。然而,搭建 Hadoop 集群可以相当复杂,需要正确配置和调整多个组件。本文将向您展示如何从零开始在 Linux 上搭建 Hadoop,以及如何配置 Hadoop 的必备文件。 选择

    2024年02月08日
    浏览(55)
  • [Hadoop高可用集群]数仓工具之Hive的安装部署(超级详细,适用于初学者)

    📕作者:喜欢水星记 🏆系列:Hadoop高可用集群 🔋收藏:本文记录我搭建过程供大家学习和自己之后复习,如果对您有用,希望能点赞收藏加关注 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转

    2024年02月05日
    浏览(64)
  • Hadoop集群搭建安装教程(详细完整)

    大数据 :最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,大数据是当前很热的一个词。这几年来,云计算、继而大数据,成了整个社会的热点,大数据究竟是什么东西?有哪些相关技术? Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理

    2024年02月08日
    浏览(70)
  • 从零开始的Hadoop学习(三)| 集群分发脚本xsync

    bin目录:存放对Hadoop相关服务(hdfs,yarn,mapred)进行操作的脚本 etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件 lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能) sbin目录:存放启动或停止Hadoop相关服务的脚本 share目录:存放Hadoop的依赖jar包、文档、和官方案

    2024年02月11日
    浏览(41)
  • Ubuntu 22.04从零开始安装Openpcdet 0.6.0——详细记录过程(含4090+CUDA11.8)

    A、云平台安装和本地安装的差异: 之前在几个 云平台 上的1w算力豆已经用光了,所以这次本地选择 本地安装Pcdet 。 两者安装过程 有很大差异,因为 九天毕昇云平台 使用的是CUDA10.1,且没办法改动,导致pcdet 只能安装0.3.2,且只能选择较低的版本的第三方库:torch1.6.0,sp

    2024年02月16日
    浏览(50)
  • 从零开始的Hadoop学习(四)| SSH无密登录配置、集群配置

    1.1 配置 ssh (1)基本语法 ssh 另一台电脑的IP地址 (2)ssh 连接时出现 Host key verification failed 的解决方法 (3)回退到 hadoop102 1.2 无密钥配置 (1)免密登录原理 (2)生成公钥和私钥 然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥) (3)将公钥拷贝到

    2024年02月11日
    浏览(43)
  • 大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细!)

    Linux搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapreduce完全分布式集群) 本文所用到的版本号: CentOS7 Hadoop3.2.0 JDK1.8 基本概念及重要性 很多小伙伴部署集群用hadoop用mapreduce,却不知道到底部署了什么,有什么用。在部署集群之前先给大家讲一下Hadoop和MapReduce的基本概念,以及它们在大

    2024年02月04日
    浏览(46)
  • Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

    和相关配置版本 :Linux CentOS Hadoop Java 版本: CentOS7 Hadoop3.2.0 JDK1.8 虚拟机参数信息内存3.2G、处理器2x2、内存50G ISO:CentOS-7-x86_64-DVD-2009.iso 基本主从思路: 先把基础的设置(SSH、JDK、Hadooop、环境变量、Hadoop和MapReduce配置信息)在一台虚拟机(master)上配好,通过

    2024年02月05日
    浏览(68)
  • ESP32 官方AT固件编译(从零开始环境搭建到编译完成全过程)

    https://download3.vmware.com/software/WKST-PLAYER-1702/VMware-player-full-17.0.2-21581411.exe https://releases.ubuntu.com/jammy/ubuntu-22.04.2-desktop-amd64.iso 可能需要进电脑的BIOS打开一个选项才能安装成功虚拟机 5.1 GIT 克隆 git clone --recursive https://github.com/espressif/esp-at.git 如果没有安装git,按照控制台的提示安

    2024年02月15日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包