虚拟机集群部署hadoop

这篇具有很好参考价值的文章主要介绍了虚拟机集群部署hadoop。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

搭建hadoop虚拟机集群

一,虚拟机环境准备

以三台虚拟机为例,配置如下:

1.台虚拟机:内存2G,处理2 硬盘50G ,如图

虚拟机集群部署hadoop,hadoop,hadoop,大数据,linux,运维,服务器

(电脑配置参考:8核16线程+32运行内存)

2.修改克隆虚拟机的静态IP

root下执行

vim /etc/sysconfig/network-scripts/ifcfg-ens33

更改

DEVICE=ens33

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

NAME="ens33"

PREFIX=24

IPADDR=192.168.1.102(要修改的ip

GATEWAY=192.168.1.2

DNS1=192.168.1.2

3.查看Linux虚拟机的虚拟网络编辑器,编辑->虚拟网络编辑器->VMnet8

虚拟机集群部署hadoop,hadoop,hadoop,大数据,linux,运维,服务器

虚拟机集群部署hadoop,hadoop,hadoop,大数据,linux,运维,服务器

虚拟机集群部署hadoop,hadoop,hadoop,大数据,linux,运维,服务器

4.查看Windows系统适配器VMware Network Adapter VMnet8的IP地址

保证Linux文件中IP地址、Linux虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

虚拟机集群部署hadoop,hadoop,hadoop,大数据,linux,运维,服务器

修改主机名 命令 hostnamectl --static set-hostname hadoop102

配置主机名称映射,(ip+空格+name)打开/etc/hosts ,添加

192.168.1.100 hadoop100

192.168.1.101 hadoop101

192.168.1.102 hadoop102

192.168.1.103 hadoop103

192.168.1.104 hadoop104

192.168.1.105 hadoop105

192.168.1.106 hadoop106

192.168.1.107 hadoop107

192.168.1.108 hadoop108

 

修改window10的主机映射文件(hosts文件)

(a)进入C:\Windows\System32\drivers\etc路径

(b)拷贝hosts文件到桌面

(c)打开桌面hosts文件并添加如下内容

192.168.1.100 hadoop100

192.168.1.101 hadoop101

192.168.1.102 hadoop102

192.168.1.103 hadoop103

192.168.1.104 hadoop104

192.168.1.105 hadoop105

192.168.1.106 hadoop106

192.168.1.107 hadoop107

192.168.1.108 hadoop108

(d)将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

5.关闭防火墙(root下执行)

 systemctl stop firewalld

 systemctl disable firewalld

6.配置普通用户(以我创建的xiaoyi为例)具有root权限(root下执行)

 vim /etc/sudoers

修改/etc/sudoers文件,找到%wheel下面添加一行:

## Allow root to run any commands anywhere

root    ALL=(ALL)     ALL

%wheel  ALL=(ALL)       ALL

xiaoyi   ALL=(ALL)     NOPASSWD: ALL

7.在/opt目录下创建文件夹(root下执行)

(1)在/opt目录下创建module、software文件夹

mkdir /opt/module /opt/software

(2)修改module、software文件夹的所有者

 chown xiaoyi:xiaoyi /opt/module /opt/software

8.重启(root下执行)

reboot

二,编写集群分发脚本xsync

1.scpsecure copy)安全拷贝

(1)scp定义:

scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)

(2)基本语法

scp -r  $pdir/$fname   $user@hadoop$host:$pdir/$fname

命令   递归       要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

(3)案例实操

(a)在hadoop102上,将hadoop102中/opt/module目录下的软件拷贝到hadoop103上。

[xiaoyi@hadoop102 ~]$ scp -r /opt/module/*  xiaoyi@hadoop103:/opt/module

(b)在hadoop104上,将hadoop102服务器上的/opt/module目录下的软件拷贝到hadoop104上。

[xiaoyi@hadoop104 opt]$ scp -r xiaoyi@hadoop102:/opt/module/* xiaoyi@hadoop104:/opt/module

注意:拷贝过来的/opt/module目录,别忘了在hadoop102、hadoop103、hadoop104上修改所有文件的,所有者和所有者组。sudo chown xiaoyi:xiaoyi -R /opt/module

2.rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsyncscp区别:rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。

(1)基本语法

rsync    -av       $pdir/$fname              $user@hadoop$host:$pdir/$fname

命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

          选项参数说明

选项

功能

-a

归档拷贝

-v

显示复制过程

(2)案例实操

(a)将hadoop102中/etc/profile.d/my_env.sh文件拷贝到hadoop103的/etc/profile.d/my_env.sh上。

[xiaoyi@hadoop102 ~]$ sudo rsync -av /etc/profile.d/my_env.sh 
 root@hadoop103:/etc/profile.d/my_env.sh

(b)将hadoop102中/etc/profile.d/my_env.sh文件拷贝到hadoop103的/etc/profile.d/my_env.sh上。

[xiaoyi@hadoop102 ~]$ sudo rsync -av /etc/profile.d/my_env.sh root@hadoop104:/etc/profile.d/my_env.sh

注意:拷贝过来的配置文件别忘了source一下/etc/profile.d/my_env.sh。

3.xsync集群分发脚本

(1)需求:循环复制文件到所有节点的相同目录下

(2)需求分析:

(a)rsync命令原始拷贝:

rsync -av  /opt/module  root@hadoop103:/opt/

(b)期望脚本:

xsync要同步的文件名称

(c)说明:在/home/xiaoyi/bin这个目录下存放的脚本,xiaoyi用户可以在系统任何地方直接执行。

(3)脚本实现

(a)在家目录/home/xiaoyi下创建bin文件夹

[xiaoyi@hadoop102 ~]$ mkdir bin

(b)在/home/xiaoyi/bin目录下创建xsync文件,以便全局调用

[xiaoyi@hadoop102 ~]$ cd /home/xiaoyi/bin
[xiaoyi@hadoop102 ~]$ vim xsync

在该文件中编写如下代码

#!/bin/bash

#1. 判断参数个数

if [ $# -lt 1 ]

then

  echo Not Enough Arguement!

  exit;

fi

#2. 遍历集群所有机器

for host in hadoop102 hadoop103 hadoop104

do

  echo ====================  $host  ====================

  #3. 遍历所有目录,挨个发送

  for file in $@

  do

    #4 判断文件是否存在

    if [ -e $file ]

    then

      #5. 获取父目录

      pdir=$(cd -P $(dirname $file); pwd)

      #6. 获取当前文件的名称

      fname=$(basename $file)

      ssh $host "mkdir -p $pdir"

      rsync -av $pdir/$fname $host:$pdir

    else

      echo $file does not exists!

    fi

  done

done

(c)修改脚本 xsync 具有执行权限

[xiaoyi@hadoop102 bin]$ chmod +x xsync

        (d)测试脚本

[xiaoyi@hadoop102 bin]$ xsync xsync

三, SSH无密登录配置

1.配置ssh

(1)基本语法

ssh另一台电脑的IP地址

(2)ssh连接时出现Host key verification failed的解决方法

[xiaoyi@hadoop102 ~]$ ssh hadoop103

出现:

The authenticity of host '192.168.1.103 (192.168.1.103)' can't be established.

RSA key fingerprint is cf:1e:de:d7:d0:4c:2d:98:60:b4:fd:ae:b1:2d:ad:06.

Are you sure you want to continue connecting (yes/no)?

(3)解决方案如下:直接输入yes

2.无密钥配置(自己创建的用户下执行)

生成公钥和私钥执行命令: 

ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免密登录的目标机器上,执行以下三个命令

 ssh-copy-id hadoop102
ssh-copy-id hadoop103
 ssh-copy-id hadoop104

注意:

还需要在hadoop102上采用root账号,配置一下无密登录到hadoop102、hadoop103、hadoop104;

还需要在hadoop103上采用自己创建的账号(我的是xiaoyi)配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

3.ssh文件夹下(~/.ssh)的文件功能解释

known_hosts

记录ssh访问过计算机的公钥(public key)

id_rsa

生成的私钥

id_rsa.pub

生成的公钥

authorized_keys

存放授权过的无密登录服务器公钥文章来源地址https://www.toymoban.com/news/detail-827392.html

到了这里,关于虚拟机集群部署hadoop的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7(完全超详细-小白注释版)虚拟机安装+平台部署

    目录 环境条件: 1、安装虚拟机(已安装好虚拟机的可跳转至  二、安装JDK与Hadoop) (1)直接新建一台虚拟机 (2)首次启用虚拟机,进行安装 一、集群前置环境搭建(三台机器分别设置hostname、网卡(ip)配置、ssh免密登录) 1、查看一下本机与虚拟机的网卡和ip信息 (1)

    2024年02月06日
    浏览(46)
  • 华为云耀云服务器L实例-大数据学习-hadoop 正式部署

    产品官网: 云耀云服务器L实例 _【最新】_轻量云服务器_轻量服务器_轻量应用服务器-华为云 今天我们采用 可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心 的 华为 云耀云服务器L实例 为例, 演示 单台服务器模拟配置hadoop集群 Hadoop 是一个开源的分布式存

    2024年02月02日
    浏览(60)
  • 虚拟机VMware,linux,centos,如何将项目部署到服务器上面

    vmware 是安装虚拟机的软件,centos是系统,linux是系统内核 将本地项目上线到服务器上面,如何实现呢? 准备好服务器,可以选择阿里云服务器 首先需要搭建环境,运行的主要环境是jdk+tomcat+mysql; 通过远程连接工具,将jdk版本可以直接拖拽到服务器上面, 实现tomcat配置 实现

    2024年02月15日
    浏览(53)
  • 【运维知识进阶篇】zabbix5.0稳定版详解1(安装+部署+添加服务器+拆分数据库)

    本篇文章介绍zabbix监控,监控是对我们操作系统进行不间断的监控,这是软件生命周期非常重要的一环,可以做到事前告警,事后根据监控内容排查问题(金丝雀,监控重要指标),有问题的时候,运维需要管理运维债务(在软件开发过程中积累的一些技术债务) 目录 监控

    2024年02月04日
    浏览(44)
  • Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群

    视频课程地址:https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接:https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8 Hadoop入门学习笔记(汇总) 下载Hadoop:https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz 本次演示部署结构如下图所示: 本次部署服务清单如下表所示

    2024年02月01日
    浏览(42)
  • Linux服务器集群-大数据基础环境搭建指南

    本文将构建三台Linux服务器(node1、node2、node3),通过相关配置,搭建出一个Linux服务器集群环境适用于大数据的开发学习。 本文使用的VMware版本为:VMware16; 本文环境搭建使用到的Linux发行版本为:CentOS7; 本文的电脑操作环境为:windows11。 首先,需要根据之前发文中的流程

    2024年02月07日
    浏览(56)
  • ubuntu服务器版本搭建Hadoop集群

    实验环境: 虚拟化软件:VMware® Workstation 16 Pro 镜像:ubuntu-22.04.2-live-server-amd64.iso Hadoop版本:hadoop-3.3.4.tar.gz ubuntu镜像链接 hadoop文件链接 配置虚拟机 (1)新建虚拟机,选择实验镜像【ubuntu-22.04.2-live-server-amd64.iso】 (2)调整硬件配置,配置如图 安装操作系统 (1)选择虚拟

    2024年02月08日
    浏览(49)
  • Mysql分布式集群部署---MySQL集群Cluster将数据分成多个片段,每个片段存储在不同的服务器上

    部署MysqlCluster集群环境 MySQL集群Cluster将数据分成多个片段,每个片段存储在不同的服务器上。这样可以将数据负载分散到多个服务器上,提高系统的性能和可扩展性。 MySQL集群Cluster使用多个服务器来存储数据,因此需要确保数据在不同的服务器之间同步。MySQL集群Cluster使用

    2024年02月02日
    浏览(47)
  • 用三台云服务器搭建hadoop完全分布式集群

    本次利用云服务器搭建Hadoop集群, 在开始之前,你需要3台云服务器,可以在同一家购买也可以在不同家购买。此次教程采用百度云产品,可以换不同账号新手免费试用几个月,具体配置如下: 服务器名称 配置 磁盘容量 master 2cpu 内存4GB 40G slave1 1cpu 内存2GB 60G slave2 1cpu 内存

    2024年02月04日
    浏览(53)
  • 在阿里云和腾讯云的轻量应用服务器上搭建Hadoop集群

    本文在两台2核2g的云服务器上搭建了Hadoop集群,两台云服务器分别是阿里云(hjm)和腾讯云(gyt),集群部署规划如下: hjm gyt HDFS NameNodeSecondaryNameNodeDataNode DataNode YARN ResourceManagerNodeManager NodeManager 经实验,目前可以正常实现文件上传下载,但跑mapreduce程序还出现服务器资

    2024年02月08日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包