创建Hadoop单机模式(新手专用 超详细!)

这篇具有很好参考价值的文章主要介绍了创建Hadoop单机模式(新手专用 超详细!)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先需要一个Linux系统的Centos7

具体配置放在下面hadoop单机模式搭建,hadoop,linux,大数据

下一步就是配置网络

首先查看一下自己的虚拟网络编辑器  看一下ip地址(注意一下起始和终止IP)

hadoop单机模式搭建,hadoop,linux,大数据

进入虚拟机之后,登录root用户,然后配置网络(配置网络方式多种,适合自己才是最香的哦~)

vi /etc/sysconfig/network-scripts/ifcfg-ens33

然后就会进入编辑页面(小tips:按字母a进入编辑模式哦~)

编辑项如下:

BOOTPROTO=static

ONBOOT=yes

IPADDR=192.168.xxx.xxx (xxx参考你上面IP地址段,取一个数)

GATEWAY=192.168.xxx.xxx (同上)

NETMASK=255.255.255.0

DNS1=8.8.8.8 (或114.114.114.114)

改完之后 先ESC键 然后shift键 + ;键 输入 x 回车保存退出

重启网络

service network restart

输入以下命令查看一下是否成功(出现下图就成功了 192.168.xxx.xxx就是你的IP)

ip a

hadoop单机模式搭建,hadoop,linux,大数据

网络配置完毕  连接CRT 正式开始创建Hadoop单机模式! 

1.1 配置服务器名称

使用以下命令将主机名称以root身份更改成自己的名字(本人示例用的为:dn01-centos)

hostnamectl set-hostname dn01-centos

 立即生效

bash

 将机器的IP和机器名配置到/etc/hosts文件中

hadoop单机模式搭建,hadoop,linux,大数据

 1.2 安装ssh

第一步,检查一下系统中是否安装了SSH服务端

ps -ef | grep ssh

第二步,以root的身份在CentOS上安装SSH 

yum install openssh-server

第三步,以root的身份创建Hadoop环境专属用户组和用户 

adduser hadoop  #添加用户名和用户组名为hadoop的用户
passwd hadoop #为用户hadoop设置密码

 文章来源地址https://www.toymoban.com/news/detail-719710.html

到了这里,关于创建Hadoop单机模式(新手专用 超详细!)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop伪分布模式搭建(详细步骤)

    一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3.  进入hadoop-3.3.0/etc/hadoop 4.  编辑hadoop运行是的环境 5.  配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径

    2023年04月08日
    浏览(33)
  • Hadoop——Windows系统下Hadoop单机环境搭建

    为了便于开发,我在本地Windows系统进行Hadoop搭建。 我使用的版本:hadoop-2.7.0。其他版本也可,搭建流程基本一样,所以参考这个教程一般不会有错。 1、下载安装包和插件 安装包hadoop-2.7.0.tar.gz 必要插件winutils-master 2、解压安装包 使用管理员身份运行cmd,到安装包对应目录下

    2024年02月09日
    浏览(53)
  • 虚拟机安装hadoop,hbase(单机伪集群模式)

    工作中遇到了大数据方面的一些技术栈,没有退路可言,只能去学习掌握它,就像当初做爬虫一样(虽然很简单),在数据爆发的现在,传统的数据库mysql,oracle显然在处理大数据量级的数据时显得力不从心,所以有些特定的业务需要引进能够处理大数据量的数据库,hadoop提

    2024年02月04日
    浏览(41)
  • 2 | Window 搭建单机 Hadoop 和Spark

    搭建单机 Hadoop 和 Spark 环境可以学习和测试大数据处理的基础知识。在 Windows 操作系统上搭建这两个工具需要一些配置和设置,下面是一个详细的教程: 注意: 在开始之前,请确保你已经安装了 Java 开发工具包(JDK),并且已经下载了 Hadoop 和 Spark 的最新版本。你可以从官

    2024年02月10日
    浏览(41)
  • CentOS 安装 Hadoop Local (Standalone) Mode 单机模式

    参考如下: 修改内容如下: 重启系统 创建软件目录 进入软件目录 下载 JDK 下载 hadoop 解压 JDK 修改名称 解压 hadoop 修改名称 配置环境变量 编写以下内容: 生成新的环境变量 创建本地秘钥并将公共秘钥写入认证文件 hadoop-env.sh core-site.xml hdfs-site.xml workers mapred-site.xml yarn-sit

    2024年02月06日
    浏览(38)
  • 单机搭建hadoop环境(包括hdfs、yarn、hive)

    单机可以搭建伪分布式hadoop环境,用来测试和开发使用,hadoop包括: hdfs服务器, yarn服务器,yarn的前提是hdfs服务器, 在前面两个的基础上,课可以搭建hive服务器,不过hive不属于hadoop的必须部分。 过程不要想的太复杂,其实挺简单,这里用最糙最快最直接的方法,在我的单

    2024年02月20日
    浏览(54)
  • 超详细Hadoop安装教程(单机版、伪分布式)

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是: HDFS 和 MapReduce 。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了

    2024年02月08日
    浏览(61)
  • 超详细版Hadoop的安装与使用(单机/伪分布式)

    虚拟机安装包以及Ubuntu ISO映像下载:https://pan.baidu.com/s/19Ai5K-AA4NZHpfMcCs3D8w?pwd=9999  下载完成后,进入VMware,点击右上角【文件】——【新建虚拟机向导】 1.1选择典型 1.2选择光盘映像 映像文件选择上方刚刚下载的ubuntukylin-16.04-desktop-amd64 1.3命名 根据自己需求来,无统一规定

    2024年01月21日
    浏览(54)
  • 【Hadoop HA】搭建Hadoop HA的详细教程

    在每个节点的 /etc/hosts 文件下加入 确保可以相互 ping 通 跳转顶部 执行命令 ssh-keygen -t rsa -P \\\'\\\' ,然后回车即可 查看 /root 下是否有\\\" .ssh \\\"文件夹,且\\\" .ssh \\\"文件下是否有两个刚生产的无密码密钥对。,因为我是使用 root 用户来配置的,所以在这目录下,若你使用的时其他用户,

    2024年02月08日
    浏览(50)
  • 【大数据】Hadoop运行模式(集群搭建)

    Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。 本地模式(Local/Standalone Mode):单台服务器,数据存储在Linux本地。生产环境几乎不会采用该模式 伪分布式模式(Pseudo-Distributed Mode):单台服务器,数据存储在HDFS上。有较少的小型公司采用该模式。 完全

    2024年02月03日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包