2-1.Hadoop大数据集群搭建之---本地模式

这篇具有很好参考价值的文章主要介绍了2-1.Hadoop大数据集群搭建之---本地模式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hadoop运行模式主要包括三种:本地模式、伪分布式模式以及完全分布式模式。

1. 本地模式(Local/Standalone Mode):在这种模式下,Hadoop作为一个独立的系统运行,不依赖于外部资源或网络连接。它可以在单个服务器上运行,数据通常存储在本地的HDFS(Hadoop Distributed FileSystem)上。这种模式适合用于学习和开发阶段的调试,因为它不需要额外的配置和管理。

2. 伪分布式模式(Pseudo-Distributed Mode):在这种模式下,Hadoop仍然是一个独立的系统,但它通过模拟分布式环境的各个组件来运行。这意味着数据会被存储在HDFS上,但是所有的工作流程都在单台服务器上完成,即没有真正的分布式处理能力。伪分布式模式常用于小型的测试环境。

3. 完全分布式模式(Fully-Distributed Mode):这是Hadoop最常用的模式,它涉及到多台服务器组成的集群,每个服务器负责特定的任务。在这种模式下,数据被分散存储在HDFS上,而且不同节点的任务之间可以进行通信。完全分布式模式适用于大规模数据处理和高并发请求的场景。

本地模式单机运行,只是用来简单演示一下官方案例,生产环境不用。伪分布模式也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。

  本篇文章我们给大家介绍一下本地模式如何使用。我们来演示一下官方的WordCount例子。

1. 安装Hadoop

(1)下载Hadoop安装包

第一种方法是从Hadoop的官网去下载,可能网速比较慢。
第二种方法从国内的镜像源进行下载。我一般从清华大学镜像源去下载。(Hadoop清华大学镜像源内下载地址)
2-1.Hadoop大数据集群搭建之---本地模式,大数据集群搭建,hadoop
选择3.3.5版本进行下载。

(2)上传Hadoop安装包并解压

  下载后通过mobaXterm上传至bigdata01节点上的/opt/software路径下。然后通过下面命令进行解压到/opt/module路径下,并进行重命名为hadoop_local。

tar -zxvf hadoop-3.3.5.tar.gz -C /opt/module/
cd /opt/module
cp -r hadoop-3.3.5/ hadoop-local

2-1.Hadoop大数据集群搭建之---本地模式,大数据集群搭建,hadoop
2-1.Hadoop大数据集群搭建之---本地模式,大数据集群搭建,hadoop

因为我们分别演示三种不同模式,所以,我们将hadoop的解压包分别复制成三种不同的文件夹。

(3)将hadoop添加到环境变量(bigdata_env.sh)

sudo vim /etc/profile.d/bigdata_env.sh

在bigdata_env.sh中添加下面的内容。

#HADOOP
export HADOOP_HOME=/opt/module/hadoop_local
export PATH=$PATH:$HADOOP_HOME/bin

然后使环境变量生效。

source /etc/profile

2-1.Hadoop大数据集群搭建之---本地模式,大数据集群搭建,hadoop

(4)测试是否安装成功

hadoop version

2-1.Hadoop大数据集群搭建之---本地模式,大数据集群搭建,hadoop

2.本地运行模式

(1)在hadoop_local路径下创建一个wcinput文件夹

[bduser@bigdata01 hadoop_local]$ mkdir wcinput

(2)在wcinput文件夹下创建一个word.txt文件

[bduser@bigdata01 hadoop_local]$ cd wcinput
[bduser@bigdata01 wcinput]$ touch word.txt

(3)编辑word.txt文件

[bduser@bigdata01 wcinput]$ vim word.txt

在word文件中输入以下内容:

hadoop yarn
hadoop mapreduce
hello world
hello java
hello spark

(4)返回到目录/opt/module/hadoop_local

(5)执行程序

[bduser@bigdata01 hadoop_local]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.5.jar 
 wordcount wcinput wcoutput

(6)查看结果

[bduser@bigdata01 hadoop_local]$ cat wcoutput/part-r-00000

2-1.Hadoop大数据集群搭建之---本地模式,大数据集群搭建,hadoop文章来源地址https://www.toymoban.com/news/detail-826087.html

至此Hadoop的本地模式演示完成。

到了这里,关于2-1.Hadoop大数据集群搭建之---本地模式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【大数据入门核心技术-Hadoop】(六)Hadoop3.2.1高可用集群搭建

    目录 一、Hadoop部署的三种方式 1、Standalone mode(独立模式) 2、Pseudo-Distributed mode(伪分布式模式) 3、Cluster mode(集群模式) 二、准备工作 1、先完成zk高可用搭建 2、/etc/hosts增加内容 3、各台服务器分别创建目录 4、关闭防火墙和禁用swap交换分区 5、三台机器间免密 6、安装

    2023年04月20日
    浏览(83)
  • 大数据平台搭建——hadoop集群(基于CentOS-7)的搭建

    目录 总序 一、下载相关软件的压缩包 二、配置虚拟机上主节点相关设置 1、修改主机用户名 2、进行ip地址映射 3、配置虚拟机网络设置   三、解压并配置java、hadoop环境 1、解压jdk、hadoop压缩文件  2、配置jdk、hadoop环境 3、修改hadoop中的相关配置文件信息(最重要) 四、克隆

    2024年02月06日
    浏览(46)
  • 大数据Hadoop集群之超级详细的HBase搭建

    Hbase是基于Hadoop集群之上来搭建的 Hadoop有一些局限性: 做一些批量的数据处理,吞吐量比较高,但是它对随机查询、实时操作性能是不行的 HBase是NoSQL数据库的一种,它跟传统的RDBMS有很大的差别 不支持JOIN的,摒弃了关系型模型,而且在HBase中只有一种数据类型:byte[] HBase可

    2023年04月13日
    浏览(83)
  • 大数据内容分享(九):Hadoop-生产集群搭建(完全分布式)

    目录 Hadoop运行模式——完全分布式 1、准备3台虚拟机(关闭防火墙、配置静态IP 和 主机名称) 2、安装JDK 和 Hadoop 并配置JDK和Hadoop的环境变量 3、配置完全分布式集群 4、集群配置 1)集群部署规划 2)配置文件说明 3)配置集群 5、集群启动 与 测试 1)workers的配置 2)启动集

    2024年02月21日
    浏览(97)
  • 「大数据集群的搭建和使用」背景知识:大数据Hadoop生态圈介绍

    目录 一、Hadoop简介 二、Hadoop的运行模式 1. 单机模式 2. 伪分布式模式 3. 完全分布式模式 三、Hadoop生态圈组件 1. HDFS 2. MapReduce 3. YARN 4. Hive 5. Pig 6. HBase 7. HCatalog 8. Avro 9. Thrift 10. Drill 11. Mahout 12. Sqoop 13. Flume 14. Ambari 15. Zookeeper 四、Hadoop优缺点 五、Hadoop学习路径 hadoop = MapReduce+

    2024年02月03日
    浏览(44)
  • Hadoop 集群一直处于安全模式,强制退出后出现数据丢失警告。解决方法

    安全模式相关命令 等待安全模式,通常情况下在脚本中使用,当集群退出安全模式后,立马执行相关操作。 分析集群为什么一直处于安全模式 集群启动后,发现一直处于安全模式中,进入 WEB 界面查看,还有一大段提示,如下: 系统报告称,共有 6288 个数据块,还需要额外

    2024年02月11日
    浏览(52)
  • 大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

    官网链接 进入后网站如图,各位按需下载 官网链接 进入页面点击下载 再根据我们需要下载的软件进入下载页面 点击右侧红框内的免费授权页面获取免费许可 进入后如图,两者我们都需要所以都勾选,填写的邮箱用于接收下载链接,下载后进行安装即可 这里先和大家强调一

    2024年02月07日
    浏览(45)
  • 【hadoop】部署hadoop的本地模式

    没有HDFS、也没有Yarn 只能测试MapReduce程序,作为一个普通的Java程序 处理的数据是本地Linux的文件 一般用于开发和测试 进入该路径 /root/training/hadoop-2.7.3/etc/hadoop($HADOOP_HOME/etc/hadoop)找到hadoop-env.sh文件 对hadoop-env.sh文件进行编辑 在文件中,使用:set number显示出行号 找到第25行

    2024年02月16日
    浏览(34)
  • 实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)

    前言 纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。 有问题麻烦指出,万分感谢! PS:Centos7.9、Rocky9.1可用 集群配置 ip hostname 系统 CPU 内存 系统盘 数据盘 备注 192.168.22.221 hadoop1 Centos7.9 4 16 250G 19

    2024年02月03日
    浏览(38)
  • Hadoop入门详解以及Hadoop集群搭建

    hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。hadoop充分利用了集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Distributed File System),其中一个组件是HDFS(Hadoop Distributed File System),

    2024年02月04日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包