【hadoop】部署hadoop的本地模式

这篇具有很好参考价值的文章主要介绍了【hadoop】部署hadoop的本地模式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本地模式的特点

  1. 没有HDFS、也没有Yarn
  2. 只能测试MapReduce程序,作为一个普通的Java程序
  3. 处理的数据是本地Linux的文件
  4. 一般用于开发和测试

部署本地模式

进入该路径 /root/training/hadoop-2.7.3/etc/hadoop($HADOOP_HOME/etc/hadoop)找到hadoop-env.sh文件

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据
对hadoop-env.sh文件进行编辑

vi hadoop-env.sh

在文件中,使用:set number显示出行号

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据

找到第25行

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据

将${JAVA_HOME}改成你自己的jdk的路径

export JAVA_HOME=/root/training/jdk1.8.0_181

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据

本地模式已经部署完成了,下面进行测试

测试本地模式是否部署完成

先准备测试的数据

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据
【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据

I love Beijing
I love China
Beijing is the capital of China

下面执行WordCount程序,会对上面的文件进行词频统计

该程序的jar包位置:

$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

找到该jar包的位置(training/hadoop-2.7.3/share/hadoop/mapreduce/)

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据
执行下面的命令

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据

执行完成后,查看输出的结果

【hadoop】部署hadoop的本地模式,hadoop,hadoop,eclipse,大数据文章来源地址https://www.toymoban.com/news/detail-571925.html

到了这里,关于【hadoop】部署hadoop的本地模式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 【hadoop】部署hadoop全分布模式

    【hadoop】部署hadoop全分布模式

    真正的分布式环境,用于生产 具备Hadoop的所有功能:HDFS、Yarn 在三台虚拟机上面进行部署 1、关闭防火墙(略) 2、设置主机名 使用xshell工具,对三台虚拟机同时进行操作 3、免密码登录 ssh-keygen -t rsa 产生自己的公钥和私钥 将自己的公钥都拷贝给对方 验证一下,都不需要密

    2024年02月16日
    浏览(10)
  • 大数据:Hadoop HDFS,基础架构,去中心化,中心化模式,HDFS基础架构,虚拟机和云服务器部署HDFS

    大数据:Hadoop HDFS,基础架构,去中心化,中心化模式,HDFS基础架构,虚拟机和云服务器部署HDFS

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月17日
    浏览(43)
  • 【hadoop】部署hadoop的伪分布模式

    【hadoop】部署hadoop的伪分布模式

    在单机上,模拟一个分布式的环境 具备Hadoop的所有的功能 用于开发和测试 前提:部署好hadoop的本地模式 点击设置hadoop的本地模式 伪分布模式的部署主要是将下面的参数文件的配置参数进行更改。 注:如果在本地模式已经配置完成,这个文件则不需要重复配置。 路径:/r

    2024年02月17日
    浏览(7)
  • Hadoop集群部署-(完全分布式模式,hadoop-2.7.4)

    Hadoop集群部署-(完全分布式模式,hadoop-2.7.4)

    相关软件下载准备:(推荐) 虚拟机运行环境:VMware 16.1.1 映像文件:CentOS-7-x86_64-DVD-1810.iso 远程登录工具:Xshell-7.0.0090.exe Xftp传输工具:Xftp-7.0.0111p.exe 首先掌握VMware的下载与安装,有linux学习基础的同学可以略看。 参考链接:https://mp.weixin.qq.com/s/CUiauodcjCFPIXEFEx8fOw 【软件名

    2024年02月09日
    浏览(16)
  • Hadoop集群部署(完全分布式模式、hadoop2.7.3+安装包)

    Hadoop集群部署(完全分布式模式、hadoop2.7.3+安装包)

    目录 一、上传、解压配置 (一)上传 (二)解压 (三)配置hadoop系统环境变量 1.配置hadoop环境变量 2.让环境变量生效 3.验证hadoop系统环境变量 二、修改配置文件  (一)前置介绍 (二)更改配置文件 1.配置Hadoop集群主机点 2.修改core-site.xml文件 3.修改hdfs-site.xml文件 4.修改

    2024年04月25日
    浏览(15)
  • 部署HDFS集群(完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包)

    部署HDFS集群(完全分布式模式、hadoop用户控制集群、hadoop-3.3.4+安装包)

    目录 前置 一、上传解压 (一 )上传 (二)解压 二、修改配置文件 (一)配置workers文件 (二)配置hadoop-env.sh文件 (三)配置core-site.xml文件 (四)配置hdfs-site.xml文件 三、分发到hp2、hp3, 并设置环境变量 (一)准备数据目录    (二)配置环境变量 四、创建数据目录,并

    2024年04月14日
    浏览(16)
  • 基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)

    基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)

    目录 前言 一.JDK的下载安装配置 1.JDK 下载 2.JDK 安装 3.JDK 环境变量配置 4.验证JDK安装是否成功 5.重点? 二.Hadoop部署以及工具集winutils 1.下载Hadoop解压/下载winutils以及\\\"安装\\\"         下载Hadoop和winutils         \\\"安装\\\"winutils 2.配置Hadoop环境变量/配置Hadoop文件 Hadoop配置环境变量

    2024年04月13日
    浏览(15)
  • 1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、本地模式和远程模式)及验证详解

    1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、本地模式和远程模式)及验证详解

    1、apache-hive-3.1.2简介及部署(三种部署方式-内嵌模式、本地模式和远程模式)及验证详解 2、hive相关概念详解–架构、读写文件机制、数据存储 3、hive的使用示例详解-建表、数据类型详解、内部外部表、分区表、分桶表 4、hive的使用示例详解-事务表、视图、物化视图、DDL

    2024年02月17日
    浏览(8)
  • Eclipse连接Hadoop(HDFS)

    Eclipse连接Hadoop(HDFS)

    1、在Windows机上下载安装好WinSCP软件。 2、打开WinSCP,新建会话,配置信息如下(用户名和密码都是hadoop): 3、点击登入,将hadoop-eclipse-plugin-2.6.0.jar拖到虚拟机的/home/hadoop/eclipse/plugins文件夹下: 4、可以看到该文件上传到虚拟机成功。 1、首先打Eclipse,按Window—Show View—Ot

    2023年04月16日
    浏览(12)
  • eclipse和hadoop连接攻略(详细)

    eclipse和hadoop连接攻略(详细)

    吸取前人教训,写下此稿 笔者所用到的软件版本: hadoop 2.7.3 hadoop-eclipse-plugin-2.7.3.jar eclipse-java-2020-06-R-win32-x86_64 先从虚拟机下载hadoop 需要解压好和文件配置好的版本,方便后文配置伪分布式文件)  笔者linux的hadoop目录为:/usr/hadoop 下载到windows的某个目录,自行选择 笔者下

    2024年02月08日
    浏览(10)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包