hadoop实验——Java连接hadoop,对hadoop进行管理教程

这篇具有很好参考价值的文章主要介绍了hadoop实验——Java连接hadoop,对hadoop进行管理教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

到官网下载eclipse,这里我下载2021-6版本的eclipse,网站https://www.eclipse.org/downloads/packages/

hadoop实验——Java连接hadoop,对hadoop进行管理教程

(2)解压刚刚下载好的eclipse压缩包,可以到文件夹中双击带有一个大齿轮图片文件名为eclipse的文件来启动安装程序

hadoop实验——Java连接hadoop,对hadoop进行管理教程

也可以通过shell命令执行eclipse-init文件来安装,如下图:

hadoop实验——Java连接hadoop,对hadoop进行管理教程

(3)安装选择java Developers选项

hadoop实验——Java连接hadoop,对hadoop进行管理教程 

(4)创建java项目,新建java类

hadoop实验——Java连接hadoop,对hadoop进行管理教程

(5)导入hdfs所需的jar包,jar包在在安装hadoop目录下的share目录下的hadoop目录下的四个目录,这里我导入jar包的方法是将share目录下的hadoop目录复制粘贴到eclipse的java项目中再将jar包解析

Jar包所在复制文件夹:

hadoop实验——Java连接hadoop,对hadoop进行管理教程

我这里鼠标右击hdfs_project然后粘贴刚刚复制的hadoop文件夹

hadoop实验——Java连接hadoop,对hadoop进行管理教程 

然后左边窗口出现hadoop文件夹,进去选择jar包然后鼠标右击,执行如下图操作。

hadoop实验——Java连接hadoop,对hadoop进行管理教程 

导包成功

(6)接下来是编写java程序

首先得知道连接hadoop的hdfs用到的类,Configuration类用于访问hadoop的配置文件,然后建立连接,说白了,这个类就是从客户端访问服务端的入口,实现如下:

实例化Configuration,conf.set()访问的hadoop地址是hdfs://localhost:9000

hadoop实验——Java连接hadoop,对hadoop进行管理教程

接下来是FileSystem,这是一个抽象类,这个类是非常重要的类,通常就是用该类来对hadoop中存储的文件进行增删改查,它有很多方法,可查看hadoop API帮助文档进行了解与使用,文档网址在线文档-hadoop

FileSystem.get()获取与hadoop连接,看帮助文档可知道返回的类型与输入的形参类型

hadoop实验——Java连接hadoop,对hadoop进行管理教程 

FileSystem类提供对hadoop的增删改查方法,例如create(Path path)向hadoop创建一个文件,open(Path path)打开hadoop的一个文件,mkdir(Path path)在hadoop中创建一个文件夹等等,这里的Path对应的就是hadoop文件对应的路径,比如mkdir(/user/hadoop/text.txt)就是在hadoop的根目录下的user下的hadoop创建text.txt文件,这个路径可以通过浏览器登录localhost:9870中查看,如下图:

hadoop实验——Java连接hadoop,对hadoop进行管理教程 

一直点下去就会看到我们存的文件

hadoop实验——Java连接hadoop,对hadoop进行管理教程 

如下图,我hadoop网页的/user/hadoop下有下面这些文件:

hadoop实验——Java连接hadoop,对hadoop进行管理教程

下面我举个例子,比如我用java代码读出倒数第二个文件text.txt的内容输出到eclipse的终端上,text.txt的内容如下:

hadoop实验——Java连接hadoop,对hadoop进行管理教程 

Java代码及输出效果如下:

也就几行代码,对hadoop的管理步骤就Configuration类得到访问位置,然后因为hadoopweb所以用FileSystem fs=FileSystem.get(conf);获取与hadoop的网络连接,接下来通过设置Path访问路径,然后fs.open(path)打开指定文件得到一个字节流InputSystem对象,最后再通过read()方法读取文件内容。

hadoop实验——Java连接hadoop,对hadoop进行管理教程

 文章来源地址https://www.toymoban.com/news/detail-448219.html

到了这里,关于hadoop实验——Java连接hadoop,对hadoop进行管理教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • VScode下载安装教程(及官网下载提示网络错误下载失败问题解决)

    vscode官网 选择windows版本,64位系统: 如上版本的解读: User Installer版:区分计算机账户,切换另一个账户登录计算机会无法使用已经安装好的vscode; System Installer版:不区分计算机用户账户,都可以使用; Zip版:免安装版本,不会产生注册表,可以直接拷贝到其他电脑上面使用

    2024年02月13日
    浏览(65)
  • postman官网下载安装登录测试详细教程

    目录 一、介绍 二、官网下载 三、安装 四、注册登录postman账号(不注册也可以) postman注册登录和不注册登录的使用区别  五、关于汉化的说明 六、使用示范 简单来说 :是一款前后端都用来测试接口的工具。 展开来说 :Postman 是一个用于测试 API(应用程序接口)的工具,

    2024年02月09日
    浏览(83)
  • java常用下载官网

    MySQL:https://downloads.mysql.com/archives/community/ C++: https://www.microsoft.com/en-us/download/confirmation.aspx?id=40784 navicat:http://www.navicat.com.cn](http://www.navicat.com.cn/)  JDK:https://www.oracle.com/  直接下载JDk最新版:https://www.oracle.com/java/technologies/javase-downloads.html Maven官网:http://maven.apache.org/  

    2024年02月07日
    浏览(40)
  • Oracle全系列版本官网下载保姆及教程

    下面以下载Oracle12cR2为例说明下载的整个过程。 基本步骤如下: 先注册一个Oracle账号并登录; 进入到客户下载页面搜索要下载的数据库版本; 得到Oracle下载器(Oracle_SSN_DML_xxxxx.exe),注意:每下载一次都会得到一个Oracle的下载器; 运行下载器进行下载 官网地址:https://www.or

    2024年01月17日
    浏览(53)
  • 解决Android Studio无法连接官网下载SDK、SDK组件消失等问题(不用科学上网)

    今天笔者在Android Studio下载安装的问题上被折磨了好久,终于找到了解决方法,不用科学上网。进入网址多个地点Ping服务器,网站测速 - 站长工具 (chinaz.com) 在这里输入谷歌官方的的资源库网址dl.google.com,点击查询,找到延迟比较低的ip节点然后复制下来修改hosts,关于hosts的修

    2024年02月13日
    浏览(47)
  • 官网下载JAVA的JDK11版本(下载、安装、配置环境变量)

    目录 前言必读: 一、下载JDK11 1.先去浏览器搜索 2.选择Products 3.Java 4.往下滑找到Oracle JDK,然后点击 5.往下滑找到Java11,再选择自己的操作系统  6.选择exe这个直接安装的后缀 7.跳出来的弹窗勾选,并点击 8.弹出来一个甲骨文的账号登录界面,可以选择 二、安装步骤 9.点击下载

    2024年02月01日
    浏览(131)
  • 最佳iOS设备管理器imazing 2.16.9官网Mac/Windows下载电脑版怎么下载安装

    imazing 2.16.9官网Mac/Windows下载电脑版 是款针对苹果设备所打造的管理工具。iMazing为用户提供多种设备管理功能,每一位用户都能以自己的形式管理苹果设备。iMazing与苹果设备连接后,用户就可以轻松传输文件,浏览保存信息等。   应用介绍 iMazing是macOS平台上的一款帮助用户

    2024年02月09日
    浏览(66)
  • Java连接数据库实现图书馆管理系统(详细教程)

    该功能用到的软件为 IDEA 、Navicat 、云服务器(非必须) 源码下载 https://www.aliyundrive.com/s/UTz8pNxobGK 在自己的服务器或者电脑本机安装数据库系统,本次系统演示的数据库版本为5.6。 1.创建图书管理数据库library 字符集为:utf8 -utf8_general_ci 2.设计好将要使用的sql语句 视图、存储

    2024年02月06日
    浏览(49)
  • centos的官网下载和vm16虚拟机安装centos8【保姆级教程图解】

    centos官网:https://www.centos.org/ 进入官网后,点击Download 选择 Centos Stream 8 x86_64 ,并且点击进入 然后会出现国内的镜像地址和国外的地址,选一个国内的镜像地址进入,这里我选的第二个 http://mirror.lzu.edu.cn/centos/8-stream/isos/x86_64/ 然后选择对应的版本文件下载即可,大概得半个小

    2024年01月21日
    浏览(68)
  • IDEA连接Linux上的Hadoop并对HDFS进行操作

    和Linux上版本相同的Hadoop 压缩包解压 : 将放在Linux上面的Hadoop压缩包( hadoop_xxxx.tar.gz )放在Windows 任意硬盘 中 任意 (建议新创建的一个Hadoop文件夹) 文件夹 , 然后 直接进行解压即可 , 不需要担心软件的系统适配问题 配置 HADOOP_HOME 环境变量 及添加 bin 和 sbin 目录的 系统路径 验证

    2024年02月09日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包