到官网下载eclipse,这里我下载2021-6版本的eclipse,网站https://www.eclipse.org/downloads/packages/
(2)解压刚刚下载好的eclipse压缩包,可以到文件夹中双击带有一个大齿轮图片文件名为eclipse的文件来启动安装程序
也可以通过shell命令执行eclipse-init文件来安装,如下图:
(3)安装选择java Developers选项
(4)创建java项目,新建java类
(5)导入hdfs所需的jar包,jar包在在安装hadoop目录下的share目录下的hadoop目录下的四个目录,这里我导入jar包的方法是将share目录下的hadoop目录复制粘贴到eclipse的java项目中再将jar包解析
Jar包所在复制文件夹:
我这里鼠标右击hdfs_project然后粘贴刚刚复制的hadoop文件夹
然后左边窗口出现hadoop文件夹,进去选择jar包然后鼠标右击,执行如下图操作。
导包成功
(6)接下来是编写java程序
首先得知道连接hadoop的hdfs用到的类,Configuration类用于访问hadoop的配置文件,然后建立连接,说白了,这个类就是从客户端访问服务端的入口,实现如下:
实例化Configuration,conf.set()访问的hadoop地址是hdfs://localhost:9000
接下来是FileSystem,这是一个抽象类,这个类是非常重要的类,通常就是用该类来对hadoop中存储的文件进行增删改查,它有很多方法,可查看hadoop API帮助文档进行了解与使用,文档网址在线文档-hadoop
FileSystem.get()获取与hadoop连接,看帮助文档可知道返回的类型与输入的形参类型
FileSystem类提供对hadoop的增删改查方法,例如create(Path path)向hadoop创建一个文件,open(Path path)打开hadoop的一个文件,mkdir(Path path)在hadoop中创建一个文件夹等等,这里的Path对应的就是hadoop文件对应的路径,比如mkdir(/user/hadoop/text.txt)就是在hadoop的根目录下的user下的hadoop创建text.txt文件,这个路径可以通过浏览器登录localhost:9870中查看,如下图:
一直点下去就会看到我们存的文件
如下图,我hadoop网页的/user/hadoop下有下面这些文件:
下面我举个例子,比如我用java代码读出倒数第二个文件text.txt的内容输出到eclipse的终端上,text.txt的内容如下:
Java代码及输出效果如下:
也就几行代码,对hadoop的管理步骤就Configuration类得到访问位置,然后因为hadoop是web所以用FileSystem fs=FileSystem.get(conf);获取与hadoop的网络连接,接下来通过设置Path访问路径,然后fs.open(path)打开指定文件得到一个字节流InputSystem对象,最后再通过read()方法读取文件内容。
文章来源:https://www.toymoban.com/news/detail-448219.html
文章来源地址https://www.toymoban.com/news/detail-448219.html
到了这里,关于hadoop实验——Java连接hadoop,对hadoop进行管理教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!