java大数据hadoop2.92 Java连接操作

这篇具有很好参考价值的文章主要介绍了java大数据hadoop2.92 Java连接操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、要想Java可以连接自己虚拟机的hadoop文件系统,需要给文件系统权限

(1)需要在/usr/local/hadoop/etc/hadoop/core-site.xml

core-site.xml文件配置具体ip

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ip:9000</value>
  </property> 
</configuration>

(2)文件权限

hdfs dfs -chmod -R 777 /

2、maven依赖

<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.9.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.9.2</version>
        </dependency>

3、具体操作

(1)创建文件夹

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
boolean bool = fileSystem.mkdirs(new Path("/test"));
System.out.println(bool);

(2)创建文件文章来源地址https://www.toymoban.com/news/detail-806851.html

Configuration configuration = new Configuration();
configuration.set("fs.defaultFS", "hdfs://ip:9000");
FileSystem fileSystem = FileSystem.get(configuration);
Path path = new Path("/demo/test1.txt");
FSDataOutputStream out = fileSystem.create(path);
out.write("hfajdhfkafa".getBytes());
out.flush();
out.close();

到了这里,关于java大数据hadoop2.92 Java连接操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hadoop实验——Java连接hadoop,对hadoop进行管理教程

    到官网下载eclipse,这里我下载2021-6版本的eclipse,网站https://www.eclipse.org/downloads/packages/ (2)解压刚刚下载好的eclipse压缩包,可以到文件夹中双击带有一个大齿轮图片文件名为eclipse的文件来启动安装程序 也可以通过shell命令执行eclipse-init文件来安装,如下图: (3)安装选择

    2024年02月05日
    浏览(44)
  • java serverlets使用数据源连接oracle数据库,并执行查询操作代码

    package chap03; import java.io.IOException; import java.io.PrintWriter; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.PreparedStatement; import java.sql.Statement; import java.util.*; import javax.naming.Context; import javax.naming.InitialContext; import javax.naming.Namin

    2024年02月08日
    浏览(55)
  • Java(一):创建 Spring Boot 项目并实现连接操作MySQL数据库

    MySQL 命令 Maven 相关地址 下载地址: https://maven.apache.org/ maven配置方法地址: https://developer.aliyun.com/mvn/guide 仓库搜索地址: https://mvnrepository.com/ https://repo.maven.apache.org/ maven 本地配置 conf/settings.xml 下载 idea 并配置本地环境 maven Maven 构建 生命周期 Maven 的构建 生命周期 包括 三

    2024年02月07日
    浏览(70)
  • Hadoop高可用(Hadoop2.x)

    目录 Hadoop高可用(Hadoop2.x) 1.什么是高可用 2.Hadoop集群存在的问题 3.单点故障 3.1HDFS的单点故障 3.2NameNode的内存受限的问题 3.3Yarn的单点故障 4.Hadoop的高可用 5. Hadoop HA架构搭建 5.1基本环境配置 5.2安装Zookeeper 5.3安装Hadoop 5.4测试 6.NameNode的联邦机制 联邦的好处 高可用性HA(Hi

    2024年02月01日
    浏览(38)
  • Hadoop2.0探讨

    8. Hadoop 再探讨 8.1 Hadoop的优化与发展 Hadoop1.0的局限和不足 抽象层次低,需人工编码:编写一个非常简单的代码都需要人工编写MapReduce代码,进行编译打包运行 表达能力有限:现实中的一些问题不是使用Map和Reduce就能完成的 开发者需要自己管理作业(Job)之间的依赖关系:多

    2024年02月07日
    浏览(36)
  • Hadoop2复安装过程详细步骤

    1、在vmware中更改了虚拟机的网络类型,---NAT方式,(虚拟交换机的ip可以从vmvare的edit--vertual network editor看到) 2、根据这个交换机(网关)的地址,来设置我们的客户端windows7的ip(Vmnet8这块网卡) 3、启动linux主机,修改linux系统的ip地址(通过图形界面修改),修改完成之后在

    2024年02月07日
    浏览(43)
  • java通过JDBC连接mysql8.0数据库,并对数据库中的表进行增删改查操作

    目录 一、JDBC简介 二、添加依赖 三、JDBC操作数据库的步骤 四、JDBC操作数据库——增删改查 (一)新增数据 (二)删除数据 (三)修改数据 (四)查询数据 (五)多表连接查询         Java数据库连接,(Java Database Connectivity,简称JDBC)是java语言中用来规范客户端程序如何来访问数

    2024年02月03日
    浏览(149)
  • hadoop2.2.0伪分布式搭建

    1.准备Linux环境     1.0点击VMware快捷方式,右键打开文件所在位置 - 双击vmnetcfg.exe - VMnet1 host-only -修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 - apply - ok         回到windows -- 打开网络和共享中心 - 更改适配器设置 - 右键VMnet1 - 属性 - 双击IPv4 - 设置windows的IP:192

    2024年02月09日
    浏览(41)
  • hadoop2.6.4伪分布式搭建

    1、jdk的安装与配置         解压jdk到我需要的目录                 tar -zxf jdk-8u333-linux-x64.tar.gz -C /home/hadoop/soft-install/bigdata/         配置环境变量                 vi /etc/profile                 export JAVA_HOME=/home/hadoop/soft-install/bigdata/jdk1.8.0_333     

    2024年02月06日
    浏览(41)
  • hadoop2.4.1伪分布式搭建

    1.准备Linux环境     1.0点击VMware快捷方式,右键打开文件所在位置 - 双击vmnetcfg.exe - VMnet1 host-only -修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 - apply - ok         回到windows -- 打开网络和共享中心 - 更改适配器设置 - 右键VMnet1 - 属性 - 双击IPv4 - 设置windows的IP:192

    2024年02月07日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包