“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

这篇具有很好参考价值的文章主要介绍了“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

HDFS错误整改

编写“远程客户端操作hdfs创建文件夹”代码,验证环境是否配置成功!

1、错误点1:

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

改正方法:

第一步:点击 文件>项目文件>模块

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

第二步:会发现红色框里的显示的是15,这里我们需要改成8,如下图:

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

2、错误点2:

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

改正方法:

第一步:点击 文件>项目文件>设置,后按照图中步骤点击:

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

第二步:将目标字节码版本同样换成8,如下图:

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

第三步:这个问题解决了

3、错误点3:

这里出现了uri爆红了,因该是可能是导包的时候出错的?
如果你是第一次将以上代码写入环境,会出现很多包显示红色,说明包没有被安装,需要点击maven,点击刷新键,自动检测安装!

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

改正方法:

第一步:点击侧面的Maven,后点击旋转按钮,后再次运行可以解决(?)

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

4、错误点4:

虽然网页中已经显示出xiyou,代表成功了,但是......

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

出现了如下警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

警告util.NativeCodeLoader:无法为您的平台加载本机Hadoop库…在适用的情况下使用内置的java类

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

改正方法:

此处引用网上查找的文章,因为我第一步的文件就没找到,可能之前的步骤不一样。

(44条消息) 解决 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...警告_青玄叶鹤的博客-CSDN博客

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

实验目的:

编写“远程客户端操作hdfs创建文件夹”代码,验证环境是否配置成功!

实现步骤:

1.首先要确保集群群起成功

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

2.在浏览器打开hadoop151:9870

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

3.编写如下图示代码

直接复制:

package org.example.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.fs.FileSystem;

public class HdfsClient {


    private FileSystem fs;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        // 连接的集群nn地址
        URI uri = new URI("hdfs://hadoop151:8020");
        // 创建一个配置文件
        Configuration configuration = new Configuration();

        // 用户
        String user = "root";

        // 1 获取到了客户端对象

        fs = FileSystem.get(uri, configuration, user);
    }

    @After
    public void close() throws IOException {
        // 3 关闭资源
        fs.close();
    }

    @Test
    public void testmkdir() throws  URISyntaxException, IOException, InterruptedException {
        // 2 创建一个文件夹
        fs.mkdirs(new Path("/xiyou/huaguoshan1"));
    }

}

4.运行代码,在网页端察看远程客户端操作hdfs创建文件夹成功

“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改

如果友友们有疑问和指导,欢迎在评论区指出!文章来源地址https://www.toymoban.com/news/detail-519560.html

到了这里,关于“远程客户端操作hdfs创建文件夹”,验证环境是否配置成功,以及HDFS错误整改的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 创建 ROS action操作涉及编写操作定义以及相应的服务器和客户端代码

    架构师指南 创建 ROS 操作涉及编写操作定义以及相应的服务器和客户端代码。我将提供详细的分步指南来说明如何完成此操作。 第 1 步:定义操作 首先,您需要在** .action 文件中定义您的操作。让我们创建一个名为 的简单操作 Example.action **,用于发送一个数字、对其进行处

    2024年02月22日
    浏览(35)
  • hbase优化:客户端、服务端、hdfs

    hbase优化 一.读优化 1.客户端: 2.服务器: 3.列簇:是否过多、 是否使用布隆过滤器:任何业务都应该设置Bloomfilter,通常设置为row就可以,除非确认业务随机查询类型为row+cf,可以设置为rowcol 是否设置ttl 4.hdfs优化: 二、写优化 是否需要写WAL?WAL是否需要同步写入 用批量

    2024年02月14日
    浏览(40)
  • HDFS写流程源码分析(一)-客户端

    环境为hadoop 3.1.3 以下代码创建并写入文件。 Configuration 加载了hadoop的配置信息,下为其静态代码块,可以看到眼熟的配置文件名称。 FileSystem 是Hadoop文件系统的抽象类,有许多实现(如下图),hdfs便是其分布式文件系统的具体实现。 这里我们关注的为 DistributedFileSystem 。 上

    2024年02月11日
    浏览(43)
  • 麒麟操作系统Kylin V10 安装达梦数据库DM8 客户端远程调试

    一、环境准备 软件名称 版本 vmware workstation 16.1.2 build-17966106 银河麒麟 Kylin-Server-10-SP2-x86-Release-Build09-20210524.iso 达梦DM8 DMInstall.bin 银河麒麟 server v10 x86架构安装iso镜像。 Kylin-Server-10-SP2-x86-Release-Build09-20210524.iso 二、DM8数据库安装 以下操作可以使用远程工具执行命令 1. 启动网络

    2024年02月04日
    浏览(67)
  • 【大数据】HDFS客户端命令行(hdfs dfs)详细使用说明

    hadoop分布式文件系统客户端命令行操作 全局变量说明 Path 路径支持正则表达式 通配符 名称 匹配 * 星号 匹配0或多个字符 ? 问号 匹配单一字符 [ab] 字符类别 匹配{a,b}中的一个字符 [^ab] 非字符类别 匹配不是{a,b}中的一个字符 [a-b] 字符范围 匹配一个在{a,b}范围内的 字符(包括

    2024年02月09日
    浏览(36)
  • Spire.PDF for .NET【文档操作】演示:动态创建 PDF 并将其发送到客户端浏览器

    可移植文档格式 (PDF) 是 Adobe 制定的独立规范的固定版式文档。它封装了完整的描述,包括文本字体、图形和显示它所需的其他信息。 Spire.PDF for .NET 是一款独立 PDF 控件,用于 .NET 程序中创建、编辑和操作 PDF 文档。使用 Spire.PDF 类库,开发人员可以新建一个 PDF 文档或者对现

    2024年04月25日
    浏览(36)
  • 【Hadoop】HDFS读写流程和客户端命令使用

    🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁 🪁🍁 希望本文能够给您带来一定的帮助🌸文章粗浅,敬请批评指正!🍁🐥 🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁 感谢点赞和关注 ,每天进步

    2024年02月11日
    浏览(30)
  • 【HDFS】ResponseProcessor线程详解以及客户端backoff反压

    ResponseProcessor如何处理datanode侧发过来的packet ack的 客户端侧backoff逻辑。 ResponseProcessor:主要功能是处理来自datanode的响应。当一个packet的响应到达时,会把这个packet从ackQueue里移除。

    2024年02月11日
    浏览(54)
  • 【HDFS】每天一个RPC系列----complete(二):客户端侧

    上图给出了最终会调用到complete RPC的客户端侧方法链路(除去Router那条线了)。 org.apache.hadoop.hdfs.DFSOutputStream#completeFile(org.apache.hadoop.hdfs.protocol.ExtendedBlock): 下面这个方法在complete rpc返回true之前,会进行重试,直到超过最大重试次数抛异常。 另外需要注意的是,这个方法在

    2024年02月13日
    浏览(35)
  • 【HDFS】客户端读某个块时,如何对块的各个副本进行网络距离排序?

    本文包含如下内容: ① 通过图解+源码分析/A1/B1/node1和 /A1/B2/node2 这两个节点的网络距离怎么算出来的 ② 客户端读文件时,副本的优先级。(怎么排序的,排序规则都有哪些?) ③ 我们集群发现的一个问题。 客户端读时,通过调用getBlockLocations RPC 获取文件的各个块。 在给

    2024年02月13日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包