【HDFS】与单测编写相关的一些工具类及方法（大纲篇）持续更新

相关文章

• 

  Flink 源码剖析｜4. 累加器与相关工具方法

  累加器是实现了 加法运算 功能和 合并运算 （合并多个累加器的结果）功能的一种数据结构，在作业结束后，可以获取所有部分（各个 operator 的各个 subtask）合并后的最终结果并发送到客户端。 Flink 的累加器均实现了 Accumulator 接口，包括如下 2 个方法用于支持加法运算和合

  2024年03月15日

  浏览(45)
• 

  HDFS相关API操作

  HDFS API官方文档：https://hadoop.apache.org/docs/r3.3.1/api/index.html 将Hadoop的Jar包解压到非中文路径（例如D:hadoophadoop-2.7.2） 配置HADOOP_HOME环境变量 配置Path环境变量 准备工作 创建一个[Maven]工程HdfsClientDemo 引入hadoop-client依赖 创建HdfsClient 类 创建文件夹 上面这样写代码有点冗余，我们

  2024年02月02日

  浏览(69)

• 【HDFS】NN处理全量块汇报时reportDiff的一些细节

  NN处理全量块汇报（FBR）时的一些细节 怎么生成的toRemove 怎么check 汇报上来的块是不是corrupt的？ reportDiff方法里巧妙地引入delimiterBlock这个block的作用 前置知识：【HDFS】Block、BlockInfo、BlockInfoContiguous、BlockInfoStriped的分析记录 上面的文章中介绍了关于BlockInfo类里move当前块到

  2024年02月14日

  浏览(31)
• 

  Hadoop、HDFS 相关面试题

  Hadoop 是一个开源的分布式存储和计算框架，最初由 Apache 软件基金会开发。它允许大规模数据处理和存储，具有高度可靠性和可扩展性。 Hadoop 由两个核心部分组成： 分布式文件系统 HDFS —— 用于数据存储 计算框架 YARN —— 用于资源管理和作业调度 Hadoop 的主要特点有以下

  2024年04月16日

  浏览(43)

• HDFS组织架构及相关介绍

  HDFS(Hadoop Distributed File System)是Hadoop生态系统中一个高可靠性、高吞吐量、高容错性的分布式文件系统。它最初是Google发明的GFS(Google File System)的实现， 根据Apache Hadoop Project组织架构，HDFS的组织架构如下： Client Client是与用户交互的第一层，它处理和提供文件系统或者存储集群

  2024年02月11日

  浏览(40)
• 

  HDFS集群滚动升级以及回滚相关

  在hadoop v2中，HDFS支持namenode高可用（HA），使得不停机升级HDFS变的可行。注：从hadoop2.4.0开始才支持滚动升级 因此为了在不停机的情况下升级hdfs集群，必须使用HA设置集群 在HA集群中，有两个或多个namenode，许多DataNode，一下journalnode和一下zookeepernode JN相对稳定，在大多数情况

  2024年02月14日

  浏览(40)
• 

  Hadoop系统应用之HDFS相关操作 - - Java-API对HDFS的操作（IDEA版）

  通过Java API来操作HDFS文件系统HDFS，相关的操作有：文件上传、文件下载、新建文件夹、查看文件、删除文件。 1.Linux下安装好hadoop，这里使用hadoop2.7.3 2.window解压hadoop2.7.3的包 2.Windows下安装好jdk1.8  3.Windows下安装好IDEA，这里使用IDEA2022 4.Windows下安装好maven，这里使用Maven3.6.3

  2024年02月05日

  浏览(51)

• 4、sybase相关同步-sybase通过datax同步到hdfs

  1、datax3.0部署与验证 2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步 3、oracle相关同步-oracle到hdfs 4、sybase相关同步-sybase到hdfs 5、ETL工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldeng 本文介绍sybase的相关同步，sybase到hdfs同步。 本文分为三部分，。 本文的前

  2024年02月08日

  浏览(36)

• Elasticsearch的基础知识和架构设计，以及一些常用的功能——面向对象编程和数据结构的高级应用场景，以及相应的代码实现方法和工具

  作者：禅与计算机程序设计艺术 2019年，Elasticsearch正式发布了7.0版本。在这个版本更新中，新增了许多新特性和功能，包括全文搜索、分类聚合、分析器、图形化数据可视化等。无论对于企业或个人来说，都意味着更好的应用场景。但是，掌握Elasticsearch并非易事，需要不断学

  2024年02月07日

  浏览(57)
• 

  关于Kettle ETL java脚本编写遇到的一些问题记录

  使用方法**logBasic()**参数必须是字符串 这部分内容会在ETL的日志窗口显示 1.获取上个节点传输的数据 可以直接在左侧双击获取 2.全局参数获取 在启动运行的变量设置参数 在java代码中获取方式 3.获取当前节点参数 在当前窗口下方有个 参数 Tab页，在这里设置 在java代码中获取

  2024年02月12日

  浏览(41)