Hudi Flink SQL源码调试学习（一）

7月前作者：董可伦分类：Toy博客阅读(24) 违法举报

这篇具有很好参考价值的文章主要介绍了Hudi Flink SQL源码调试学习（一）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun

前言

本着学习hudi-flink源码的目的，利用之前总结的文章Hudi Flink SQL代码示例及本地调试中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段。

版本

Flink 1.15.4
Hudi 0.13.0

目标

在文章Hudi Flink SQL代码示例及本地调试中提到：我们发现Table API的入口和DataStream API的入口差不多，DataStream API的入口是在HoodiePipeline的sink和source方法里，而这两个方法也是分别调用了HoodieTableFactory的createDynamicTableSink和createDynamicTableSource。那么Table API的代码怎么一步一步走到createDynamicTableSink和createDynamicTableSource的呢？返回HoodieTab文章来源地址https://www.toymoban.com/news/detail-671246.html

到了这里，关于Hudi Flink SQL源码调试学习（一）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【源码分析】一个flink job的sql到底是如何执行的（一）：flink sql底层是如何调用connector实现物理执行计划的

我们以一条sql为例分析下flink sql与connector是如何配合执行的，本文我们先分析 sql-sqlnode-validate-operation：是如何找到对应的connector实例的 relnode-execGraph：是如何组装node为Graph，在哪找到connector实例的之后的文章将会继续分析： translateToPlanInternal是如何串联connector其他方法的

2024年01月16日
浏览(31)
《十堂课学习 Flink》第五章：Table API 以及 Flink SQL 入门

第四章中介绍了 DataStream API 以及 DataSet API 的入门案例，本章开始介绍 Table API 以及基于此的高层应用 Flink SQL 的基础。 Flink 提供了两个关系API——Table API 和 SQL——用于统一的流和批处理。Table API 是一种针对Java、Scala和Python的语言集成查询API，它允许以非常直观的方式组合来

2024年02月03日
浏览(53)
FlinkSQL-- sql-client及源码解析 -- flink-1.13.6

本文基于flink-1.13.6 SQL Client: Init scripts and Statement Sets 这个版本极大地改进了 SQL 客户端的功能。现在 SQL Client 和 SQL 脚本都支持通过Java 应用程序执行的几乎所有操作(从 TableEnvironment 以编程方式启动查询)。这意味着 SQL 用户在 SQL 部署中需要的代码少了很多。其中最核心的功能

2023年04月27日
浏览(31)
【Flink SQL】Flink SQL 基础概念（四）：SQL 的时间属性

《 Flink SQL 基础概念》系列，共包含以下 5 篇文章： Flink SQL 基础概念（一）：SQL Table 运行环境、基本概念及常用 API Flink SQL 基础概念（二）：数据类型 Flink SQL 基础概念（三）：SQL 动态表连续查询 Flink SQL 基础概念（四）：SQL 的时间属性 Flink SQL 基础概念（五）：SQL 时区问

2024年04月13日
浏览(33)
【大数据】Flink 详解（十）：SQL 篇 Ⅲ（Flink SQL CDC）

《 Flink 详解》系列（已完结），共包含以下 10 10 10 篇文章：【大数据】Flink 详解（一）：基础篇（架构、并行度、算子）【大数据】Flink 详解（二）：核心篇 Ⅰ（窗口、WaterMark）【大数据】Flink 详解（三）：核心篇 Ⅱ（状态 State）【大数据】Flink 详解（四）：核心篇

2024年01月25日
浏览(40)
flink1.14 sql基础语法（一） flink sql表查询详解

语法示例： flink从1.13开始，提供了时间窗口聚合计算的TVF语法。表值函数的使用约束：（1）在窗口上做分组聚合，必须带上window_start 和 window_end 作为分组的key；（2）在窗口上做 topn计算，必须带上window_start 和 window_end 作为partition的key；（3）带条件的 join ，必须包含

2024年02月06日
浏览(32)
flink1.14 sql基础语法（二） flink sql表定义详解

每一个表的标识由 3 部分组成： catalog name (常用于标识不同的“源”，比如 hive catalog，inner catalog 等) database name(通常语义中的“库”) table name (通常语义中的“表”) 1个flinksql程序在运行时，tableEnvironment 通过持有一个 map 结构来记录所注册的 catalog; Flinksql中的表，可以是 vi

2024年02月14日
浏览(33)
Flink（十三）【Flink SQL（上）】

最近在假期实训，但是实在水的不行，三天要学完SSM，实在一言难尽，浪费那时间干什么呢。SSM 之前学了一半，等后面忙完了，再去好好重学一遍，毕竟这玩意真是面试必会的东西。今天开始学习 Flink 最后一部分 Flink SQL ，完了还有不少框架得学：Kafka、

2024年01月17日
浏览(29)
【Flink SQL】Flink SQL 基础概念（一）：SQL & Table 运行环境、基本概念及常用 API

《 Flink SQL 基础概念》系列，共包含以下 5 篇文章： Flink SQL 基础概念（一）：SQL Table 运行环境、基本概念及常用 API Flink SQL 基础概念（二）：数据类型 Flink SQL 基础概念（三）：SQL 动态表连续查询 Flink SQL 基础概念（四）：SQL 的时间属性 Flink SQL 基础概念（五）：SQL 时区问

2024年03月21日
浏览(60)
Flink（十四）【Flink SQL（中）查询】

接着上次写剩下的查询继续学习。环境准备：记得第二步：启动 yarn-seesion ！！！注意：我们写 SQL 的时候尽量避免，比如函数名（avg、sum）！分组窗口起始就是我们之前学过的滑动窗口、会话窗口、滚动窗口，之所以叫它分组窗口，其实是把它的

2024年01月22日
浏览(33)