Dinky,让 Flink SQL 纵享丝滑

这篇具有很好参考价值的文章主要介绍了Dinky,让 Flink SQL 纵享丝滑。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大家好,我是脚丫先生

流批一体,越来越流行了,牛逼一体

之前用java封装flink-sql-client提交脚本文件,很是摩擦。

不过,在研发流批一体平台的时候发现了Dinky,终于丝滑了。

今天就给小伙伴们推荐下低调但实力强大的Dinky!功能强大,解放自己

dinky flink,# --- 大数据,flink,sql,数据库

Dinky

基于 Apache Flink 二次开发,无侵入,开箱即用实时即未来,批流为一体。

用好Dinky,无限丝滑。

官方网站

dinky flink,# --- 大数据,flink,sql,数据库

官方有着详细的使用教程,并且已经开源了。

最重要的是可以加入交流群,随时问作者(比较耐心的一个大佬)。

dinky flink,# --- 大数据,flink,sql,数据库

Dinky平台

搭建Dinky,跟着官方搭建教程一步一操作,比较简单。

作为FlinSQL实时计算平台,其核心功能:

  • 支持 Flink 原生语法、连接器、UDF 等: 几乎零成本将 Flink 作业迁移至 Dinky。
  • 增强 FlinkSQL 语法: 表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等。
    支持 Flink 多版本: 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi。
  • 支持外部数据源的 DB SQL 操作: 如 ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等。
  • 支持实时任务运维: 作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等。

dinky flink,# --- 大数据,flink,sql,数据库

dinky flink,# --- 大数据,flink,sql,数据库

dinky flink,# --- 大数据,flink,sql,数据库

更多的功能,小伙伴们去官网一目了然。

Dinky二次开发感受

源码

下载源码直接导入idea即可,和普通的导入工程没差别。

用java开发的Dinky,非常友好,这么卷的java,现在谁不会。

dinky flink,# --- 大数据,flink,sql,数据库

  • 用Dinky做流批平台时候,以它作为后端,只需要根据需求,重新开发前端即可。

看源码的日子,总是很累的。(看别人的代码脑壳痛)

必须看懂,因为Flink实在很流行

不过最大的感受就是,学会了关于Flink的很多知识,看明白了作者如何封装的。

单纯的看源码总是很累的,只有在实际工作中,需要去改造功能,在去看源码,效率很高,也不枯燥。

自研平台

dinky flink,# --- 大数据,flink,sql,数据库

目前正在进行离线模块的开发,调度有点难顶。

之前打算用熟悉的Airflow,但是发现小海豚挺流行的,自己也想学习学习,就安排上了。

平台中实时流模块,在之后打算集成Dinky源码,让平台的功能更加完善和强大。

祝各位终有所成,收获满满!文章来源地址https://www.toymoban.com/news/detail-597888.html

到了这里,关于Dinky,让 Flink SQL 纵享丝滑的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • dinky+flink+doris实时架构全流程demo

    官网下载地址:https://archive.apache.org/dist/doris/1.2/1.2.3-rc02/   #doris单机部署 #配置FE  #配置 BE #下载地址:Index of /dist/flink/flink-1.14.6 #Flink单机部署 #相关依赖包下载 #启动 #访问 #下载  #Dinky单机部署 #配置dinky #添加依赖 依赖下载:https://download.csdn.net/download/qq_41060328/87817727 备份

    2024年02月15日
    浏览(40)
  • Dinky 0.6.2 已发布,优化 Flink 应用体验

    Apache Flink 作为新一代的实时计算框架已经被应用到各个行业与领域,虽说应用程度不同,但都会遇到一些使用上的痛点,基础的应用痛点比如 FlinkSQL 作业提交不友好、作业无监控报警等。很大程度上说,FlinkSQL 大大加快了 Flink 的应用推广,而本文将简述开源项目 Dinky 如何改

    2024年02月05日
    浏览(34)
  • 当编程遇上AI,纵享丝滑

    目录 前言 一、提出需求  二、检查代码 三、进一步提出需求 总结  自从CHATGPT火了以后,我发现我身边的人再也不怕写报告了,什么个人总结,汇报材料,年度总结,伸手就来(反正哪些报告也没人看),除了一些针对性很强的文章(这里说的是针对性,不是技术性)基本

    2024年02月14日
    浏览(54)
  • IDEA调优-四大基础配置-编码纵享丝滑

    1.JVM虚拟机选项配置 1.-Xms128m: 设置 JVM 初始堆栈大小为 128MB。 初始堆栈大小用于存储线程运行时的局部变量和方法调用栈。 较小的初始堆栈可以减少内存占用,但可能导致频繁的垃圾回收。 较大的初始堆栈可以减少垃圾回收的频率,但可能导致内存浪费。 2. -Xmx8192m: 设置

    2024年03月26日
    浏览(41)
  • 每帧纵享丝滑——ToDesk云电脑、网易云游戏、无影云评测分析及ComfyUI部署

    随着数字化浪潮席卷而来,人们对计算能力和资源的需求愈发迫切。 有时,我们想要尽情享受高配置的3A游戏,却发现本地电脑的性能跟不上; 有时,信心满满报名了热门的AIGC课程,却发现设备缺少必要的GPU支持; 有时,我们想要剪辑和渲染复杂的视频,本地电脑却不具备

    2024年04月16日
    浏览(97)
  • 【大数据】Flink 详解(十):SQL 篇 Ⅲ(Flink SQL CDC)

    《 Flink 详解 》系列(已完结),共包含以下 10 10 10 篇文章: 【大数据】Flink 详解(一):基础篇(架构、并行度、算子) 【大数据】Flink 详解(二):核心篇 Ⅰ(窗口、WaterMark) 【大数据】Flink 详解(三):核心篇 Ⅱ(状态 State) 【大数据】Flink 详解(四):核心篇

    2024年01月25日
    浏览(50)
  • 大数据Flink(八十一):SQL 时区问题

    文章目录 SQL 时区问题 ​​​​​​​一、SQL 时区解决的问题

    2024年02月07日
    浏览(41)
  • 【大数据】Flink 详解(十):SQL 篇 Ⅲ

    《 Flink 详解 》系列(已完结),共包含以下 10 10 10 篇文章: 【大数据】Flink 详解(一):基础篇(架构、并行度、算子) 【大数据】Flink 详解(二):核心篇 Ⅰ(窗口、WaterMark) 【大数据】Flink 详解(三):核心篇 Ⅱ(状态 State) 【大数据】Flink 详解(四):核心篇

    2024年01月18日
    浏览(57)
  • Flink SQL 解析嵌套的 JSON 数据

    下面将会演示如何在 DDL 里面定义 Map、Array、Row 类型的数据,以及在 SQL 里面如何获里面的值。 数据格式如下: 上面的数据包含了 Map、Array、Row 等类型, 对于这样的数据格式,在建表 DDL 里面应该如何定义呢? 定义 DDL 解析 SQL SQL 运行的结果 以如下数据作为样例: 定义 获取 构造

    2024年02月10日
    浏览(45)
  • 【大数据】Flink 详解(九):SQL 篇 Ⅱ

    《 Flink 详解 》系列(已完结),共包含以下 10 10 10 篇文章: 【大数据】Flink 详解(一):基础篇(架构、并行度、算子) 【大数据】Flink 详解(二):核心篇 Ⅰ(窗口、WaterMark) 【大数据】Flink 详解(三):核心篇 Ⅱ(状态 State) 【大数据】Flink 详解(四):核心篇

    2024年01月16日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包