干货|三个维度详解 Taier 本地调试原理和实践

这篇具有很好参考价值的文章主要介绍了干货|三个维度详解 Taier 本地调试原理和实践。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在平时和开发者们交流的过程中,发现许多开发朋友尤其是新入门 Taier 的开发者,对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题,服务编译,配置&本地运行,如何在 Taier 运行 Flink-standalone,进行简单的介绍,希望和大家共同交流学习。

服务编译

在本章将介绍服务编译中的两大插件 WorkerPlugins 及 DataSourcePlugin,以及 Taier 的前后端 UI & datadevelop 的作用。

WorkerPlugins 的作用

平台通过在 Taier-UI 运行任务之后,在 Taier-data-develop 中通过集群绑定到租户,再通过当前租户绑定集群中的组件类型以及版本号获取到不同的 WorkerPlugin,通过不同组件类型以及版本号进行提交任务。下图为整体的运行架构图:

干货|三个维度详解 Taier 本地调试原理和实践

WorkerPlugins 的编译

运行任务时这是一个必要的选项,当我们需要本地调试或者部署运行时,WorkerPlugins 的编译是必须进行的,在编译之后会获取到一个 WorkerPlugins 的目录,具体的编译过程请看文末视频链接中的演示讲解。

干货|三个维度详解 Taier 本地调试原理和实践

DataSourcePlugin 的作用

介绍完 WorkerPlugins 这个插件之后,来介绍一下另一个插件 DataSourcePlugin。

在 Taier-UI 中我们可以配置诸多不同类型的数据源,如 MySQL,Doris,Oracle 等,这些功能都是依赖着强大的 DataSourcePlugin 来进行实现。同时在使用离线同步中的 GUI 任务配置相关功能时,获取数据库信息也都是依赖 DataSourcePlugin 来完成的。

干货|三个维度详解 Taier 本地调试原理和实践

DataSourcePlugin 的编译

运行任务时这是一个必要的选项,当我们需要本地调试或者部署运行时,DataSourcePlugin 的编译是必须进行的,在编译之后会获取到一个 DataSourcePlugin 的目录,具体的编译过程请看文末视频链接中的演示讲解。

干货|三个维度详解 Taier 本地调试原理和实践

Taier-UI 的作用

在 Taier-UI 中我们可以进行配置不同类型的数据源、创建任务、任务运维、提交调度、集群配置、集群绑定等各种操作。

TaierDataDevelop 的作用

在 Taier- UI 中进行操作的所有后端服务 API 的支持都是来自于 TaierDataDevelop 的支持,该服务主要是与前后端交互。

干货|三个维度详解 Taier 本地调试原理和实践

配置&本地运行

该节内容主要介绍 TaierDataDevelop 的配置,在此进行后端服务的端口 ZK、WorkerPlugins、DataSourcePlugin 数据库等相关配置,前后端的启动,以及集群配置(Flink-standalone)和绑定。

具体的代码流程请看文末视频链接中的演示讲解。

干货|三个维度详解 Taier 本地调试原理和实践

运行 Flink-Standalone 实践

配置集群

在任务运行时,通过配置的 CDH 集群,使用配置 YARN 组装任务,通过 ChunJun 或直接提交任务至 Flink、Doris、Spark 等计算引擎中。

配置&运行任务

通过任务 GUI 组装任务配置,包括数据来源和去向,通过字段映射、任务自定义参数等相关配置从而进行任务配置。

干货|三个维度详解 Taier 本地调试原理和实践

视频课程&PPT获取

视频课程:

https://www.bilibili.com/video/BV19M411L7f2/?spm_id_from=333.999.0.0

课件获取:

https://www.dtstack.com/resources/1031

《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack文章来源地址https://www.toymoban.com/news/detail-510866.html

到了这里,关于干货|三个维度详解 Taier 本地调试原理和实践的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • C++封装详解——从原理到实践

    封装(Encapsulation)是面向对象编程(OOP)的四大基本特性之一(封装、继承、多态、抽象)。它可以将类的实现细节隐藏起来,暴露出一个简洁、清晰的接口。封装提高了代码的可读性、安全性和易维护性,有利于更高效地进行软件开发。 封装的主要优点如下: 提高代码的

    2024年02月06日
    浏览(35)
  • TLS详解之原理和实践(一)

    个人微信公众号:密码应用技术实战 个人博客园首页:https://www.cnblogs.com/informatics/ 本文主要内容涉及到TLS协议 发展历程 、TLS 协议原理 以及在 HTTPS中的应用 ,以希望读着对TLS协议的基本工作原理和实际应用有个基本认识。 我们在访问网站的时候经常会碰到以下两种情况:

    2024年02月08日
    浏览(40)
  • Pycharm Debug调试(纯干货)

    内容目录(原文见公众号python宝或 www.xmmup.com ) 一、打断点二、代码调试三、界面小图标介绍四、控制台介绍 一、打断点         一个断点标记了一个代码行,当Pycharm运行到该行代码时会将程序暂时挂起。         注意断点会将对应的代码行标记为红色,取消断点的

    2024年02月02日
    浏览(39)
  • Android-图片压缩详解:原理、方法与实践

    在Android应用开发中,处理图片是一个非常常见的需求。然而,大尺寸和高质量的图片可能会占用大量内存,导致应用程序性能下降,甚至引发OOM(Out of Memory)错误。因此,对图片进行合适的压缩是非常重要的。本文将详细介绍Android图片压缩的原理、方法和实践。 图片压缩的

    2024年02月16日
    浏览(40)
  • 大模型的实践应用22-谷歌Gemma AI大模型的架构原理,以及Gemma模型的部署安装本地教程

    大家好,我是微学AI,今天给大家介绍一下大模型的实践应用22-谷歌Gemma AI大模型的架构原理,以及Gemma模型的部署安装本地教程。谷歌Gemma AI大模型是由Google AI团队开发并开源。Gemma模型采用Transformer编码器-解码器架构,并加入了一些改进,例如使用稀疏注意力机制来提高推理

    2024年04月27日
    浏览(43)
  • 三个本地组策略的设置实例

    gp=Group Policy组策略,edit=编辑,msc=Microsoft Management Console微软管理控制台相当于可执行文件后缀 输入gpedit.msc可以进入 本地组策略编辑器 使用win+r打开运行对话框,输入命令regedit,这样就能打开注册表编辑器 在运行对话框输入gpedit.msc,进入本地组策略编辑器 在这里可以阻止

    2024年04月08日
    浏览(34)
  • Flink checkpoint操作流程详解与报错调试方法汇总,增量checkpoint原理及版本更新变化,作业恢复和扩缩容原理与优化

    本文主要参考官方社区给出的checkpoint出错类型和种类,以及查找报错的方法。 主要分为两种 Checkpoint Decline 与 Checkpint Expire 两种类型 下面分开讨论 从业务上来讲,Checkpoint 失败可能有较多的影响。 Flink 恢复时间长,会导致服务可用率降低。 非幂等或非事务场景,导致大量业

    2024年02月22日
    浏览(47)
  • 【Linux操作系统】网络配置详解:从原理到实践(详细通俗讲明DNS)

    导语:网络配置是Linux系统中的一项重要任务,合理的网络配置可以保证计算机与其他设备的正常通信。本文将详细介绍Linux网络配置的原理和实践,包括网络配置原理、查看网络IP和网关、测试网络连通性、网络环境配置、设置主机名和hosts映射以及主机名解析过程分析等内

    2024年02月14日
    浏览(47)
  • 技术实践|Hive数据迁移干货分享

    导语 Hive是基于Hadoop构建的一套数据仓库分析系统,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能。它的优点是可以通过类SQL语句快速实现简单的MapReduce统计,不用再开发专门的MapReduce应用程序,从而降低学习成本,十分适合对数据仓库进行统计分

    2024年02月11日
    浏览(58)
  • 干货 | 携程光网络抵御光缆中断实践

    作者简介 Lightworker,携程网络技术专家,关注光纤通信、DCI传输技术领域。 一、背景 光传输网络(简称OTN)是一种基于光纤技术的通信网络。它利用光纤作为传输介质,将信息以光的形式进行传输。其凭借DWDM(密集型波分复用)技术以及保护倒换技术,可以实现大带宽、低

    2024年02月03日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包