【Flink精讲】Flink内核源码分析:命令执行入口

这篇具有很好参考价值的文章主要介绍了【Flink精讲】Flink内核源码分析:命令执行入口。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

官方推荐per-job模式,一个job一个集群,提交时yarn才分配集群资源;

主要的进程:JobManager、TaskManager、Client

提交命令:bin/flink run -t yarn-per-job  /opt/module/flink-1.12.0/examples/streaming/SocketWindowWordCount.jar --port 9999

Per-job进程: CliFronted、YarnJobClusterEncrypoint、TaskExecutorRunner=>TaskManagerRunner(Standalone)

/flink-1.12.0/bin/flink命令:入口:org.apache.flink.client.cli.cliFrontend

环境信息:conf.sh

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

入口源码

org.apache.flink.client.cli.CliFrontend

双击shift找类CliFrontend

命令行入口:找main方法,ctrl+F12

option+cmd+左(后退)右(前进)

依次加入Generic、Yarn、Default

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

Yarn-Per-Job新老版本写法

老版本:(<=1.10): flink run -m yarn-cluster -c xxxx.xxx.jar

新版本:(>=1.11)  : flink run -t yarn-per-job -c xxxx.xxx.jar

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

 【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

executeProgram内部实现 

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

 【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据

StreamExecutionEnvironment.execute()

【Flink精讲】Flink内核源码分析:命令执行入口,Flink,大数据,Flink精讲,flink,大数据文章来源地址https://www.toymoban.com/news/detail-833860.html

到了这里,关于【Flink精讲】Flink内核源码分析:命令执行入口的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深入理解 Flink(三)Flink 内核基础设施源码级原理详解

    深入理解 Flink 系列文章已完结,总共八篇文章,直达链接: 深入理解 Flink (一)Flink 架构设计原理 深入理解 Flink (二)Flink StateBackend 和 Checkpoint 容错深入分析 深入理解 Flink (三)Flink 内核基础设施源码级原理详解 深入理解 Flink (四)Flink Time+WaterMark+Window 深入分析 深入

    2024年01月24日
    浏览(53)
  • JUC并发编程原理精讲(源码分析)

    JUC即 java.util.concurrent 涉及三个包: java.util.concurrent java.util.concurrent.atomic java.util.concurrent.locks 普通的线程代码: Thread Runnable 没有返回值、效率相比入 Callable 相对较低! Callable 有返回值!【工作常用】 进程 :是指一个内存中运行的程序,每个进程都有一个独立的内存空间,

    2024年02月02日
    浏览(42)
  • 【源码解析】flink sql执行源码概述:flink sql执行过程中有哪些阶段,这些阶段的源码大概位置在哪里

    本文大致分析了flink sql执行过程中的各个阶段的源码逻辑,这样可以在flink sql执行过程中, 能够定位到任务执行的某个阶段的代码大概分布在哪里,为更针对性的分析此阶段的细节逻辑打下基础,比如create 的逻辑是怎么执行的,select的逻辑是怎么生成的,优化逻辑都做了哪

    2024年02月04日
    浏览(39)
  • Flink源码-Task执行

    上一节我们分析到了Execution的生成,然后调用taskManagerGateway.submitTask方法提交task,提交的时候会将executionVertex封装成TaskDeploymentDescriptor,task的提交与执行涉及到了flink多个组件的配合,之前没有详细讲过,可能有的小伙伴有点不太清楚,这里我们花点时间介绍一下。 1.JobManager

    2024年02月03日
    浏览(37)
  • 【Python】PySpark 数据处理 ② ( 安装 PySpark | PySpark 数据处理步骤 | 构建 PySpark 执行环境入口对象 )

    执行 Windows + R , 运行 cmd 命令行提示符 , 在命令行提示符终端中 , 执行 命令 , 安装 PySpark , 安装过程中 , 需要下载 310 M 的安装包 , 耐心等待 ; 安装完毕 : 命令行输出 : 如果使用 官方的源 下载安装 PySpark 的速度太慢 , 可以使用 国内的 镜像网站 https://pypi.tuna.tsinghua.edu.cn/simple

    2024年02月06日
    浏览(41)
  • Flink源码之Checkpoint执行流程

    Checkpoint完整流程如上图所示: JobMaster的CheckpointCoordinator向所有SourceTask发送RPC触发一次CheckPoint SourceTask向下游广播CheckpointBarrier SouceTask完成状态快照后向JobMaster发送快照结果 非SouceTask在Barrier对齐后完成状态快照向JobMaster发送快照结果 JobMaster保存SubTask快照结果 JobMaster收到所

    2024年02月11日
    浏览(37)
  • Flink Get Start MVN 命令执行报错

    执行新建工程命令后报错: 可能由以下三个原因引起: 命令不能换行,需要放在一行; cmd命令行或PowerShell,需要用引号包装参数(某些机器不需要) 命令中存在不必要的空格,比如等号两边存在空格 根据以上修改后的命令运行正常:

    2024年04月13日
    浏览(31)
  • Linux内核源码分析 (A)常见内核面试题

    系统调用 do_fork() : copy_process() 定时中断 do_timer() 唤醒进程 wake_up_process() :进程由睡眠状态转为 RUNNING 状态 系统调用 sys_sched_yield() 改变进程的调度策略 sched_setscheduler() : 什么情况下会发生调度时机:阻塞操作、中断返回之前(系统调用返回用户空间时)、被唤醒的进程会

    2024年02月10日
    浏览(58)
  • 【PostgreSQL内核学习(九)—— 查询执行(数据定义语句执行)】

    声明 :本文的部分内容参考了他人的文章。在编写过程中,我们尊重他人的知识产权和学术成果,力求遵循合理使用原则,并在适用的情况下注明引用来源。 本文主要参考了《PostgresSQL数据库内核分析》一书    数据定义语言(DDL,Data Definition Language) 是一类 用于定义数

    2024年02月16日
    浏览(44)
  • 【第二章】分析一下 Flink中的流执行模式和批执行模式

    目录 1、什么是有界流、无界流 2、什么是批执行模式、流执行模式 3、怎样选择执行模式? 4、怎样配置执行模式? 方式1:提交计算任务时,通过参数来指定(推荐,这种方式更灵活) 方式2:在Driver程序中配置执行模式(不推荐) 5、这是一个完整的入门案例 有界流:        

    2024年02月11日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包