文章来源:https://www.toymoban.com/news/detail-457696.html
- Driver启动,创建SparkContext
- SparkContext 向资源管理器注册,并向资源管理器申请运行 Executor
- 资源管理器分配资源,然后资源管理器启动 Executor
- Executor 发送心跳至资源管理器
- Executor 向 Driver注册自己
- SparkContext 构建 DAG 有向无环图
- DAGScheduler 将 DAG 分解成 Stage(TaskSet)
- 把 Stage 发送给 TaskScheduler
- Executor 向 SparkContext 申请 Task
- TaskScheduler 将 Task 发送给 Executor 运行
- 同时 SparkContext 将应用程序代码发放给 Executor
- Task 在 Executor 上运行,运行完毕释放所有资源
下篇:Spark任务提交流程文章来源地址https://www.toymoban.com/news/detail-457696.html
到了这里,关于Spark任务执行流程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!