一、Spark Master启动
1、Spark资源任务调度对象关系图
2、集群启动过程
Spark集群启动之后，首先调用$SPARK_HOME/sbin/start-all.sh，start-all.sh脚本中调用了“start-master.sh”脚本和“start-slaves.sh”脚本，在start-master.sh脚本中可以看到启动Master角色的主类：“org.apache.spark.deploy.master.Master”。在对应的start-slaves.sh脚本中又调用了start-slave.sh脚本，在star-slave.sh脚本中可以看到启动Worker角色的主类：“org.apache.spark.deploy.worker.Worker”。
- Master&Worker启动
Spark框架的设计思想是每台节点上都会启动对应的Netty通信环境，叫做RpcEnv通信环境。每个角色启动之前首先向NettyRpcEnv环境中注册对应的Endpoint，然后启动。角色包括：Master，Worker,Driver,Executor等。下图是启动start-all集群后，Master角色启动过程，Master角色的启动会调用“org.apache.spark.deploy.master.Master”主类，执行流程如下：
二、Spark Submit任务提交
- SparkSubmit任务提交
Spark submit提交任务时，调用$SPARK_HOME/bin/spark-submit spark-submit脚本中调用了“org.apache.spark.deploy.SparkSubmit”类。执行此类时，首先运行main方法进行参数设置，然后向Master申请启动Driver。代码流程如下图示：
- 启动DriverWrapper类
当提交任务之后，客户端向Master申请启动Driver，这里首先会启动一个DriverWrapper类来对用户提交的application进行包装运行，DriverWrapper类的启动过程如下：
- 注册Driver Endpoint，向Master注册Application
当执行用户的代码时，在new SparkContext时，会注册真正的Driver 角色，这个角色名称为“CoarseGrainedScheduler”,Driver角色注册之后，注册“AppClient”角色，由当前这个角色向Master注册Application。代码流程如下：文章来源：https://www.toymoban.com/news/detail-809484.html
文章来源地址https://www.toymoban.com/news/detail-809484.html
到了这里，关于Spark---Master启动及Submit任务提交的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![gitee第一次提交代码提交不上去，老是报错。 ! [remote rejected] master -＞ master (hook declined)](https://imgs.yssmx.com/Uploads/2024/02/479676-1.png)
