Spark 常用的端口号包括:
-
Driver Web UI 端口:4040,这是 Spark 应用程序(Driver)运行时绑定的端口,用于展示任务运行状态、执行进度、任务细节等监控信息。
-
Spark Master 服务端口:7077,这是 Spark 在 Standalone 模式下的主节点(Master)与 Worker 节点通信的服务端口,客户端提交应用时也会连接此端口。
-
Spark Master Web UI 端口:默认为 8080,但这个端口可能会根据实际情况自动调整或手动配置,用户可以通过该端口查看集群的总体状态和各个应用程序的信息。
-
Spark Worker Web UI 端口:默认情况下,Worker 的 Web UI 端口可能不是固定的,通常会是
8081
或者在808x
范围内,具体取决于启动时的配置或者系统分配的端口。 -
Spark History Server 端口:18080,历史服务器提供已完成作业的持久化存储和查询功能,用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。文章来源:https://www.toymoban.com/news/detail-848606.html
需要注意的是,这些端口号都可以在 Spark 配置文件中进行自定义设置以满足不同的环境需求。文章来源地址https://www.toymoban.com/news/detail-848606.html
到了这里,关于大数据之 Spark 常用的端口号的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!