hive on spark 时，executor和driver的内存设置，yarn的资源设置。
在使用Hive on Spark时，需要进行以下三个方面的内存和资源设置：
- Executor的内存设置
在使用Hive on Spark时，需要根据数据量和任务复杂度等因素，合理地设置每个Executor的内存大小。通常情况下，每个Executor需要留一部分内存给操作系统和其他进程使用，同时为了避免过度调度，每个Executor的内存大小不应过小。一般而言，每个Executor的内存大小需要在4GB到8GB之间。
可以通过设置以下参数来设置每个Executor的内存大小：
spark.executor.memory
- Driver的内存设置
在使用Hive on Spark时，Driver负责向集群中提交作业，并监控作业的进度和状态。因此，需要根据数据量和任务复杂度等因素，合理地设置Driver的内存大小。通常情况下，Driver需要保证有足够的内存来存储数据和执行查询计划。一般而言，Driver的内存大小需要在2GB到4GB之间。
可以通过设置以下参数来设置Driver的内存大小：
spark.driver.memory
- YARN的资源设置
YARN负责管理集群中的资源分配和任务调度，因此需要对其进行相应的资源设置。在使用Hive on Spark时，可以通过设置以下参数来调整YARN的资源：
yarn.scheduler.maximum-allocation-mb
这个参数用来设置YARN每个节点上的最大可用内存大小。通常情况下，需要根据每个节点的物理内存大小来设置该参数。
yarn.nodemanager.resource.memory-mb
这个参数用来设置YARN每个节点上可用的总内存大小。通常情况下，需要根据每个节点的物理内存大小来设置该参数。同时需要注意的是，该参数的值应该大于等于yarn.scheduler.maximum-allocation-mb。文章来源：https://www.toymoban.com/news/detail-593578.html
yarn.scheduler.minimum-allocation-mb
这个参数用来设置YARN每个节点上最小可用内存大小。通常情况下，该参数的值应该等于每个Executor的内存大小。文章来源地址https://www.toymoban.com/news/detail-593578.html
到了这里，关于hive on spark 时，executor和driver的内存设置，yarn的资源设置的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
