Hive之set参数大全-1

A

控制是否允许在需要时按需加载用户定义函数（UDF）

hive.allow.udf.load.on.demand 是 Apache Hive 中的一个配置属性，用于控制是否允许在需要时按需加载用户定义函数（UDF）。

在 Hive 中，UDFs是用户编写的自定义函数，可以在 Hive SQL 查询中使用。这个配置属性的目的是在查询执行期间动态加载UDFs，而不是在Hive服务器启动时就加载所有UDFs，从而减小启动时的开销。

如果 hive.allow.udf.load.on.demand 被设置为 true，则 Hive 将在查询需要时动态加载所需的 UDFs。如果设置为 false，则在启动 Hive 时会加载所有的 UDFs，而不考虑是否在查询中使用它们。

以下是一个示例配置：

SET hive.allow.udf.load.on.demand=true;

这个配置属性的默认值可能取决于 Hive 的版本，因此在使用时最好查阅相应版本的文档以获取准确的信息。

指定在运行 ANALYZE TABLE 语句时是否收集分区级别的统计信息。该配置主要影响 Hive 对表或分区进行统计信息收集时的粒度

hive.analyze.stmt.collect.partlevel.stats 是 Hive 中的一个配置属性，用于指定在运行 ANALYZE TABLE 语句时是否收集分区级别的统计信息。该配置主要影响 Hive 对表或分区进行统计信息收集时的粒度。

在 Hive 中，ANALYZE TABLE 语句用于收集关于表或分区的统计信息，以帮助优化查询计划。hive.analyze.stmt.collect.partlevel.stats 配置项可以设置是否在分区级别收集统计信息。如果设置为 true，将收集分区级别的统计信息；如果设置为 false，将只收集表级别的统计信息。

在 Hive 配置中，可以使用以下方式设置该属性：

-- 设置在运行 ANALYZE TABLE 语句时收集分区级别的统计信息
SET hive.analyze.stmt.collect.partlevel.stats=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.analyze.stmt.collect.partlevel.stats</name>
  <value>true</value>
</property>

请注意，在某些情况下，收集分区级别的统计信息可能会增加统计信息收集的时间和计算成本。根据实际表和查询的特性，可以根据性能需求和查询优化的需要来设置该配置项。

指定是否启用表数据的归档

hive.archive.enabled 是 Hive 中的一个配置属性，用于指定是否启用表数据的归档。当启用表数据归档时，Hive 将会对表的数据进行归档，以减少存储空间占用，同时保留原始数据的备份。

在 Hive 中，表数据归档可以通过在表上执行 ARCHIVE TABLE 命令来手动触发，也可以设置 hive.archive.enabled 为 true，使得 Hive 在插入新数据时自动进行表数据的归档。

-- 启用表数据的归档
SET hive.archive.enabled=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.archive.enabled</name>
  <value>true</value>
</property>

启用表数据归档后，Hive 将自动对表的旧数据进行压缩归档，以减少存储空间的使用。归档后的数据将被移动到一个特定的目录，而原始数据则保留在表的原始目录中。

请注意，启用表数据归档可能会影响查询性能，因为在查询过程中需要解压缩归档的数据。根据实际使用情况，可以根据性能和存储需求来决定是否启用表数据归档。

指定在使用 Apache Arrow 作为列存储格式时，批处理的大小（batch size）

hive.arrow.batch.size 是 Hive 中的一个配置属性，用于指定在使用 Apache Arrow 作为列存储格式时，批处理的大小（batch size）。Apache Arrow 是一种内存布局，用于在不同系统和编程语言之间高效传输大型数据集。

在 Hive 中，可以通过设置 hive.arrow.batch.size 来调整 Apache Arrow 批处理的大小。批处理的大小决定了在查询过程中一次性处理的数据块大小。

在 Hive 配置中，可以使用以下方式设置该属性：

-- 设置 Apache Arrow 批处理的大小
SET hive.arrow.batch.size=4096; -- 例如，将批处理大小设置为 4096 字节

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.arrow.batch.size</name>
  <value>4096</value> <!-- 例如，将批处理大小设置为 4096 字节 -->
</property>

请注意，适当调整 Apache Arrow 批处理的大小可能对查询性能产生影响，具体的最佳值取决于数据集的特性、系统配置以及查询模式。在实际应用中，可能需要根据性能测试和调整来选择合适的值。

指定 Apache Arrow 的根内存分配器（Root Allocator）的限制

hive.arrow.root.allocator.limit 是 Hive 中的一个配置属性，用于指定 Apache Arrow 的根内存分配器（Root Allocator）的限制。Apache Arrow 是一种列式存储格式，用于在不同系统和编程语言之间高效传输大型数据集。

在 Hive 中，可以通过设置 hive.arrow.root.allocator.limit 来限制 Apache Arrow 的根内存分配器可以使用的最大内存量。

在 Hive 配置中，可以使用以下方式设置该属性：

-- 设置 Apache Arrow 根内存分配器的限制
SET hive.arrow.root.allocator.limit=1073741824; -- 例如，将限制设置为 1 GB

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.arrow.root.allocator.limit</name>
  <value>1073741824</value> <!-- 例如，将限制设置为 1 GB -->
</property>

上述配置中，hive.arrow.root.allocator.limit 的值为 1073741824，表示根内存分配器的限制为 1 GB。

这个限制用于控制 Apache Arrow 在查询过程中使用的内存量，对于大型数据集或者内存资源有限的环境，可能需要根据实际情况进行调整。在调整时，建议进行性能测试，确保分配的内存量足够支持查询操作。

指定是否启用异步记录日志功能

hive.async.log.enabled 是 Hive 中的一个配置属性，用于指定是否启用异步记录日志功能。当启用异步日志记录时，Hive 将使用异步的方式将查询日志写入到日志文件中，而不是同步写入。

在 Hive 中，异步日志记录可以提高查询的性能，因为查询不需要等待日志写入完成才能继续执行。这对于处理大量查询的环境中特别有用，因为同步写入日志可能成为性能瓶颈。

在 Hive 配置中，可以使用以下方式设置 hive.async.log.enabled：

-- 启用异步记录日志
SET hive.async.log.enabled=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.async.log.enabled</name>
  <value>true</value>
</property>

上述配置中，hive.async.log.enabled 的值为 true，表示启用异步记录日志功能。

请注意，启用异步日志记录可能会对查询执行的日志信息产生一些延迟，因为日志写入是异步进行的。在实际应用中，可以根据性能需求和查询模式来决定是否启用异步记录日志。

指定 Hive ATSHook（ATS：Application Timeline Service）的队列容量

hive.ats.hook.queue.capacity 是 Hive 中的一个配置属性，用于指定 Hive ATSHook（ATS：Application Timeline Service）的队列容量。ATS 是 Hadoop 中的一个组件，用于记录和展示应用程序的执行时间线信息。

在 Hive 中，hive.ats.hook.queue.capacity 用于设置 ATS Hook 内部队列的容量，这个队列用于缓存发送到 ATS 的事件。通过设置队列容量，可以调整 Hive ATSHook 处理事件的性能和吞吐量。

在 Hive 配置中，可以使用以下方式设置 hive.ats.hook.queue.capacity：

-- 设置 Hive ATSHook 队列容量
SET hive.ats.hook.queue.capacity=10000; -- 例如，将队列容量设置为 10000

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.ats.hook.queue.capacity</name>
  <value>10000</value> <!-- 例如，将队列容量设置为 10000 -->
</property>

上述配置中，hive.ats.hook.queue.capacity 的值为 10000，表示设置 ATS Hook 内部队列的容量为 10000。

根据实际应用的需求，可以调整队列容量，确保 ATS Hook 能够处理并发送事件的性能和效率。注意，设置的容量应该考虑到系统的资源和负载，以避免队列溢出或性能瓶颈。

控制是否自动将 Map Join 优化应用于查询中的小表连接

hive.auto.convert.join 是 Hive 中的一个配置属性，用于控制是否自动将 Map Join 优化应用于查询中的小表连接。Map Join 是一种性能优化技术，通过将小表加载到内存中，以减少连接操作的开销。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.join：

-- 启用自动转换为 Map Join
SET hive.auto.convert.join=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.join</name>
  <value>true</value>
</property>

上述配置中，hive.auto.convert.join 的值为 true，表示启用自动转换为 Map Join。

当 hive.auto.convert.join 设置为 true 时，Hive 会尝试自动检测查询中的小表连接，并将其转换为 Map Join。Map Join 可以显著提高连接操作的性能，尤其是在一个表相对较小的情况下。然而，需要注意的是，自动启用 Map Join 也可能会导致内存消耗较大，因为小表需要加载到内存中。

如果不希望自动启用 Map Join，可以将 hive.auto.convert.join 设置为 false。

-- 禁用自动转换为 Map Join
SET hive.auto.convert.join=false;

通过根据查询的实际情况调整这个配置项，可以在性能和资源消耗之间进行权衡。

控制 Map Join 中哈希表的最大条目数

hive.auto.convert.join.hashtable.max.entries 是 Hive 中的一个配置属性，用于控制 Map Join 中哈希表的最大条目数。Map Join 是一种性能优化技术，通过将小表加载到内存中，以减少连接操作的开销。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.join.hashtable.max.entries：

-- 设置 Map Join 中哈希表的最大条目数
SET hive.auto.convert.join.hashtable.max.entries=100000; -- 例如，将最大条目数设置为 100,000

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.join.hashtable.max.entries</name>
  <value>100000</value> <!-- 例如，将最大条目数设置为 100,000 -->
</property>

上述配置中，hive.auto.convert.join.hashtable.max.entries 的值为 100000，表示 Map Join 中哈希表的最大条目数为 100,000。

通过调整这个配置项，可以控制 Map Join 中哈希表的大小，从而影响内存的消耗。在小表连接的场景中，适当调整这个值可以在性能和资源消耗之间进行平衡，确保查询性能得到优化，同时不超过系统内存的限制。

自动转换为 Map Join 时是否生成无条件的 Map Join 任务

hive.auto.convert.join.noconditionaltask 是 Hive 中的一个配置属性，用于控制在自动转换为 Map Join 时是否生成无条件的 Map Join 任务。Map Join 是一种性能优化技术，通过将小表加载到内存中，以减少连接操作的开销。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.join.noconditionaltask：

-- 禁用生成无条件的 Map Join 任务
SET hive.auto.convert.join.noconditionaltask=false;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.join.noconditionaltask</name>
  <value>false</value>
</property>

上述配置中，hive.auto.convert.join.noconditionaltask 的值为 false，表示不禁用生成无条件的 Map Join 任务。

当 hive.auto.convert.join.noconditionaltask 设置为 true 时，Hive 在自动转换为 Map Join 时，不会生成无条件的 Map Join 任务。这意味着只有在查询中明确需要 Map Join 的情况下才会生成 Map Join 任务。如果设置为 false，Hive 可能会生成无条件的 Map Join 任务，即使查询中未明确指定 Map Join。

通过调整这个配置项，可以根据查询的实际情况和性能需求来优化 Map Join 的生成。

自动转换为 Map Join 时生成无条件的 Map Join 任务的最大大小限制

hive.auto.convert.join.noconditionaltask.size 是 Hive 中的一个配置属性，用于控制在自动转换为 Map Join 时生成无条件的 Map Join 任务的最大大小限制。Map Join 是一种性能优化技术，通过将小表加载到内存中，以减少连接操作的开销。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.join.noconditionaltask.size：

-- 设置生成无条件的 Map Join 任务的最大大小限制
SET hive.auto.convert.join.noconditionaltask.size=100000000; -- 例如，将最大大小设置为 100,000,000 字节

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.join.noconditionaltask.size</name>
  <value>100000000</value> <!-- 例如，将最大大小设置为 100,000,000 字节 -->
</property>

上述配置中，hive.auto.convert.join.noconditionaltask.size 的值为 100000000，表示生成无条件的 Map Join 任务的最大大小限制为 100,000,000 字节。

当查询中的小表的大小超过这个限制时，Hive 将不会自动生成无条件的 Map Join 任务。这有助于防止在处理较大的小表时生成大量的 Map Join 任务，可能导致性能下降和资源消耗增加。

通过调整这个配置项，可以根据查询的实际情况和性能需求来控制生成无条件的 Map Join 任务的大小限制。

自动转换为 Map Join 时，对于较大的小表是否进行 Map Join Shuffle

hive.auto.convert.join.shuffle.max.size 是 Hive 中的一个配置属性，用于控制在自动转换为 Map Join 时，对于较大的小表是否进行 Map Join Shuffle。Map Join 是一种性能优化技术，通过将小表加载到内存中，以减少连接操作的开销。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.join.shuffle.max.size：

-- 设置 Map Join Shuffle 的最大大小
SET hive.auto.convert.join.shuffle.max.size=1000000000; -- 例如，将最大大小设置为 1,000,000,000 字节

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.join.shuffle.max.size</name>
  <value>1000000000</value> <!-- 例如，将最大大小设置为 1,000,000,000 字节 -->
</property>

上述配置中，hive.auto.convert.join.shuffle.max.size 的值为 1000000000，表示 Map Join Shuffle 的最大大小为 1,000,000,000 字节。

当小表的大小超过这个限制时，Hive 将不会执行 Map Join Shuffle，而是采用其他连接方式。这有助于防止在处理较大的小表时执行昂贵的 Map Join Shuffle 操作，可能导致性能下降和资源消耗增加。

通过调整这个配置项，可以根据查询的实际情况和性能需求来控制执行 Map Join Shuffle 的大小限制。

是否使用非暂存模式（non-staged mode）来执行 Map Join 操作

hive.auto.convert.join.use.nonstaged 是 Hive 中的一个配置属性，用于指定是否使用非暂存模式（non-staged mode）来执行 Map Join 操作。Map Join 是一种性能优化技术，通过将小表加载到内存中，以减少连接操作的开销。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.join.use.nonstaged：

-- 启用非暂存模式执行 Map Join
SET hive.auto.convert.join.use.nonstaged=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.join.use.nonstaged</name>
  <value>true</value>
</property>

上述配置中，hive.auto.convert.join.use.nonstaged 的值为 true，表示启用非暂存模式执行 Map Join。

当设置为 true 时，Hive 将尝试使用非暂存模式执行 Map Join 操作。在非暂存模式下，Hive 不需要将 Map Join 的中间结果保存到暂存目录中，而是直接在内存中执行连接操作。这有助于减少磁盘 I/O 和暂存操作的开销，提高性能。

请注意，启用非暂存模式可能会对内存的要求产生影响，因为中间结果需要保存在内存中。因此，需要根据实际内存资源和查询需求来调整这个配置项。在一些情况下，非暂存模式可以显著提高 Map Join 的性能。

是否自动将连接操作转换为 Sort-Merge Join

hive.auto.convert.sortmerge.join 是 Hive 中的一个配置属性，用于控制是否自动将连接操作转换为 Sort-Merge Join。Sort-Merge Join 是一种连接操作的优化技术，通过对连接的两个表进行排序，然后合并有序的数据来执行连接操作。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.sortmerge.join：

-- 启用自动转换为 Sort-Merge Join
SET hive.auto.convert.sortmerge.join=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.sortmerge.join</name>
  <value>true</value>
</property>

上述配置中，hive.auto.convert.sortmerge.join 的值为 true，表示启用自动转换为 Sort-Merge Join。

当 hive.auto.convert.sortmerge.join 设置为 true 时，Hive 会尝试自动检测查询中的连接操作，并将其转换为 Sort-Merge Join。Sort-Merge Join 可以在某些情况下提高连接操作的性能，尤其是在连接的两个表都已经按连接键排序的情况下。

如果不希望自动启用 Sort-Merge Join，可以将 hive.auto.convert.sortmerge.join 设置为 false：

-- 禁用自动转换为 Sort-Merge Join
SET hive.auto.convert.sortmerge.join=false;

通过根据查询的实际情况调整这个配置项，可以在性能和资源消耗之间进行权衡。

指定在自动转换为 Sort-Merge Join 时，对于大表的选择策略

hive.auto.convert.sortmerge.join.bigtable.selection.policy 是 Hive 中的一个配置属性，用于指定在自动转换为 Sort-Merge Join 时，对于大表的选择策略。Sort-Merge Join 是一种连接操作的优化技术，通过对连接的两个表进行排序，然后合并有序的数据来执行连接操作。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.sortmerge.join.bigtable.selection.policy：

-- 设置 Sort-Merge Join 对于大表的选择策略
SET hive.auto.convert.sortmerge.join.bigtable.selection.policy=org.apache.hadoop.hive.ql.optimizer.physical.SmbMapJoinBigTableSelectorForAutoGen;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.sortmerge.join.bigtable.selection.policy</name>
  <value>org.apache.hadoop.hive.ql.optimizer.physical.SmbMapJoinBigTableSelectorForAutoGen</value>
</property>

上述配置中，hive.auto.convert.sortmerge.join.bigtable.selection.policy 的值是一个类名，用于指定 Sort-Merge Join 对于大表的选择策略。在示例中，使用了 org.apache.hadoop.hive.ql.optimizer.physical.SmbMapJoinBigTableSelectorForAutoGen。

这个配置项影响 Sort-Merge Join 在自动转换时对于大表的选择策略，不同的选择策略可能对查询性能产生影响。在大多数情况下，使用默认的选择策略即可，但根据实际查询的特性和性能需求，可能需要进行调整。

请注意，具体的选择策略类名可能会根据 Hive 版本而有所不同，建议查阅相应版本的 Hive 文档以获取正确的类名。

自动转换为 Sort-Merge Join 时，对于 reduce 端的选择策略

hive.auto.convert.sortmerge.join.reduce.side 是 Hive 中的一个配置属性，用于指定在自动转换为 Sort-Merge Join 时，对于 reduce 端的选择策略。Sort-Merge Join 是一种连接操作的优化技术，通过对连接的两个表进行排序，然后合并有序的数据来执行连接操作。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.sortmerge.join.reduce.side：

-- 设置 Sort-Merge Join 对于 reduce 端的选择策略
SET hive.auto.convert.sortmerge.join.reduce.side=THE_BIGGEST_TABLE;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.sortmerge.join.reduce.side</name>
  <value>THE_BIGGEST_TABLE</value>
</property>

上述配置中，hive.auto.convert.sortmerge.join.reduce.side 的值为 THE_BIGGEST_TABLE，表示选择 Sort-Merge Join 时优先选择较大的表作为 reduce 端。

这个配置项影响 Sort-Merge Join 在自动转换时对于 reduce 端的选择策略，不同的选择策略可能对查询性能产生影响。可选的值包括：

• THE_BIGGEST_TABLE：优先选择较大的表作为 reduce 端。
• THE_SMALLEST_TABLE：优先选择较小的表作为 reduce 端。

在大多数情况下，使用默认的选择策略即可，但根据实际查询的特性和性能需求，可能需要进行调整。选择适当的策略有助于提高查询性能。

是否在 Sort-Merge Join 自动转换为 Map Join 时进行优化

hive.auto.convert.sortmerge.join.to.mapjoin 是 Hive 中的一个配置属性，用于指定是否在 Sort-Merge Join 自动转换为 Map Join 时进行优化。Sort-Merge Join 和 Map Join 都是连接操作的优化技术，用于提高查询性能。

在 Hive 配置中，可以使用以下方式设置 hive.auto.convert.sortmerge.join.to.mapjoin：

-- 启用 Sort-Merge Join 自动转换为 Map Join 时的优化
SET hive.auto.convert.sortmerge.join.to.mapjoin=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.convert.sortmerge.join.to.mapjoin</name>
  <value>true</value>
</property>

上述配置中，hive.auto.convert.sortmerge.join.to.mapjoin 的值为 true，表示启用 Sort-Merge Join 自动转换为 Map Join 时的优化。

当设置为 true 时，Hive 将尝试在执行 Sort-Merge Join 自动转换为 Map Join 时进行一些优化。这样可以提高查询性能，尤其是在一些特定情况下，Map Join 的性能可能更好。

如果不希望进行这种优化，可以将 hive.auto.convert.sortmerge.join.to.mapjoin 设置为 false：

-- 禁用 Sort-Merge Join 自动转换为 Map Join 时的优化
SET hive.auto.convert.sortmerge.join.to.mapjoin=false;

通过根据查询的实际情况和性能需求调整这个配置项，可以在 Sort-Merge Join 和 Map Join 之间选择最优的连接操作。

指定自动进度报告的超时时间

hive.auto.progress.timeout 是 Hive 中的一个配置属性，用于指定自动进度报告的超时时间。Hive 中的查询可以生成自动进度报告，以便用户了解查询的执行进度。hive.auto.progress.timeout 允许用户设置在多长时间内生成自动进度报告。

在 Hive 配置中，可以使用以下方式设置 hive.auto.progress.timeout：

-- 设置自动进度报告的超时时间（单位：毫秒）
SET hive.auto.progress.timeout=60000; -- 例如，将超时时间设置为 60 秒

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.auto.progress.timeout</name>
  <value>60000</value> <!-- 例如，将超时时间设置为 60 秒 -->
</property>

上述配置中，hive.auto.progress.timeout 的值为 60000，表示自动进度报告的超时时间为 60 秒。

这个配置项的作用是限制生成自动进度报告的时间，防止长时间运行的查询导致不必要的报告频率。通过调整这个配置项，可以根据实际需求平衡进度报告的实时性和系统资源的消耗。

是否在自动生成的列别名中包含函数名

hive.autogen.columnalias.prefix.includefuncname 是 Hive 中的一个配置属性，用于指定是否在自动生成的列别名中包含函数名。在 Hive 中，当执行类似于 SELECT * FROM table 的查询时，如果列没有指定别名，Hive 会自动生成列别名。

在 Hive 配置中，可以使用以下方式设置 hive.autogen.columnalias.prefix.includefuncname：

-- 设置是否在自动生成的列别名中包含函数名
SET hive.autogen.columnalias.prefix.includefuncname=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.autogen.columnalias.prefix.includefuncname</name>
  <value>true</value>
</property>

上述配置中，hive.autogen.columnalias.prefix.includefuncname 的值为 true，表示在自动生成的列别名中包含函数名。

当设置为 true 时，如果查询中的列是通过函数生成的，生成的列别名将包含函数名。这有助于提高生成的列别名的唯一性，避免潜在的列名冲突。

如果设置为 false，则生成的列别名不包含函数名。

根据实际需求，可以调整这个配置项来影响生成的列别名的格式。

指定生成的列别名中是否包含标签（label）信息

hive.autogen.columnalias.prefix.label 是 Hive 中的一个配置属性，用于指定生成的列别名中是否包含标签（label）信息。在 Hive 中，当执行类似于 SELECT * FROM table 的查询时，如果列没有指定别名，Hive 会自动生成列别名。

在 Hive 配置中，可以使用以下方式设置 hive.autogen.columnalias.prefix.label：

-- 设置生成的列别名中是否包含标签信息
SET hive.autogen.columnalias.prefix.label=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.autogen.columnalias.prefix.label</name>
  <value>true</value>
</property>

上述配置中，hive.autogen.columnalias.prefix.label 的值为 true，表示生成的列别名中包含标签信息。

当设置为 true 时，生成的列别名将包含标签信息，以提高列别名的唯一性。这有助于避免潜在的列名冲突。

如果设置为 false，则生成的列别名不包含标签信息。

根据实际需求，可以调整这个配置项来影响生成的列别名的格式。

指定是否在 Avro 数据的读取过程中跳过对时间戳的转换

hive.avro.timestamp.skip.conversion 是 Hive 中的一个配置属性，用于指定是否在 Avro 数据的读取过程中跳过对时间戳的转换。Avro 是一种数据序列化格式，用于将数据存储在文件中，支持复杂的数据结构。

在 Hive 配置中，可以使用以下方式设置 hive.avro.timestamp.skip.conversion：

-- 设置是否在 Avro 数据读取中跳过时间戳的转换
SET hive.avro.timestamp.skip.conversion=true;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.avro.timestamp.skip.conversion</name>
  <value>true</value>
</property>

上述配置中，hive.avro.timestamp.skip.conversion 的值为 true，表示在 Avro 数据的读取过程中跳过对时间戳的转换。

当设置为 true 时，Hive 在读取 Avro 数据时将不会执行时间戳的转换操作。这可能会在一些情况下提高读取性能，尤其是当数据中包含大量时间戳字段时。

如果设置为 false，则 Hive 会执行默认的时间戳转换操作。

根据实际需求，可以调整这个配置项来影响 Avro 数据读取时的时间戳转换行为。

B

指定二进制列（Binary data type）的最大长度

hive.binary.record.max.length 是 Hive 中的一个配置属性，用于指定二进制列（Binary data type）的最大长度。二进制列通常用于存储二进制数据，如图片、音频等。

在 Hive 配置中，可以使用以下方式设置 hive.binary.record.max.length：

-- 设置二进制列的最大长度
SET hive.binary.record.max.length=1048576; -- 例如，将最大长度设置为 1 MB

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.binary.record.max.length</name>
  <value>1048576</value> <!-- 例如，将最大长度设置为 1 MB -->
</property>

上述配置中，hive.binary.record.max.length 的值为 1048576，表示二进制列的最大长度为 1 MB。

这个配置项用于限制二进制列的大小，防止存储过大的二进制数据。在某些场景下，可以通过调整这个配置项来限制二进制列的大小，以适应存储和性能需求。

请根据实际需求和系统资源来调整这个配置项。

指定支持的 Blob Storage（二进制大对象存储）的URL方案（scheme）

hive.blobstore.supported.schemes 是 Hive 中的一个配置属性，用于指定支持的 Blob Storage（二进制大对象存储）的URL方案（scheme）。Blob Storage通常用于存储大的二进制对象，例如图像、音频或视频文件。

在 Hive 配置中，可以使用以下方式设置 hive.blobstore.supported.schemes：

-- 设置支持的 Blob Storage URL 方案
SET hive.blobstore.supported.schemes=s3,wasb,adl,abfs;

或者在 Hive 的配置文件（如 hive-site.xml）中添加：

<property>
  <name>hive.blobstore.supported.schemes</name>
  <value>s3,wasb,adl,abfs</value>
</property>

上述配置中，hive.blobstore.supported.schemes 的值为 s3,wasb,adl,abfs，表示支持的 Blob Storage URL 方案包括S3、Wasb（Windows Azure Storage Blob）、ADL（Azure Data Lake）、ABFS（Azure Blob File System）。

这个配置项允许您指定Hive支持的Blob Storage的URL方案，以便在Hive中访问和处理存储在Blob Storage中的数据。确保根据您的实际使用情况和存储配置，设置适当的Blob Storage URL方案。

请注意，配置的值取决于您的Blob Storage提供商和存储设置。文章来源地址https://www.toymoban.com/news/detail-777881.html

到了这里，关于Hive之set参数大全-1的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！