1. Toy模板网首页
  2. > Toy博客

SparkException: Dynamic partition strict mode requires at least one static partition column

7月前 作者：NBA首席形象大使阿坤 分类：Toy博客 阅读(56) 违法举报

这篇具有很好参考价值的文章主要介绍了SparkException: Dynamic partition strict mode requires at least one static partition column。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

创建表后却无法写入数据？
dynamic partition strict mode requires at least one static partition column.,Java开发,# Java大数据开发,# 大数据集群,hive,spark,scala,hadoop
报错内容：== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict
at org.apache.spark.sql.hive.execution.InsertIntoHiveTable.processInsert(InsertIntoHiveTable.scala:157) ==

原因：hive使用了分区，并且是动态分区

动态分区：比如以时间作为分区，那么分区就是每天都在增加，即是动态分区

因为要做动态分区, 所以要先设定partition参数
由于default是false, 需要额外下指令打开这个开关
default是strick, 表示不允许动态分区, 所以要改成nostrick

解决：设置代码中的参数

    // 做动态分区, 所以要先设定partition参数
    // default是false, 需要额外下指令打开这个开关
    ss.sqlContext.setConf("hive.exec.dynamic.partition;","true");
    ss.sqlContext.setConf("hive.exec.dynamic.partition.mode","nonstrict");

Tips：在获取连接时指定config，或者连接后设置setConf均可。
dynamic partition strict mode requires at least one static partition column.,Java开发,# Java大数据开发,# 大数据集群,hive,spark,scala,hadoop文章来源地址https://www.toymoban.com/news/detail-847724.html

到了这里，关于SparkException: Dynamic partition strict mode requires at least one static partition column的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • MySQL运维实战(4.4) SQL_MODE之STRICT_TRANS_TABLES和STRICT_ALL_TABLES

    作者：俊达 在MySQL中，STRICT模式主要用于控制数据库的行为，有助于保持数据的一致性和完整性，特别是在涉及到数据写入、更新和其他操作时的约束。 如果设置STRICT模式，MySQL会更加严格地执行数据写入和更新等操作，当数据不符合字段定义或者违反了约束条件，MySQL将抛

    2024年01月18日
    浏览(64)
  • Kibana-8.1.2：This Elastic installation has strict security requirements

    Kibana-8.1.2：This Elastic installation has strict security requirements

    Windows 10 运行 Kibana-8.1.2 (一个针对 ElasticSearch 的开源分析及可视化平台，用来搜索、查看交互存储在 ElasticSearch 索引中的数据) 不同版本官方下载地址： Past Releases of Elastic Stack Software | Elastic Looking for a past release of Elasticsearch, Logstash, Kibana, es-hadoop, Shield, Marvel, or our language clie

    2024年02月02日
    浏览(33)
  • mmdetection ValueError: need at least one array to concatenate解决方案

    mmdetection ValueError: need at least one array to concatenate解决方案

    在mmdetection中有时候训练模型会出现ValueError: need at least one array to concatenate的错误，详情如下图所示。 很多人都说是mmdet/dataset下coco.py或voc.py中CLASSES设置与数据集对应不上，博主不以为然。因为在mmdetection2中，不需要到mmdet/dataset中修改CLASSES，只需要在训练配置文件中中设置一

    2023年04月11日
    浏览(51)
  • You must install at least one postgresql-client-＜version＞ package

    You must install at least one postgresql-client-＜version＞ package

    使用主机上的映射端口来连接到 PostgreSQL 数据库。例如，使用以下命令连接到数据库： 出现下面的问题： 分析： 如果您在运行 psql 命令时遇到错误消息 You must install at least one postgresql-client-version package ，这意味着您的系统缺少 PostgreSQL 客户端工具。 要解决这个问题，您需要

    2024年02月10日
    浏览(38)

  • No variants found for ‘:app‘. Check build files to ensure at least one variant exists. at: 2022.2.1

    Android Studio 2022.2.1项目迁移报错1、No variants found for \\\':app\\\'. Check build files to ensure at least one variant exists. at:，2、manifest merger failed with multiple errors see logs，3、module java.base does not “opens java.io“ to unnamed module。 PS：（2022.2.1）新版AS。。。 1，JDK17 2，AGP8.0，我仅更为7.1+ Android SDK Bui

    2024年02月07日
    浏览(52)

  • FPGA编译报错内容[Common 17-55] ‘set_property‘ expects at least one object.

    FPGA代码编译时报错 编译报错内容[Common 17-55] ‘set_property’ expects at least one object. 当一个引脚存在于xdc文件中，但是工程的顶层模块的引脚里没有这个引脚时，就会报出这个错误 查找报错的这个引脚是否存在于工程的顶层模块的引脚列表中， 最大的可能是xdc中的引脚名与工程

    2024年02月07日
    浏览(44)

  • JAVA入门大坑：expected at least 1 bean which qualifies as autowire candidate. Dependency annotations

    Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name \\\'helloWord\\\': Unsatisfied dependency expressed through field \\\'testMapper\\\': Error creating bean with name \\\'testMapperImpl\\\': Unsatisfied dependency expressed through field \\\'testDao\\\': No

    2024年02月15日
    浏览(44)
  • 运行错误：view size is not compatible with input tensor‘s size and stride (at least

    运行错误：view size is not compatible with input tensor‘s size and stride (at least

    python运行报错： view size is not compatible with input tensor\\\'s size and stride (at least one dimension spans acros 出现这个原因主要就是因为v iew()需要 Tensor 中的元素地址是连续的，因为可能出现Tensor不连续的情况，修改为： 在.view前加 .contiguous（） ，使其变为连续就ok。    

    2024年02月11日
    浏览(41)
  • No variants found for ‘:app‘. Check build files to ensure at least one variant exists.

    No variants found for ‘:app‘. Check build files to ensure at least one variant exists.

            android studio更新后，由于android studio的要求，gradle-wrapper.properties的distributionUrl由6.1.1升级到了7.2。如下所示：         会遭遇“No variants found for \\\':app\\\'. Check build files to ensure at least one variant exists.”的提示。         其实，我自己解决该问题，主要处理了2个地方。  

    2024年02月11日
    浏览(51)

  • Java No qualifying bean of type * available:expected at least * bean which qualifies as autowire问题解决

    org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type \\\'com.xudongbase.user.dubbo.service.userDubboService\\\' available: expected at least 1 bean which qualifies as autowire candidate. Dependency annotations: {} 1、使用@AllArgsContructor注解进行自动装配时，默认是以@Autowired注解装配的，但是其中有一

    2024年02月07日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包