SparkException: Dynamic partition strict mode requires at least one static partition column

这篇具有很好参考价值的文章主要介绍了SparkException: Dynamic partition strict mode requires at least one static partition column。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

创建表后却无法写入数据?
dynamic partition strict mode requires at least one static partition column.,Java开发,# Java大数据开发,# 大数据集群,hive,spark,scala,hadoop
报错内容:== Exception in thread “main” org.apache.spark.SparkException: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict
at org.apache.spark.sql.hive.execution.InsertIntoHiveTable.processInsert(InsertIntoHiveTable.scala:157) ==

原因:hive使用了分区,并且是动态分区

动态分区:比如以时间作为分区,那么分区就是每天都在增加,即是动态分区

因为要做动态分区, 所以要先设定partition参数
由于default是false, 需要额外下指令打开这个开关
default是strick, 表示不允许动态分区, 所以要改成nostrick

解决:设置代码中的参数

    // 做动态分区, 所以要先设定partition参数
    // default是false, 需要额外下指令打开这个开关
    ss.sqlContext.setConf("hive.exec.dynamic.partition;","true");
    ss.sqlContext.setConf("hive.exec.dynamic.partition.mode","nonstrict");

Tips:在获取连接时指定config,或者连接后设置setConf均可。
dynamic partition strict mode requires at least one static partition column.,Java开发,# Java大数据开发,# 大数据集群,hive,spark,scala,hadoop文章来源地址https://www.toymoban.com/news/detail-847724.html

到了这里,关于SparkException: Dynamic partition strict mode requires at least one static partition column的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MySQL运维实战(4.4) SQL_MODE之STRICT_TRANS_TABLES和STRICT_ALL_TABLES

    作者:俊达 在MySQL中,STRICT模式主要用于控制数据库的行为,有助于保持数据的一致性和完整性,特别是在涉及到数据写入、更新和其他操作时的约束。 如果设置STRICT模式,MySQL会更加严格地执行数据写入和更新等操作,当数据不符合字段定义或者违反了约束条件,MySQL将抛

    2024年01月18日
    浏览(58)
  • Kibana-8.1.2:This Elastic installation has strict security requirements

    Windows 10 运行 Kibana-8.1.2 (一个针对 ElasticSearch 的开源分析及可视化平台,用来搜索、查看交互存储在 ElasticSearch 索引中的数据) 不同版本官方下载地址: Past Releases of Elastic Stack Software | Elastic Looking for a past release of Elasticsearch, Logstash, Kibana, es-hadoop, Shield, Marvel, or our language clie

    2024年02月02日
    浏览(32)
  • mmdetection ValueError: need at least one array to concatenate解决方案

    在mmdetection中有时候训练模型会出现ValueError: need at least one array to concatenate的错误,详情如下图所示。 很多人都说是mmdet/dataset下coco.py或voc.py中CLASSES设置与数据集对应不上,博主不以为然。因为在mmdetection2中,不需要到mmdet/dataset中修改CLASSES,只需要在训练配置文件中中设置一

    2023年04月11日
    浏览(50)
  • You must install at least one postgresql-client-<version> package

    使用主机上的映射端口来连接到 PostgreSQL 数据库。例如,使用以下命令连接到数据库: 出现下面的问题: 分析: 如果您在运行 psql 命令时遇到错误消息 You must install at least one postgresql-client-version package ,这意味着您的系统缺少 PostgreSQL 客户端工具。 要解决这个问题,您需要

    2024年02月10日
    浏览(36)
  • No variants found for ‘:app‘. Check build files to ensure at least one variant exists. at: 2022.2.1

    Android Studio 2022.2.1项目迁移报错1、No variants found for \\\':app\\\'. Check build files to ensure at least one variant exists. at:,2、manifest merger failed with multiple errors see logs,3、module java.base does not “opens java.io“ to unnamed module。 PS:(2022.2.1)新版AS。。。 1,JDK17 2,AGP8.0,我仅更为7.1+ Android SDK Bui

    2024年02月07日
    浏览(50)
  • JAVA入门大坑:expected at least 1 bean which qualifies as autowire candidate. Dependency annotations

    Exception encountered during context initialization - cancelling refresh attempt: org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name \\\'helloWord\\\': Unsatisfied dependency expressed through field \\\'testMapper\\\': Error creating bean with name \\\'testMapperImpl\\\': Unsatisfied dependency expressed through field \\\'testDao\\\': No

    2024年02月15日
    浏览(43)
  • FPGA编译报错内容[Common 17-55] ‘set_property‘ expects at least one object.

    FPGA代码编译时报错 编译报错内容[Common 17-55] ‘set_property’ expects at least one object. 当一个引脚存在于xdc文件中,但是工程的顶层模块的引脚里没有这个引脚时,就会报出这个错误 查找报错的这个引脚是否存在于工程的顶层模块的引脚列表中, 最大的可能是xdc中的引脚名与工程

    2024年02月07日
    浏览(43)
  • No variants found for ‘:app‘. Check build files to ensure at least one variant exists.

            android studio更新后,由于android studio的要求,gradle-wrapper.properties的distributionUrl由6.1.1升级到了7.2。如下所示:         会遭遇“No variants found for \\\':app\\\'. Check build files to ensure at least one variant exists.”的提示。         其实,我自己解决该问题,主要处理了2个地方。  

    2024年02月11日
    浏览(49)
  • 运行错误:view size is not compatible with input tensor‘s size and stride (at least

    python运行报错: view size is not compatible with input tensor\\\'s size and stride (at least one dimension spans acros 出现这个原因主要就是因为v iew()需要 Tensor 中的元素地址是连续的,因为可能出现Tensor不连续的情况,修改为: 在.view前加 .contiguous() ,使其变为连续就ok。    

    2024年02月11日
    浏览(38)
  • Java No qualifying bean of type * available:expected at least * bean which qualifies as autowire问题解决

    org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type \\\'com.xudongbase.user.dubbo.service.userDubboService\\\' available: expected at least 1 bean which qualifies as autowire candidate. Dependency annotations: {} 1、使用@AllArgsContructor注解进行自动装配时,默认是以@Autowired注解装配的,但是其中有一

    2024年02月07日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包