Hive插入数据警告:Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions

这篇具有很好参考价值的文章主要介绍了Hive插入数据警告:Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。



1、问题描述


启动Hadoop,使用hiveserver2启动Hive的JDBC服务并使用IDE连接到Hive,创建表成功,但是INSERT插入数据时经过长时间加载后无法得到预期结果,插入不成功。IDE最终也会提示错误,但仅仅是一个网络异常。Linux控制台显示警告:

WARNINGHive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
Query ID = root_20231112140522_fda3dd73-cfa3-4f62-a925-aa02cc107526
Total jobs = 3
Launching Job 1 out of 3
Number of reduce tasks is set to 0 since there's no reduce operator

然后使用hive命令换为Hive的控制台操作,结果依旧如此

hive-on-mr is deprecated in hive 2 and may not be available in the future ve,# Hadoop及生态圈,# Hive,# 数据湖仓,hive,mr,hadoop

2、原因分析


经过分析警告翻译:

Hive-on-MRHive 2中已弃用,并且在未来版本中可能不可用。考虑使用不同的执行引擎(例如Spark、Tez)或使用Hive 1.x版本

我们发现,这就很明显了,说明Hive在2.x版本中已经不支持MapReduce了,让你换为Spark或Tex

然而,很多小伙伴都是本地测试时使用的INSERT,更换Spark、Tez可不是那么容易;实际工作中根据生产环境需要可直接进行引擎修改,甚至都不用你修改,底层自动优化自动选择执行引擎

那我要是就不想换,你还能不让我不用MapReduce了?

3、问题解决


经过查找资料,网友们发现将Hive设置成本地模式来执行任务允许你使用MapReduce

1) 临时设置Hive本地模式:

set hive.exec.mode.local.auto=true;

2) 永久设置Hive本地模式:

修改Hive配置文件hive-site.xml,添加如下属性配置:

<property>
    <name>hive.exec.mode.local.auto</name>
    <value>true</value>
</property>

修改配置后需要重启Hive

3) 验证

再次执行INSERT操作,很快就能完成:

hive-on-mr is deprecated in hive 2 and may not be available in the future ve,# Hadoop及生态圈,# Hive,# 数据湖仓,hive,mr,hadoop

HDFS数据也能写入:

hive-on-mr is deprecated in hive 2 and may not be available in the future ve,# Hadoop及生态圈,# Hive,# 数据湖仓,hive,mr,hadoop文章来源地址https://www.toymoban.com/news/detail-761971.html

到了这里,关于Hive插入数据警告:Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hive on spark hql 插入数据报错 Failed to create Spark client for Spark session Error code 30041

    离线数仓 hive on spark 模式,hive 客户端 sql 插入数据报错 Failed to execute spark task, with exception \\\'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 50cec71c-2636-4d99-8de2-a580ae3f1c58)\\\' FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed t

    2024年02月14日
    浏览(54)
  • 解决使用echarts时警告There is a chart instance already initialize on the dom.的两种方法

    第一种 使用dispose()方法清除实例 第二种 使用 echarts.getInstanceByDom()方法 echarts.getInstanceByDom()这个方法用来获取Dom容器上的实例,如果存在实例就直接使用已存在的实例进行编辑,如果没有就创建新实例进行编辑。

    2024年02月13日
    浏览(49)
  • 【大数据技术】Hive on spark 与Spark on hive 的区别与联系

    【大数据技术】Hive on spark 与Spark on hive 的区别与联系 Hive on Spark Hive 既作为存储元数据又负责sql的解析优化,遵守HQL语法,执行引擎变成了spark,底层由spark负责RDD操作 Spark on Hive Hive只作为存储元数据,Spark负责sql的解析优化,遵守spark sql 语法,底层由spark负责RDD操作

    2024年02月15日
    浏览(64)
  • hive建表,与插入数据

    思路,hive导入分区表,只能通过临时表导入。 固建立临时表(不分区),导入数据到临时表,创建分区表,通过【insert 分区表 select 临时表】 导入分区表 打开hue或者直接hive ----------------------------- 创建分区表 ----------------------------- 外部表external 以日期进行分区partitioned 数据

    2024年02月10日
    浏览(44)
  • 【大数据】Hive 表中插入多条数据

    在 Hive 中,我们可以使用 INSERT INTO 语句向表中插入数据。当我们需要插入多条数据时,有多种方式可以实现。本文将介绍如何在 Hive 表中插入多条数据,并提供相应的代码示例。 最简单的方式是使用单个 INSERT INTO 语句插入多条数据。我们可以使用值列表的方式将多条数据一

    2024年02月12日
    浏览(44)
  • Hive创建分区表并插入数据

    业务中经常会遇到这种需求:数据每天全量更新,但是要求月底将数据单独保存一份以供后期查询某月节点的信息。这时就要考虑用到Hive的分区表实现,即按照月份创建分区表,相当于新的月份数据保存在新表,进而实现保存了历史数据。 分区表的创建本质是在HDFS创建了一

    2024年02月07日
    浏览(50)
  • Hive(19):DML之Insert插入数据

    1 背景:RDBMS中insert使用(insert+values) 在MySQL这样的RDBMS中,通常是insert+values的方式来向表插入数据,并且速度很快。这也是RDBMS中插入数据的核心方式。 假如说对Hive的定位不清,把Hive当成RDBMS来使用,也使用insert+values的方式插入数据,会如何呢? 你会发现执行过程非常非

    2024年02月13日
    浏览(68)
  • Hive insert插入数据与with子查询

    insert into 与 insert overwrite 都可以向hive表中插入数据,但是insert into直接追加到表中数据的尾部,而insert overwrite会重写数据,既先进行删除,再写入 注意:如果存在分区的情况,insert overwrite只重写当前分区数据,不会全部重写 当在hive中同时使用insert into(overwrite) table xx 与wi

    2024年02月03日
    浏览(44)
  • ‘authorizationStatus‘ is deprecated: first deprecated in iOS 14.0

    ‘authorizationStatus’ is deprecated: first deprecated in iOS 14.0 Replace ‘authorizationStatus’ with ‘authorizationStatus’ 我们的app系统最低支持ios14.0 出问题的代码: 修改后的代码:

    2024年02月16日
    浏览(51)
  • Hive切换引擎(MR、Tez、Spark)

    2024年02月20日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包