1. Toy模板网首页
  2. > Toy博客

HiveOnSpark报错Failed toexecutespark taskwithexceptionorg.apache.hadoop.hive.ql.metadata.HiveException

9月前 作者：大个考山药 分类：Toy博客 阅读(33) 违法举报

这篇具有很好参考价值的文章主要介绍了HiveOnSpark报错Failed toexecutespark taskwithexceptionorg.apache.hadoop.hive.ql.metadata.HiveException。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

如果在运行Hive时使用Spark引擎，但是却报了以下错误：

Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session xxx)'
FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spark client for Spark session xxx

翻译：未能执行spark任务，无法为Spark会话创建Spark客户端

大概率是因为：没有配置SPARK_DIST_CLASSPATH

具体操作如下：

打开 spark目录  vim conf/spark-env.sh

并输入如下内容：

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

注意hadoop环境变量要提前配置好；

这行语句解释为：Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面信息，Spark就只能读写本地数据，无法读写HDFS数据，从而引起报错。

如果对您有帮助，不妨点个赞，收藏一下哦！文章来源地址https://www.toymoban.com/news/detail-510105.html

到了这里，关于HiveOnSpark报错Failed toexecutespark taskwithexceptionorg.apache.hadoop.hive.ql.metadata.HiveException的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask

    hive报错——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask

    今天向分区表插入数据 insert into table--------的时候 执行完报错了:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.StatsTask 重启了电脑也没用， 修改了yarn-site.xml和mapred-site.xml增加yarn和mapreduce可用内存都没用 然后同学让我加了一句话 set set hive.stats.column.autogather=false  

    2024年02月08日
    浏览(44)
  • hive报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

    hive报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

    使用hive创建表的时候报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.net.ConnectException Call From node01/192.168.126.100 to node01:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/ha

    2024年02月09日
    浏览(49)
  • Maven报错：Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile之解决方法

    Maven报错：Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile之解决方法

            小编在使用maven工具进行项目编译时，报出了下面的错误： 方法一： 1、找到settings ---Build，Excution，Deployment --- Compiler---java compiler ：  2、可能报错的地方：Project Structure中 ，  project、moudle和SDKs都要检查： 修改完成之后重新进行 compiler，显示成功，最重要的就是

    2024年02月11日
    浏览(60)

  • idea编译maven项目报错：Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.3.1

    Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.3.1报错原因是maven版本过高导致。 笔者idea 2022.3版本，jdk1.8，maven用的3.9，在编译的时候，报上面这个错； 项目中maven-plugin版本不匹配，可以调整自己的本地maven版本解决此问题。我是把自己的maven版本降低到3.8.1，编译通

    2024年02月08日
    浏览(64)

  • idea报错：[ERROR] Failed to execute goal org.apache.maven.plugins_maven-compiler-plugin_3.11.0_compile

    问题描述 在idea中打包springboot项目时报错： [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.11.0:compile (default-compile) on project helloworld: Fatal error compiling: 无效的标记: --release - 原因分析 maven-compliler-plugin版本与maven版本不一致，Maven版本太低或maven-compiler-plugin版本过高

    2024年02月13日
    浏览(61)

  • hive插入数据后报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

    hive 插入数据的时候，不能直接运行，报错 错误原因： namenode内存空间不够，JVM剩余内存空间不够新job运行所致 错误提示: Starting Job = job_1594085668614_0006, Tracking URL = http://kudu:8088/proxy/application_1594085668614_0006/ Kill Command = /root/soft/hadoop-3.2.1/bin/mapred job -kill job_1594085668614_0006 Hadoop

    2023年04月15日
    浏览(37)

  • Idea 中编译maven项目报错：[ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.3

    编译报错如下： com.google.inject.ProvisionException: Unable to provision, see the following errors: 1) No implementation for MavenResourcesFiltering was bound.   while locating ResourcesMojo 1 error ====================== Full classname legend: ====================== MavenResourcesFiltering: \\\"org.apache.maven.shared.filtering.MavenResourcesFiltering\\\"

    2024年02月11日
    浏览(63)

  • idea编译maven项目报错：Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.11.0:compile

    创建了一个maven工程，编译时报错 Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.11.0:compile (default-compile) on project mybatisplus: Fatal error compiling: 无效的标记: --release - [Help 1] 项目中maven-plugin版本不匹配。我的IDEA版本2023.2.3，JDK版本为1.8.我是把自己的maven版本降低到3.5.1，编

    2024年02月05日
    浏览(76)

  • 关于hiveonSpark的错误问题

    关于Spark的配置 1. spark-env.sh.template mv命令改名 添加内容 2.环境变量HOME 1. 在conf中创建spark-defaults.conf 添加 2.修改hive-site.xml 3.调大Hive堆内存 hive-env.sh.template 1.向HDF上传Spark纯净版JAR包,避免依赖冲突 其他节点没有Spark,所以执行时也需要Spark依赖 2.capacity-scheduler.xml修改资源最大占

    2024年02月09日
    浏览(33)
  • HiveOnSpark安装

    HiveOnSpark安装

    1.安装好hadoop（建议安装高可用） 如果没有安装，参考 采集项目（HA）(五台服务器）_ha数据采集-CSDN博客 1.解压 2.环境变量 解决日志Jar包冲突，进入/opt/module/hive/lib 3.hive元数据配置到mysql 拷贝驱动 配置Metastore到mysql 4.启动hive 1.登录mysql 2.新建hive元数据库 3.初始化hive元数据库

    2024年04月13日
    浏览(24)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包