Hive on Spark中遇到的Failed to create Spark client for Spark session的问题

这篇具有很好参考价值的文章主要介绍了Hive on Spark中遇到的Failed to create Spark client for Spark session的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Hive on Spark中遇到的Failed to create Spark client for Spark session的问题


在自学数仓项目中,遇到以下问题

错误提示:

org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session dfea1fc3-5634-44c1-8a11-55ec733ea206

导致出现这个问题主要是Hive on Spark的资源不足导致,还有一种可能导致出现这情况,即namenode没有正常启动,可以检查一下

解决方法:

1、修改参数

修改capacity-scheduler.xml中的参数,文件位于$HADOOP_HOME/etc/hadoop

vim  capacity-scheduler.xml

yarn.scheduler.capacity.maximum-am-resource-percent中value修改成0.8即可

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.8</value>
    <description>
      Maximum percent of resources in the cluster which can be used to run
      application masters i.e. controls number of concurrent running
      applications.
    </description>
  </property>
2、分发配置文件,进行同步

并将修改的capacity-scheduler.xml文件分发给其他节点中

可以通过rsync 或者 scp 分发给其他节点中

linux远程拷贝文件相关知识

3、将yarn重启

只需要将yarn的ResourceManagerNodeManager重新启动即可

stop-yarn.sh
start-yarn.sh

补充知识:

Apache Hadoop的使用的是容量调度器,它会每个资源队列中运行的Application Master占用的资源进行啦限制,是在capacity-scheduler.xmlyarn.scheduler.capacity.maximum-am-resource-percent参数实现的,默认值为0.1,即10%的资源。主要是为了防止大部分资源的被Application Master占用,而导致Map Task和 Reduce Task不能执行。在生产中不需要调整,在这里调整主要是我自己电脑资源不足导致的。文章来源地址https://www.toymoban.com/news/detail-436553.html

到了这里,关于Hive on Spark中遇到的Failed to create Spark client for Spark session的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • docker failed to create task for container: failed to create shim task: OCI runtime create failed:

    根据CentOS安装docker指南,启动hello-world时报错,提示信息中提到了 OCI runtime ,根本原因是 runc did not terminate successfully 参考【错误解决】docker找不到runc:failed to create shim: OCI runtime create failed: unable to retrieve OCI runtime,这个问题跟 runc 有关,查看docker版本的确没有runc信息 查看

    2024年02月14日
    浏览(59)
  • 记录安装Anaconda遇到的坑:failed to create menu.解决办法(完美解决)

    Anaconda和Miniconda Anaconda是一个完整的环境,它内置了很多Python常用的库和相关依赖环境,安装包体积和安装后在电脑所占用的空间都较大。为什么有两个Conda?其实两个Conda的用处都是一样的,都是用来创建虚拟环境,解决虚拟环境冲突的问题。 win10 64位用户建议使用这个版本

    2024年02月10日
    浏览(38)
  • Linux调用Selenium报session not created: Chrome failed to start: exited normally.的问题解决方式

    确定了浏览器版本和chromedriver版本可以对应得上,但是每次调用对应的服务都会报该错误 问题在于启动Selenium需要桌面,然而你的Linux上没有桌面,所以报错,解决这个问题的方式是将Selenium设置为不使用浏览器启动,然而不使用浏览器启动存在对应的元素没加载的问题,解决

    2024年02月03日
    浏览(91)
  • Spark写入Hive报错Mkdir failed on :com.alibaba.jfs.JindoRequestPath

            程序很简单,就是数仓ODS层计算逻辑,直接从阿里云OSS读取数据,补充上一些必要的列,最后数据落盘到hive表。 3.1 分析报错内容         根据下面两段报错提示可以得出:Spark Driver在写入Hive时,试图在oss://sync-to-bi.[马赛克].aliyuncs.com/tmp/hive这个路径下创建目

    2024年02月11日
    浏览(40)
  • docker: Error response from daemon: failed to create task for container: failed to create shim task:

    我的系统是ubuntu22.04,装的docker版本是24.0.5,但是在下载镜像之后去加载时报了这个错误 docker: Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: invalid rootfs: not an absolute path, or a symlink: unknown. ERRO[0000] error waiting for conta

    2024年02月09日
    浏览(47)
  • 【Appium】Failed to create session. An unknown server-side error occurred while processing the command

    报错信息: 遇到这些错误的时候,我们要把 手机开发者模式的这三个选项都打开 : 因为它要安装一个软件: 第一次调试的时候手机端会弹出来个密钥确定的窗口,大概意思就是是否同意这个计算机对自己的电脑进行调试,要点同意。 然后 手机一定要安装好要进行调试的软

    2024年02月16日
    浏览(63)
  • springboot中es查询报错:“failed to create querv:Cannot search on field [ableLook] since it is not indexed“

     报错情况如下:    原因:是因为es字段的 index 设置为 false 不可以通过这个字段进行搜索,比如:  解决:把false 改为 true 或是直接把 \\\"index\\\": false 去掉,默认index为ture

    2024年02月12日
    浏览(41)
  • Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open..

    在hive目录下使用beeline命令:  具体的报错信息如下所示: 22/04/10 01:13:24 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop102:10000 Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop102:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hado

    2024年02月11日
    浏览(64)
  • 了解hive on spark和spark on hive

            大数据刚出来的时候,并不是很完善。发展的不是很快,尤其是在计算服务上,当时使用的是第一代mr计算引擎,相对来说计算并不是那么快。让大数据快速发展的是2009年伯克利大学诞生的spark,并在2013年成为Aparch的顶级开源项目。使大数据发展比较迅速、但是随着

    2024年02月14日
    浏览(67)
  • IDEA项目启动报错:Failed to execute goal on project xxx: Could not resolve dependencies for project

    [ERROR] Failed to execute goal on project xxx: Could not resolve dependencies for project Failed to collect dependencies at xxx .xxx-service:jar:dev: Failed to read artifact descriptor for xxxx/maven-snapshots/ during a previous attempt. This failure was cached in the local repository and resolution is not reattempted until the update interval of nexus-snaps

    2024年02月03日
    浏览(102)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包