superset连接Apache Spark SQL(hive)过程中的各种报错解决

这篇具有很好参考价值的文章主要介绍了superset连接Apache Spark SQL(hive)过程中的各种报错解决。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

我的博客原文:superset连接Apache Spark SQL(hive)过程中的各种报错解决

superset连接数据库官方文档:Installing Database Drivers | Superset

我们用的是Apache Spark SQL,所以首先需要安装下pyhive

#命令既下载了pyhive也下载了它所依赖的其他安装包
pip install pyhive

#多个命令也可下载
pip install sasl
pip install thrift
pip install thrift-sasl
pip install pyhs2

Apache Spark SQL连接的格式

hive://hive@{hostname}:{port}/{database}

superset无法加载数据库驱动程序postgresenginespec,大数据,spark,sql,hive,superset,Spark SQL,superset报错解决

 安装包下载完成,可以测试是否可以连接hive了。

问题1:Could not load database driver: SparkEngineSpec

因为驱动不匹配导致的,返回重新下载依赖包

问题2:无法连接数据库下面的信息

连接数据库的时候一直报无法连接数据库下面的信息,所以我们此时应该重启superset或者关掉superset、关闭hadoop集群,再开启hadoop、superset、登录superset即可。

问题3:连接hive,使用superset进行可视化,一旦超过一分钟,直接可视化报错

需要找到并修改config.py文件。我的config.py文件的路径是:

/opt/module/miniconda3/envs/superset/lib/python3.9/site-packages/superset

问题4: 连接SparkSQL时报错,根据官方提示安装pyhive也没用

pip install pyhs2

问题5:数据库连接成功,添加数据库表选择下拉数据库表无法获取 

superset无法加载数据库驱动程序postgresenginespec,大数据,spark,sql,hive,superset,Spark SQL,superset报错解决

Apache Spark SQL数据结构决定的,无法直接像其他数据库一样查出表,需要手动查表添加,点击SQL Lab,手动查表保存

superset无法加载数据库驱动程序postgresenginespec,大数据,spark,sql,hive,superset,Spark SQL,superset报错解决

按以下步骤 

superset无法加载数据库驱动程序postgresenginespec,大数据,spark,sql,hive,superset,Spark SQL,superset报错解决

再点击保存 

superset无法加载数据库驱动程序postgresenginespec,大数据,spark,sql,hive,superset,Spark SQL,superset报错解决

返回Datasets就能看到表了

superset无法加载数据库驱动程序postgresenginespec,大数据,spark,sql,hive,superset,Spark SQL,superset报错解决

 今天就介绍到这里啦!希望能帮大家避坑!欢迎在评论区交流。如果文章对你有所帮助,❤️关注+点赞❤️鼓励一下!博主会持续更新。。。。

往期回顾

 css实现元素居中的6种方法 

Angular8升级至Angular13遇到的问题

前端vscode必备插件(强烈推荐)

Webpack性能优化

vite构建如何兼容低版本浏览器

前端性能优化9大策略(面试一网打尽)!

vue3.x使用prerender-spa-plugin预渲染达到SEO优化

 vite构建打包性能优化

 vue3.x使用prerender-spa-plugin预渲染达到SEO优化

 ES6实用的技巧和方法有哪些?

 css超出部分显示省略号

vue3使用i18n 实现国际化

vue3中使用prismjs或者highlight.js实现代码高亮

什么是 XSS 攻击?什么是 CSRF?什么是点击劫持?如何防御文章来源地址https://www.toymoban.com/news/detail-851073.html

到了这里,关于superset连接Apache Spark SQL(hive)过程中的各种报错解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hive sql 和 spark sql的区别

    Hive SQL 和 Spark SQL 都是用于在大数据环境中处理结构化数据的工具,但它们有一些关键的区别: 底层计算引擎: Hive SQL:Hive 是建立在 Hadoop 生态系统之上的,使用 MapReduce 作为底层计算引擎。因此,它的执行速度可能相对较慢,尤其是对于复杂的查询。 Spark SQL:Spark SQL 则建

    2024年01月20日
    浏览(32)
  • Spark连接Hive读取数据

            Ubuntu 16.04 LTS         ubuntu-16.04.6-desktop-i386.iso          spark-3.0.0-bin-without-hadoop.tgz           hadoop-3.1.3.tar.gz         apache-hive-3.1.2-bin.tar.gz         spark-hive_2.12-3.2.2.jar         openjdk 1.8.0_292         mysql-connector-java-5.1.40.tar.gz         

    2024年02月01日
    浏览(32)
  • Spark on Hive及 Spark SQL的运行机制

    代码中集成Hive: Spark SQL底层依然运行的是Spark RDD的程序,所以说Spark RDD程序的运行的流程,在Spark SQL中依然是存在的,只不过在这个流程的基础上增加了从SQL翻译为RDD的过程 Spark SQL的运行机制,其实就是在描述如何将Spark SQL翻译为RDD程序 Catalyst内部具体的执行流程: 专业术

    2024年01月23日
    浏览(37)
  • Spark SQL实战(08)-整合Hive

    Apache Spark 是一个快速、可扩展的分布式计算引擎,而 Hive 则是一个数据仓库工具,它提供了数据存储和查询功能。在 Spark 中使用 Hive 可以提高数据处理和查询的效率。 场景 历史原因积累下来的,很多数据原先是采用Hive来进行处理的,现想改用Spark操作数据,须要求Spark能够

    2023年04月15日
    浏览(81)
  • Spark SQL数据源:Hive表

    Spark SQL还支持读取和写入存储在Apache Hive中的数据。然而,由于Hive有大量依赖项,这些依赖项不包括在默认的Spark发行版中,如果在classpath上配置了这些Hive依赖项,Spark就会自动加载它们。需要注意的是,这些Hive依赖项必须出现在所有Worker节点上,因为它们需要访问Hive序列化

    2024年02月11日
    浏览(29)
  • return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask.

    集群环境 错误由来 错误原因 错误分析 解决办法 1、集群环境 CDH集群5.16.1 ,hive的引擎是spark。 2、错误由来 今天在生产环境的集群里跑hive任务,报错 Job failed with org.apache.spark.SparkException: Job aborted due to stage failure: Task 7 in stage 14.0 failed 4 times, most recent failure: Lost task 7.3 in sta

    2024年02月16日
    浏览(34)
  • 【Spark大数据习题】习题_Spark SQL&&&Kafka&& HBase&&Hive

    PDF资源路径-Spark1 PDF资源路径-Spark2 一、填空题 1、Scala语言的特性包含面向对象编程、函数式编程的、静态类型的、可扩展的、可以交互操作的。 2、在Scala数据类型层级结构的底部有两个数据类型,分别是 Nothing和Null。 3、在Scala中,声明变量的有var声明变量和val声明常

    2024年02月06日
    浏览(29)
  • Apache Doris (三十一):Doris 数据导入(九)Spark Load 4- 导入Hive数据及注意事项

    目录 1. Spark Load导入Hive非分区表数据 2. Spark Load 导入Hive分区表数据 3. 注意事项 进入正文之前,欢迎订阅专题、对博文点赞、评论、收藏,关注IT贫道,获取高质量博客内容!

    2024年02月17日
    浏览(36)
  • Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job faile

    hive on spark 错误Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Spark job failed during runtime. Please check stacktrace for the root cause. 表明Spark任务执行失败,返回了错误代码3。这可能是由于多种原因导致的,例如内存不足、JSON数据格式错

    2024年04月11日
    浏览(41)
  • 爱奇艺大数据加速:从Hive到Spark SQL

    01 爱奇艺自2012年开展大数据业务以来,基于大数据开源生态服务建设了一系列平台,涵盖了数据采集、数据处理、数据分析、数据应用等整个大数据流程,为公司的运营决策和各种数据智能业务提供了强有力的支持。随着数据规模的不断增长和计算复杂度的增加,如何快速挖

    2024年02月08日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包