我的博客原文:superset连接Apache Spark SQL(hive)过程中的各种报错解决
superset连接数据库官方文档:Installing Database Drivers | Superset
我们用的是Apache Spark SQL,所以首先需要安装下pyhive
#命令既下载了pyhive也下载了它所依赖的其他安装包
pip install pyhive
#多个命令也可下载
pip install sasl
pip install thrift
pip install thrift-sasl
pip install pyhs2
Apache Spark SQL连接的格式
hive://hive@{hostname}:{port}/{database}
安装包下载完成,可以测试是否可以连接hive了。
问题1:Could not load database driver: SparkEngineSpec
因为驱动不匹配导致的,返回重新下载依赖包
问题2:无法连接数据库下面的信息
连接数据库的时候一直报无法连接数据库下面的信息,所以我们此时应该重启superset或者关掉superset、关闭hadoop集群,再开启hadoop、superset、登录superset即可。
问题3:连接hive,使用superset进行可视化,一旦超过一分钟,直接可视化报错
需要找到并修改config.py文件。我的config.py文件的路径是:
/opt/module/miniconda3/envs/superset/lib/python3.9/site-packages/superset
问题4: 连接SparkSQL时报错,根据官方提示安装pyhive也没用
pip install pyhs2
问题5:数据库连接成功,添加数据库表选择下拉数据库表无法获取
Apache Spark SQL数据结构决定的,无法直接像其他数据库一样查出表,需要手动查表添加,点击SQL Lab,手动查表保存
按以下步骤
再点击保存
返回Datasets就能看到表了
今天就介绍到这里啦!希望能帮大家避坑!欢迎在评论区交流。如果文章对你有所帮助,❤️关注+点赞❤️鼓励一下!博主会持续更新。。。。
往期回顾
css实现元素居中的6种方法
Angular8升级至Angular13遇到的问题
前端vscode必备插件(强烈推荐)
Webpack性能优化
vite构建如何兼容低版本浏览器
前端性能优化9大策略(面试一网打尽)!
vue3.x使用prerender-spa-plugin预渲染达到SEO优化
vite构建打包性能优化
vue3.x使用prerender-spa-plugin预渲染达到SEO优化
ES6实用的技巧和方法有哪些?
css超出部分显示省略号
vue3使用i18n 实现国际化
vue3中使用prismjs或者highlight.js实现代码高亮文章来源:https://www.toymoban.com/news/detail-851073.html
什么是 XSS 攻击?什么是 CSRF?什么是点击劫持?如何防御文章来源地址https://www.toymoban.com/news/detail-851073.html
到了这里,关于superset连接Apache Spark SQL(hive)过程中的各种报错解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!