【大数据】可视化仪表板 - Superset的安装和使用

这篇具有很好参考价值的文章主要介绍了【大数据】可视化仪表板 - Superset的安装和使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

写在前面:博主是一只经过实战开发历练后投身培训事业的“小山猪”,昵称取自动画片《狮子王》中的“彭彭”,总是以乐观、积极的心态对待周边的事物。本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域,如今终有小成,愿将昔日所获与大家交流一二,希望对学习路上的你有所助益。同时,博主也想通过此次尝试打造一个完善的技术图书馆,任何与文章技术点有关的异常、错误、注意事项均会在末尾列出,欢迎大家通过各种方式提供素材。

  • 对于文章中出现的任何错误请大家批评指出,一定及时修改。
  • 有任何想要讨论和学习的问题可联系我:zhuyc@vip.163.com。
  • 发布文章的风格因专栏而异,均自成体系,不足之处请大家指正。

可视化仪表板 - Superset的安装和使用

本文关键字:superset、可视化、Ubuntu、安装

一、Superset简介

Apache Superset是一个现代化的、企业级的数据探索和可视化平台,旨在帮助数据工程师和科学家在Web界面上创建和共享各种类型的数据洞察。
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

1. 软件作用

Apache Superset 的底层是一个 Flask 应用程序,其核心功能包括数据可视化、仪表板制作、数据切片和切块、以及 SQL Lab。在 Superset 的应用结构中,Flask 应用程序处理路由、视图函数和模板渲染,而 SQLAlchemy 提供了对多种数据库的抽象访问。
Apache Superset 支持多种数据源,可以连接到任何 SQL-speaking 数据库或数据引擎(如 MySQL、Postgres、BigQuery、Redshift 等),同时也支持各种 大数据组件 如 Hive、Presto、Druid 等,只需要安装部分组件即可。

2. 软件特点

  • 具有丰富的数据可视化组件库,提供了多种图表类型,可以满足各种数据展示需求
  • 使用SQL Lab可以直接执行SQL查询,方便快捷
  • 采用响应式设计,对移动设备友好
  • 具有强大的数据权限管理功能,可以精细控制每个用户的数据访问权限

二、Superset安装

1. 前置环境

软件需要运行在Python 3.6及以上版本,推荐使用虚拟环境,官方给出的安装步骤:https://superset.apache.org/docs/installation/installing-superset-from-scratch/。

  • virtualenv安装:pip install virtualenv
  • 创建虚拟环境:python3 -m venv superset
  • 激活虚拟环境:. superset/bin/activate
  • 前置环境安装

开始安装前,需要确保系统环境以及python虚拟环境已经安装了以下内容:

sudo apt-get update
sudo apt-get install build-essential
sudo apt-get install python3-dev

pip install wheel

2. 安装配置

  • 安装superset:pip install apache-superset

superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

  • 前置设定
# 推荐添加到环境变量配置文件中
export FLASK_APP=superset
superset fab create-admin

superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
此时会遇到一个警告,我可以可以按照如下步骤来解决:

touch superset_config.py

superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

# 推荐添加到环境变量配置文件中
export SUPERSET_CONFIG_PATH=/home/hadoop/superset/superset_config.py
superset fab create-admin

配置SUPERSET_CONFIG_PATH的路径,指向刚刚创建的config文件,完成后再次进行启动。
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

  • 报错解决

笔者在执行命令的过程中出现如下报错:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
这是由于 sqlparse 不兼容导致的,默认安装了0.4.4,可以通过以下命令确认版本:

pip show sqlparse

此时需要降级到0.4.3,这是由于我目前安装的superset限制版本区间最低为0.4.3,如果大家选择了其它的版本请根据实际情况处理:

pip uninstall sqlparse
pip install sqlparse==0.4.3

superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

3. 启动访问

前面的初始化步骤完成后可以导入一些样例数据,然后进行启动,在执行所有操作前需要先进行初始化。

  • 导入样例数据
# 初始化命令
superset db upgrade
# 加载数据,耗时较长
superset load_examples
  • superset构建

首先需要下载前端项目的源代码,然后确保系统已经安装了Node环境。小编当前使用的版本要求node 16.9.1以上,npm 7.5.4 || 8.1.2 以上,这里以安装node 16.x为例。

git clone https://github.com/apache/superset.git

superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
强烈提醒:请保证NodeJS的大版本一致,否则需要自己想办法解决各种构建问题。如果遇到RpcIpcMessagePortClosedError错误,一般为内存不足导致,请尝试增加内存。

# 安装构建所需环境
sudo apt  install curl
curl -fsSL https://deb.nodesource.com/setup_16.x | sudo -E bash -
sudo apt-get install -y nodejs
sudo npm install -g npm@latest
sudo npm install -g node-gyp
# ARM架构需要手动安装chromium-browser
sudo apt install chromium-browser
# 构建前端项目
npm ci
# 预先解决一些构建中遇到的问题
npx update-browserslist-db@latest
# 该步骤耗时较长 - 需要保证可用内存在4GB以上
npm run build
  • superset启动
# 切换到superset-frontend的上一级目录
cd ..
superset run -p 8088 --with-threads --reload --debugger

superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

  • superset访问

启动后,在浏览器访问8088端口即可,使用此前初始化是设定的密码进行登录:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
可以查看到,已经显示了此前导入过的样例:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

三、数据源配置

在操作界面右上角,支持多种数据源添加方式,本文将介绍数据库连接方式。
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

1. PostgreSQL

  • 依赖安装

在连接PostgreSQL时,需要在项目启动之前,先安装相关依赖。激活superset虚拟环境后执行如下命令:

pip install psycopg2-binary
  • 连接配置

在配置界面,默认支持PostgreSQL和SQLite两种直接导入方式:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
选择PostgreSQL进入配置界面:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
连接成功后,可以开始创建DATASET,或者也可以使用:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
点击FINISH后,再次点击右上角的➕,此时Data选单下出现Create dataset
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

2. MySQL

当已经添加了一个数据库连接后,想要再次添加另外的数据源,可以按照如下步骤操作:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
然后在操作界面中可以再次看到添加DATABASE的按钮,如图:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

  • 依赖安装

在连接MySQL时,需要在项目启动之前,先安装相关依赖。激活superset虚拟环境后执行如下命令:

sudo apt-get install libmysqlclient-dev
pip install mysqlclient
  • 连接配置

在配置界面,选择Other,通过连接字符串来直接配置:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
连接字符串为SQLAlchemy URI格式 -> mysql://username:password@hostname:port/database
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

3. Hive

  • 依赖安装

在连接Hive时,需要在项目启动之前,先安装相关依赖。激活superset虚拟环境后执行如下命令:

pip install PyMySQL
pip install pyhive
pip install thrift
sudo apt-get install python-dev libsasl2-dev
pip install sasl
pip install thrift_sasl

连接前确保Hive相关服务已经启动,具体步骤可以参考:Hive 3.x的安装部署 - Ubuntu

  • 连接配置

在配置界面,选择Other,通过连接字符串来直接配置:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
连接字符串为SQLAlchemy URI格式 -> hive://username:password@hostname:port/database
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
在连接测试通过后,点击CONNECT按钮可能会出现一个无法连接的异常,但是小编实际测试后发现并没有任何影响。此时连接已经成功创建,我们只要将弹窗关闭,然后刷新页面即可,后续的使用也一切正常。
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu

4. 其它说明

当我们不断的向superset的虚拟环境添加各种连接所需的依赖,并且创建相应类型的连接后,操作界面就会变得越来越丰富:
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu
当我们需要的数据源类型基本稳定后,就可以将superset进程挂在后台运行了,这样我们可以专注于可视化的工作:

# 进入到对应目录后执行
nohup superset run -p 8088 --with-threads --reload --debugger &

扫描下方二维码,加入CSDN官方粉丝微信群,可以与我直接交流,还有更多福利哦~
superset安装,学习路上,# 大数据组件,大数据,python,可视化,ubuntu文章来源地址https://www.toymoban.com/news/detail-768801.html

到了这里,关于【大数据】可视化仪表板 - Superset的安装和使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Grafana 系列-统一展示-3-Prometheus 仪表板

    Grafana 系列文章 你可以使用变量来代替硬编码的细节,如 server、app 和 pod_name 在 metric 查询中。Grafana 在仪表盘顶部的下拉选择框中列出这些变量,帮助你改变仪表盘中显示的数据。Grafana 将这类变量称为模板变量。 Query Variables 使用 Query 类型的变量来查询 Prometheus 的指标 (m

    2024年02月03日
    浏览(44)
  • Kibana:创建你的第一个仪表板

    了解从你自己的数据创建仪表板的最常用方法。 本教程将从分析师查看网站日志的角度使用示例数据,但这种类型的仪表板适用于任何类型的数据。 完成后,你将全面了解示例 Web 日志数据。 在本次的展示中,我将使用最新的 Elastic Stack 8.7.1 来进行展示。 Kibana:创建你的第

    2024年02月06日
    浏览(89)
  • 观测云产品更新 | 日志、场景仪表板、监控器等

    用户访问监测 (RUM ) 公网 Dataway 支持 ip 转换成地理位置信息。 日志 查看器详情页 1、新增 BPF 网络日志采集及日志详情页,支持 Json 格式转化; 2、上述 1 中的日志详情页中新增可读的展示模式,即您可以快速直观了解客户端与服务端之间的网络情况;同时,也支持切换绝

    2024年02月02日
    浏览(49)
  • Grafana 系列-统一展示-5-AWS Cloudwatch 仪表板

    Grafana 系列文章 强烈推荐使用 GitHub 上的 monitoringartist/grafana-aws-cloudwatch-dashboards 仪表板。该 repo 有一系列 AWS 资源的仪表板,包括但不限于: EC2 EBS API GW Autoscaling Billing EKS Lambda Logs RDS S3 ... 并且质量上乘,设计十分精良。 本文以其 AWS EC2 Dashboard (ID: 617) 为例说明。 📝 Notes :

    2024年02月03日
    浏览(39)
  • Grafana系列-统一展示-8-ElasticSearch日志快速搜索仪表板

    Grafana 系列文章 我们是基于这篇文章: Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板, 创建一个类似的, 但是基于 ElasticSearch 的日志快速搜索仪表板. 最终完整效果如下: 📝 Notes : 其实我基于 ElasticSearch 做了2个仪表板 用于检索 Applog 的 用于检索

    2024年02月04日
    浏览(40)
  • OpenStack(T版)——仪表板(Horizon)服务介绍与安装

    Openstack项目中的Horrizon仪表板服务组件是以Web界面形式展示各项服务的,Openstack云系统管理员和终端用户可以通过仪表板管理各项资源和服务 Horrizon仪表板服务通过 Openstack APIs与控制节点通信,分配资源和同步状态 官方文档 编辑 /etc/openstack-dashboard/local_settings 文件并完成以下

    2024年02月12日
    浏览(46)
  • 仪表板展示 | DataEase看中国:2023年中国电影市场分析

    随着《消失的她》、《变形金刚:超能勇士崛起》、《蜘蛛侠:纵横宇宙》、《我爱你》等国内外影片的上映,2023年上半年的电影市场也接近尾声。据国家电影专资办初步统计,上半年全国城市院线票房达262亿元,已经超过了2022年同期总票房的一半以上(2022年同期为171.81亿

    2024年02月12日
    浏览(41)
  • Apache Superset——开源的大数据探索分析、可视化报表平台

    1.1 大数据可视化面临的挑战   大数据的兴起,关于数据的存储、计算技术层出不穷,但是最终的数据可视化呈现,数据的探索,也成为颇为重要的一环,这一块并没有像存储、计算技术栈那么百花齐放,大家在做大数据可视化时是否也曾有这些困惑呢? 传统的可视化对接

    2024年02月04日
    浏览(47)
  • 大数据智能决策系统架构:数据可视化与仪表盘

    作者:禅与计算机程序设计艺术 传统的决策系统中往往采用静态的报表形式呈现数据,用户只能看到历史数据的统计信息,无法直观的感受到数据的变化过程以及趋势,不利于进行分析和预测。而在大数据时代,海量的数据产生的速度、种类及复杂性越来越高,如何快速准确

    2024年02月08日
    浏览(49)
  • 大数据可视化BI分析工具Apache Superset实现公网远程访问

    Superset是一款由中国知名科技公司开源的“现代化的企业级BI(商业智能)Web应用程序”,其通过创建和分享dashboard,为数据分析提供了轻量级的数据查询和可视化方案。Superset在数据处理和可视化方面具有强大的功能,能够满足企业级的数据分析需求,并为用户提供直观、灵

    2024年02月08日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包