通过爬虫抓取上市企业利润表并在睿思BI中展示

这篇具有很好参考价值的文章主要介绍了通过爬虫抓取上市企业利润表并在睿思BI中展示。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

睿思BI从v5.3开始支持网络爬虫,可以从指定URL抓取表格数据,本示例实现从网络上抓取上市企业招商银行的利润表数据,并在睿思BI中进行展现。

功能演示URL:https://www.ruisitech.com/rsbi-ultimate/#/dashboard/ShareView?token=31f6159469ae4e7b8108f9d66eed5658

首先:从搜狐财经抓取招商银行利润表数据,操作过程如下:

1.在睿思BI系统数据抽取页面,点击加号按钮,选择通过爬虫抽取数据菜单,系统进入爬虫配置页面,如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi

2.录入招商银行利润表的页面URL,设置编码方式,点击解析网页按钮,结果如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi

3.选择需要解析的表格数据,点击下一步,进入爬虫数据映射配置页面,如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi

4.根据数据预览界面中的数据结构,新建数据表,然后配置字段映射、设置任务节点名称、配置完成后,点击执行按钮,把数据抽取到睿思BI系统的表中(此处建的表都是字符字段类型)。

第二步:对抽取的数据进行清洗

1.在数据转换模块,点击加号按钮选择创建JS脚本菜单,编写js代码把字段类型转换成数字类型,代码如下图: 

var q12023 = row.get("2023q1");
var q42022 = row.get("2022q4");
var q32022 = row.get("2022q3");
var q22022 = row.get("2022q2");
if(q12023 == '--'){
  q12023 = null;
}else{
  q12023 = Number(q12023);
}
if(q42022 == '--'){
  q42022 = null;
}else{
  q42022 = Number(q42022);
}
if(q32022 == '--'){
  q32022 = null;
}else{
  q32022 = Number(q32022);
}
if(q22022 == '--'){
  q22022 = null;
}else{
  q22022 = Number(q22022);
}
row.put("2023q1", q12023);
row.put("2022q4", q42022);
row.put("2022q3", q32022);
row.put("2022q2", q22022);
return row;

2.再通过数据转换模块的 SQL脚本功能,编写SQL语句把表的季度字段转换成维度,SQL语句如下图:

select zq, 2023q1 as 'kpi', '202303' as quarter, company
 from dw_finance_lrb_changetype
 union all
 select zq, 2022q4 as 'kpi', '202212' as quarter, company
 from dw_finance_lrb_changetype
  union all
 select zq, 2022q3 as 'kpi', '202209' as quarter, company
 from dw_finance_lrb_changetype
   union all
 select zq, 2022q2 as 'kpi','202206' as quarter, company
 from dw_finance_lrb_changetype

3.通过数据填报功能,创建利润表的科目信息,并设置科目的ID,PID,level等字段内容,数据如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi

直接通过数据填报的批量导入功能,把科目表数据导入系统中。

3.通过数据转换的SQL脚本功能,把利润表和科目表进行关联,sql如下:

select a.kpi, a.company, a.quarter, b.name, b.id, b.pid, b.level
 from dm_finance_lrb_kpi a, kemu b
 where a.zq = b.name

 第三步:对清洗后的数据进行建模

1.主要配置维度和度量,如下图所示:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi

2.请注意:其中季度是时间维度,维度类型为季度,科目是父子维度,需要在维度中进行配置,界面如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi  第四步:在仪表盘中展现招商银行的利润表

1.创建交叉表组件,选择刚才创建的立方体,如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi

 2.把科目的一级,二级拖入交叉表的行标签中,把季度放入列标签中,把金额放入季度的下方,如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi

3.在交叉表属性面板中勾选折叠父子维度,再配置仪表盘的筛选上市企业的参数,最终效果如下图:

通过爬虫抓取上市企业利润表并在睿思BI中展示,商业智能,爬虫,bi文章来源地址https://www.toymoban.com/news/detail-660125.html

到了这里,关于通过爬虫抓取上市企业利润表并在睿思BI中展示的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 业聚医疗港交所上市:市值76亿港元 为钱永勋家族企业

    雷递网 雷建平 12月23日 血管介入器械公司――业聚医疗集团有限公司(OrbusNeich Medical Group Limited)(简称“业聚医疗”,股票代码为:6929 )今日在港交所上市。 业聚医疗发行价为8.8港元,募资净额为3.67亿港元。 业聚医疗开盘价为8.8港元,与发行价持平;收盘价为9.15港元,

    2024年02月07日
    浏览(44)
  • 华康医疗深交所IPO:市值49亿 为湖北今年首家上市企业

    雷递网 雷建平 1月28日报道 武汉华康世纪医疗股份有限公司(简称:“华康医疗”,股票代码为:“证券代码:301235”)今日在深交所创业板上市。 华康医疗本次公开发行2640万股,发行价为39.30元,募资10.38亿元。 华康医疗开盘价为50元,较发行价上涨27%;收盘价为46.62元,

    2024年02月06日
    浏览(45)
  • 【Python爬虫实战】1.爬取A股上市公司年报链接并存入Excel

     数据来源:巨潮资讯  项目需求:按照股票代码,公司名称,年报全称,年份,下载链接等要素写入excel表  使用语言:python  第三方库:requests, re , time等 成品展示:  废话就到这里,直接开干! 1.寻找接口 众所周知,爬取网页数据一般可以通过寻找网页结构规律和爬取接

    2024年02月04日
    浏览(42)
  • 逆向爬虫进阶实战:突破反爬虫机制,实现数据抓取

    随着网络技术的发展,网站为了保护自己的数据和资源,纷纷采用了各种反爬虫机制。然而,逆向爬虫技术的出现,使得我们可以突破这些限制,实现对目标网站的深入分析和抓取。本文将介绍逆向爬虫进阶实战的一些技巧和代码片段,帮助读者更好地理解和掌握这一技术。

    2024年02月04日
    浏览(49)
  • 高并发数据抓取实战:使用HTTP爬虫ip提升抓取速度

    又到每天一期学习爬虫的时间了,作为一名专业的爬虫程序员,今天要跟你们分享一个超实用的技巧,就是利用HTTP爬虫ip来提升高并发数据抓取的速度。听起来有点高大上?别担心,我会用通俗易懂的话来和你们说,让你们秒懂怎么操作的。 首先,咱们得理解一下为什么HT

    2024年02月11日
    浏览(48)
  • Python爬虫抓取网页

    本节讲解第一个 Python 爬虫实战案例:抓取您想要的网页,并将其保存至本地计算机。 首先我们对要编写的爬虫程序进行简单地分析,该程序可分为以下三个部分: 拼接 url 地址 发送请求 将照片保存至本地 明确逻辑后,我们就可以正式编写爬虫程序了。 本节内容使用 urll

    2024年02月08日
    浏览(46)
  • 爬虫数据抓取怎么弄?

    爬虫数据抓取是一种自动化的数据采集技术,可以快速、高效地从互联网上获取大量的数据。本文将介绍爬虫数据抓取的基本原理、常用的爬虫框架和工具、爬虫数据抓取的注意事项以及爬虫数据抓取的应用场景。 一、爬虫数据抓取的基本原理 爬虫数据抓取的基本原理是通

    2024年02月05日
    浏览(39)
  • 爬虫案例—抓取小米商店应用

    代码如下: # 抓取第一页的内容 import requests from lxml import etree url = ‘https://app.mi.com/catTopList/0?page=1’ headers = { ‘User-Agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36’ } res = requests.get(url, headers=headers) content = res.content.decode(‘

    2024年01月16日
    浏览(32)
  • python爬虫——怎么抓取职位信息

    目录 背景 为什么要抓取职位信息 怎么抓取职位信息 代码示例 被反爬怎么办 使用代理IP进行爬取 总结 高考刚结束,马上又到了大学生毕业的时候了,各大厂也开始了一波招工潮了,想知道大厂或竞争对手都招些什么人,有什么需求,于是打算爬点职位信息参考下。 抓取职

    2024年02月09日
    浏览(43)
  • 爬虫项目(五):抓取网页所有图片

    推荐本人书籍《Python网络爬虫入门到实战》 ,详细介绍见👉: 《Python网络爬虫入门到实战》 书籍介绍 原理:抓取该链接中所有的图片格式。基于selenium来获取,自动下载到output文件夹中。

    2024年02月07日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包