使用Pyecharts进行全国水质TDS地图可视化全过程2:使用Power Query 进行百万行级别数据匹配

这篇具有很好参考价值的文章主要介绍了使用Pyecharts进行全国水质TDS地图可视化全过程2:使用Power Query 进行百万行级别数据匹配。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

简介:本文介绍使用Excel  Power Query进行数据匹配。利用这种方式,可以在几分钟内完成百万级别数据量的匹配。

在TDS可视化地图项目中,我们的原始数据没有TDS和具体安装地址的对应,我们需要通过机器条码去匹配安装台账的地址。

这个数据量很大,有多大?我们截取的时间段内,它会去到接近300万行数据。

传统匹配方式,大家用Vlookup最多。但是数据量大的时候,会卡得你怀疑人生,尤其是电脑配置不高时,最后以死机结尾。

有很多种方式可以进行这种级别的数据处理,例如VBA重写Vlookup函数,使用SQL,Access,Python编程等。

但大部分人不会编程。所以我今天讲一种不需要编程的处理方式——使用Power Query进行匹配。

操作非常简单,一学就会。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

首先介绍下,Power Query是一个Excel插件,是Power BI的一个组件。Microsoft Office2016版本中自带了Power Query,其他低版本的需要下载插件。

接下来,我们举一个二十四节气数据匹配的例子来学习。

插个题外话,每年年底总有新闻报导争论属相,例如到底是属牛还是属虎,有人认为元旦过后是新的属相,有人认为正月初一后是新的属相,等等。

夏虫不可语冰,我从不和人争论这个。

我个人观点,这个没什么好争论的,民间你怎么认为都可以。但是,在命理上,一定是按节气去计算,以立春交接时间点为分界,立春前为旧的属相,立春后为新的属相。

节气在命理、术数中具有重要作用。例如八字的四柱排盘是以节气为基础,一旦排错了,八字就错了,我曾经在网上看过错误的排盘。又如在梅花易数中,节气决定着卦气旺衰,卦气旺衰决定着起卦吉凶的判断。

回到正题,我们来学习Power Query数据匹配。

这里有一份表,从1583年到2135年的节气时间点。我们有另外一份新表,包含了4个年份。需求是从总表中匹配出当年对应的二十四节气时间。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java
这550多年的二十四节气时刻表

 待匹配的表格,一共4个年份,我们需要匹配出当年的二十四节气时刻

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

 使用Power Query操作,一共就只有两步,非常的简单:

第一步:新建查询,加载数据源

入口在菜单栏的数据,对于Excel,一般我们数据可以来源于其他的Excel文件,或者是同一份Excel文件的其他Sheet。当来自其他文件时,我们选从文件——从Excel工作薄。当来自同一份Excel文件的其他Sheet时,我们选从表格。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

当来自同一份Excel文件的其他Sheet时,这里有个非常快的方法可以选取到数据,就是我们先去到所在Sheet页,然后任意点击一个数据,再选从表格,就非常快速的把表格内容全部选上了。

注意勾选一下表包含标题,免得后面看不懂这一列数据是干嘛的。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

点击“确定”后,会出现如下界面:

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

点击左上角的“关闭并上载”,会出现如下页面。表明数据已经上载好了。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

按照上面的步骤,需要匹配的表,也加载好。加载后如下所示。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

加载后,Excel默认的命名是表1,表2,表3...这种,辨识度不高,当我们需要匹配多个表格时,我们可以把右侧表的名字改一下,以免表格太多时,忘记了这个表是什么,右键就可以更改。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

第二步:接下来是使用“合并查询”来匹配

入口在数据——新建查询——合并。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

出来的界面:

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

 下拉框里,我们选择好表格:

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

我们以年份为匹配,所以就把上下两个表的年份列选上:

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

联接种类就用默认的:左外部(第一个中的所有行,第二个中的匹配行)

然后点击确定,出现如下界面:

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

 鼠标点击二十四节气边上的按钮,会出现如下界面:

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

这个时候就很明白了,我们只需要勾选我们需要的数据就可以,这里我们的需求是所有二十四节气,所以直接选上全部。

点击“确定”,出现如下界面:

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

然后点击左上角的“关闭并上载”,就可以把数据导出了,可以看到数据已经到了Excel表里。

power query可以处理多大的数据,Pyecharts地图可视化全过程,数据库,microsoft,java

至此,我们完成了我们想要的数据的匹配。

这种匹配方式的效率非常高。利用这种方式,我们可以在几分钟内完成百万级别数据量的匹配。文章来源地址https://www.toymoban.com/news/detail-745442.html

到了这里,关于使用Pyecharts进行全国水质TDS地图可视化全过程2:使用Power Query 进行百万行级别数据匹配的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python通过pyecharts对爬虫房地产数据进行数据可视化分析(一)

    对Python通过代理使用多线程爬取安居客二手房数据(二)中爬取的房地产数据进行数据分析与可视化展示 我们爬取到的房产数据,主要是武汉二手房的房源信息,主要包括了待售房源的户型、面积、朝向、楼层、建筑年份、小区名称、小区所在的城区-镇-街道、房子被打的标

    2024年02月07日
    浏览(53)
  • 在Python中使用pyecharts图形画可视化大屏

    目录                引言 一.Pyecharts的基本用法 1.语法结构​编辑 二.绘制4个pyecharts图形 1.需要注意的问题 2.绘制散点图 ​编辑3.绘制饼图 4.雷达图 5. 柱形图代码展示  三.制作大屏标题  1.代码解释  1.图表结果展示 2.使用pyecharts库创建Page对象 3.使用Python的BeautifulSoup库来

    2024年04月16日
    浏览(47)
  • Python 数据可视化教程 - 如何使用 pyecharts 绘制多条折线图表

    部分数据来源: ChatGPT   引言         本文主要介绍如何使用 Python 中的 pyecharts 库,绘制多条折线图表。在本例中,我们将展示各国的 COVID-19 确诊人数数据。 1、首先,我们需要导入必要的库: 其中, json  库用于解析 JSON 数据, pyecharts  库用于绘图, TitleOpts 、 Lege

    2024年02月09日
    浏览(54)
  • Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

    使用Scrapy进行数据爬取,MySQL存储数据,Django写后端服务,PyEcharts制作可视化图表,效果如下。 项目下载地址:Scrapy爬取数据,并使用Django框架+PyEcharts实现可视化大屏 发现每个模块都有详情页,可以通过点击首页各个模块的标签,进行访问。 基于数据可视化的游客行为分析

    2024年02月09日
    浏览(51)
  • 【Python】Vscode使用pyecharts 3D散点图实现数据可视化

    目录 前言: 一:3D散点图效果图展示: 二.pyecharts是什么? 三.什么是3D散点图 四.环境准备 1.Vscaode下载扩展包: 2.安装pyechart库 五.3D散点图代码实现 1.导库和导包 2.导入数据(使用的是航空公司数据)  3.剔除年龄缺失值: 4.数据筛选 5.添加参数 6.实现效果图  7.修改参数实

    2024年02月07日
    浏览(51)
  • 【Python】pyecharts 模块 ⑤ ( 地图绘制 | pyecharts 地图绘制步骤 | 为地图进行全局配置 )

    pyecharts 画廊网站 : https://gallery.pyecharts.org/#/ 在该网站可查看官方示例 首先 , 导入 pyecharts 中的 Map 类 , 这是 地图绘制 的核心类 , 该类定义在 pyecharts.charts 中 ; 然后 , 创建 Map 类实例对象 , 该对象对应着一张地图 ; 再后 , 准备要绘制的数据 , 数据类型是列表类型 , 列表元素是

    2024年02月16日
    浏览(49)
  • Pyecharts数据可视化(三)

    目录 1.绘制词云图 2.绘制桑基图 3.绘制平行坐标图 4.绘制结点图 5.绘制地图 本文主要介绍了如何利用Pyecharts绘制词云图、桑基图、平行坐标图、节点图和地图,虽然这些图平时不是很常用,但是看起来还是比较好看的,如果放在论文当中,相信可以让论文更上一层楼。 Pyec

    2024年02月10日
    浏览(39)
  • Pyecharts数据可视化(一)

    目录  1.Pyecharts简介 2.Pyecharts的常用方法 3.Pyecharts绘制柱状图 3.1 绘制并列柱状图 3.2 绘制水平直方图 Pyecharts是一个用于创建交互式图表的Python库。它基于Echarts,一个强大的JavaScript图表库,Pyecharts允许Python开发者使用Python代码轻松地生成各种类型的图表,包括线性图、饼图、

    2024年02月10日
    浏览(46)
  • 数据可视化篇——pyecharts模块

    在之前的文章中我们已经介绍过爬虫采集到的数据用途之一就是用作可视化报表,而pyecharts作为Python中可视化工具的一大神器必然就受到广大程序员的喜爱。 一、什么是Echarts? ECharts 官方网站 : https://echarts.apache.org/zh/index.html ECharts 是 百度 提供的 基于 JavaScript 的开源可视化

    2024年02月05日
    浏览(70)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包