简介:本文介绍使用Excel Power Query进行数据匹配。利用这种方式,可以在几分钟内完成百万级别数据量的匹配。
在TDS可视化地图项目中,我们的原始数据没有TDS和具体安装地址的对应,我们需要通过机器条码去匹配安装台账的地址。
这个数据量很大,有多大?我们截取的时间段内,它会去到接近300万行数据。
传统匹配方式,大家用Vlookup最多。但是数据量大的时候,会卡得你怀疑人生,尤其是电脑配置不高时,最后以死机结尾。
有很多种方式可以进行这种级别的数据处理,例如VBA重写Vlookup函数,使用SQL,Access,Python编程等。
但大部分人不会编程。所以我今天讲一种不需要编程的处理方式——使用Power Query进行匹配。
操作非常简单,一学就会。
首先介绍下,Power Query是一个Excel插件,是Power BI的一个组件。Microsoft Office2016版本中自带了Power Query,其他低版本的需要下载插件。
接下来,我们举一个二十四节气数据匹配的例子来学习。
插个题外话,每年年底总有新闻报导争论属相,例如到底是属牛还是属虎,有人认为元旦过后是新的属相,有人认为正月初一后是新的属相,等等。
夏虫不可语冰,我从不和人争论这个。
我个人观点,这个没什么好争论的,民间你怎么认为都可以。但是,在命理上,一定是按节气去计算,以立春交接时间点为分界,立春前为旧的属相,立春后为新的属相。
节气在命理、术数中具有重要作用。例如八字的四柱排盘是以节气为基础,一旦排错了,八字就错了,我曾经在网上看过错误的排盘。又如在梅花易数中,节气决定着卦气旺衰,卦气旺衰决定着起卦吉凶的判断。
回到正题,我们来学习Power Query数据匹配。
这里有一份表,从1583年到2135年的节气时间点。我们有另外一份新表,包含了4个年份。需求是从总表中匹配出当年对应的二十四节气时间。
待匹配的表格,一共4个年份,我们需要匹配出当年的二十四节气时刻
使用Power Query操作,一共就只有两步,非常的简单:
第一步:新建查询,加载数据源
入口在菜单栏的数据,对于Excel,一般我们数据可以来源于其他的Excel文件,或者是同一份Excel文件的其他Sheet。当来自其他文件时,我们选从文件——从Excel工作薄。当来自同一份Excel文件的其他Sheet时,我们选从表格。
当来自同一份Excel文件的其他Sheet时,这里有个非常快的方法可以选取到数据,就是我们先去到所在Sheet页,然后任意点击一个数据,再选从表格,就非常快速的把表格内容全部选上了。
注意勾选一下表包含标题,免得后面看不懂这一列数据是干嘛的。
点击“确定”后,会出现如下界面:
点击左上角的“关闭并上载”,会出现如下页面。表明数据已经上载好了。
按照上面的步骤,需要匹配的表,也加载好。加载后如下所示。
加载后,Excel默认的命名是表1,表2,表3...这种,辨识度不高,当我们需要匹配多个表格时,我们可以把右侧表的名字改一下,以免表格太多时,忘记了这个表是什么,右键就可以更改。
第二步:接下来是使用“合并查询”来匹配
入口在数据——新建查询——合并。
出来的界面:
下拉框里,我们选择好表格:
我们以年份为匹配,所以就把上下两个表的年份列选上:
联接种类就用默认的:左外部(第一个中的所有行,第二个中的匹配行)
然后点击确定,出现如下界面:
鼠标点击二十四节气边上的按钮,会出现如下界面:
这个时候就很明白了,我们只需要勾选我们需要的数据就可以,这里我们的需求是所有二十四节气,所以直接选上全部。
点击“确定”,出现如下界面:
然后点击左上角的“关闭并上载”,就可以把数据导出了,可以看到数据已经到了Excel表里。
至此,我们完成了我们想要的数据的匹配。文章来源:https://www.toymoban.com/news/detail-745442.html
这种匹配方式的效率非常高。利用这种方式,我们可以在几分钟内完成百万级别数据量的匹配。文章来源地址https://www.toymoban.com/news/detail-745442.html
到了这里,关于使用Pyecharts进行全国水质TDS地图可视化全过程2:使用Power Query 进行百万行级别数据匹配的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!