在日常的数据分析中,经常需要将数据根据某个(多个)字段划分为不同的群体(group)进行分析,如电商领域将全国的总销售额根据省份进行划分,分析各省销售额的变化情况,社交领域将用户根据画像(性别、年龄)进行细分,研究用户的使用情况和偏好等。在Pandas中,上述的数据处理操作主要运用groupby完成,本文就介绍一下
groupby
的基本原理及对应的
agg
、
transform
和
apply
等操作,总共包含25个代码示例。
首先,模拟生成10个样本数据:
import pandas as pd
import numpy as np
company=["A","B","C"]
data=pd.DataFrame({
"company":[company[x] for x in np.random.randint(0,len(company),10)],
"salary":np.random.randint(5,50,10),
"age":np.random.randint(15,50,10)
}
)
1. Groupby的基本原理
在pandas中,实现分组操作的代码很简单,仅需一行代码,在这里,将上面的数据集按照company
字段进行划分:
这个生成的DataFrameGroupBy
是啥呢?对data进行了groupby后发生了什么?ipython所返回的结果是其内存地址,并不利于直观地理解,为了看看group内部究竟是什么,这里把group转换成list的形式来看一看:
转换成列表的形式后,可以看到,列表由三个元组组成,每个元组中,第一个元素是组别(这里是按照company进行分组,所以最后分为了A,B,C),第二个元素的是对应组别下的DataFrame,整个过程可以图解如下:
总结来说,groupby的过程就是将原有的DataFrame按照groupby的字段(这里是company),划分为若干个分组DataFrame,被分为多少个组就有多少个分组DataFrame。所以说,在groupby之后的一系列操作(如agg、apply等),均是基于子DataFrame的操作。理解了这点,也就基本摸清了Pandas中groupby操作的主要原理。
2. agg聚合操作
聚合操作是groupby操作之后非常常见的操作。聚合操作可以用来求和、均值、最大值、最小值等,下面的表格列出了Pandas中常见的聚合操作。
针对样例数据集,如果想求不同公司员工的平均年龄和平均薪水,可以按照下方的代码进行:
如果想对针对不同的列求不同的值,比如要计算不同公司员工的平均年龄以及薪水的中位数,可以利用字典进行聚合操作的指定:
agg聚合过程可以图解如下(第二个例子为例):
3. transform
transform是一种什么数据操作?和agg有什么区别呢?为了更好地理解transform和agg的不同,下面从实际的应用场景出发进行对比。
在上面的agg中,我们知道了如何求不同公司员工的平均薪水,如果现在需要在原数据集中新增一列avg_salary,代表员工所在的公司的平均薪水(相同公司的员工具有一样的平均薪水),该怎么实现呢?如果按照正常的步骤来计算,需要先求得不同公司的平均薪水,然后按照员工和公司的对应关系填充到对应的位置,不用transform的话,实现代码如下:
如果使用transform
的话,仅需要一行代码:
还是以图解的方式来看看进行groupby后transform的实现过程(为了更直观展示,图中加入了company列,实际按照上面的代码只有salary列):
图中的大方框是transform和agg所不一样的地方,对agg而言,会计算得到A,B,C公司对应的均值并直接返回,但对transform而言,则会对每一条数据求得相应的结果,同一组内的样本会有相同的值,组内求完均值后会按照原索引的顺序返回结果,如果有不理解的可以拿这张图和agg那张对比一下。
4. apply
apply应该是大家的老朋友了,它相比agg和transform而言更加灵活,能够传入任意自定义的函数,实现复杂的数据操作。那么问题来了,在groupby后使用apply和groupby之前使用有什么区别呢?
区别是有的,但是整个实现原理是基本一致的。两者的区别在于,对于groupby后的apply,以分组后的子DataFrame作为参数传入指定函数的,基本操作单位是DataFrame,而之前介绍的apply的基本操作单位是Series。还是以一个案例来介绍groupby后的apply用法。
假设现在需要获取各个公司年龄最大的员工的数据,该怎么实现呢?可以用以下代码实现:
这样便得到了每个公司年龄最大的员工的数据,整个流程图解如下:
最后,关于apply的使用,这里有个小建议,虽然说apply拥有更大的灵活性,但apply的运行效率会比agg和transform更慢。所以,groupby之后能用agg和transform解决的问题还是优先使用这两个方法,实在解决不了了才考虑使用apply进行操作。
5. 25个代码示例
1. 单列聚合
计算出每个company的平均salary:
2. 多列聚合
在一个操作中进行多个聚合。下面是计算每个company的平均薪资和年龄:
注意,这里使用的是双方括号“[[]]”。
3. 多方式聚合
使用agg函数来计算多个聚合值:
4. 对聚合结果进行命名
可以对聚合的结果进行命名:
5. 多个聚合和多个函数
6. 不同列的聚合进行命名
7. as_index参数
如果groupby操作的输出是DataFrame,可以使用as_index参数使它们成为DataFrame中的一列。
8. 用于分组的多列
就像可以聚合多个列一样,也可以使用多个列进行分组。
sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")).head()
9. 排序输出
可以使用sort_values
函数根据聚合列对输出进行排序.
sales.groupby(["store","product_group"], as_index=False).agg(avg_sales = ("last_week_sales", "mean")).sort_values(by='avg_sales', ascending=False).head()
10. 最大的Top N
max函数返回每个组的最大值。如果需要n个最大的值,可以用下面的方法:
11. 最小的Top N
与最大值相似,也可以求最小值
12. 第n个值
还可以找到一组中的第n个值,例如,找到每个company中年龄第2的薪水:
13. 第n个值,倒排序
也可以用负的第n项。例如," nth(-2) "返回从末尾开始的第二行。
14. 唯一值
unique
函数可用于查找每组中唯一的值。例如,可以找到每个company中唯一的年龄,代码如下:
15. 唯一值的数量
可以使用nunique函数找到每组中唯一值的数量:
16. Lambda表达式
可以在agg函数中使用lambda表达式作为自定义聚合操作。
17. apply函数
使用apply函数将Lambda表达式应用到每个组,如下所示:
18. dropna
缺省情况下,groupby
函数忽略缺失值。如果用于分组的列中缺少一个值,那么它将不包含在任何组中,也不会单独显示。所以可以使用dropna参数来改变这个行为。
首先添加一个缺少存储值的新行:
然后计算带有dropna参数和不带有dropna参数的每个company的平均age,以查看差异。
19. 求组的个数
有时需要知道生成了多少组,这可以使用ngroups
:
20. 获得一个特定分组
get_group
函数可获取特定组并且返回DataFrame。
21. rank函数
rank
函数用于根据给定列中的值为行分配秩。可以使用rank和groupby函数分别对每个组中的行进行排序。
22. 累计操作
可以计算出每组的累计总和:
先创建一个示例dataframe:
然后单独创建一个列,包含值列的累计总和,如下所示:
23. expanding函数
expanding
函数提供展开转换。但是对于展开以后的操作还是需要一个累计函数来对其操作。例如它与cumsum 函数一起使用,结果将与与sum函数相同。
24. 累积平均
利用展开函数和均值函数计算累积平均:文章来源:https://www.toymoban.com/news/detail-776836.html
25. 展开后的最大值
可以使用expand和max函数记录组当前最大值:
在Pandas中groupby函数与aggregate函数共同构成了高效的数据分析工具。文章来源地址https://www.toymoban.com/news/detail-776836.html
参考资料
- 超好用的Groupby用法详解
- 25个例子学会Pandas Groupby 操作
- 数据处理三板斧——map、apply、applymap详解
到了这里,关于【Python】Pandas Groupby操作的25个示例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!