apply筛选pandas_功夫Pandas（⼆）分组（groupby）
前⾔
pandas是Python的⼀个数据分析库，提供如DataFrame等⼗分容易操作的数据结构，是近年做数据分析时不可或缺的⼯具之⼀。
但是pandas知识点繁多，同⼀个操作可以⽤多种不同的⽅法实现，再加上⽹上满坑满⾕的教学资料，质
量参差不齐，导致很多初学者常常看完后不知所云，且很快就忘掉了。本系列正是从这点出发，将60个常⽤的pandas知识点由浅⼊深地分成4⼤类别：Pandas基础理论、三类操作（分组、变形、合并）、四类数据（缺失数据、⽂本数据、分类数据、时序数据）、综合例⼦（带你再次完整⾛⼀遍前⾯所有操作）。保证你看完后⾜以应付⽇常90%的情景。
废话不多说啦，让我们开始这趟pandas旅程吧！
本⽂主要内容概览：
⽂末放上代码
分组通常是⼀个SAC过程
SAC指的是分组操作中的split-apply-combine过程 其中split指基于某⼀些规则，将数据拆成若⼲组，apply是指对每⼀组独⽴地使⽤函数，combine指将每⼀组的结果组合成某⼀类数据结构
在apply过程中，我们实际往往会遇到四类问题：
1. 整合（Aggregation）——即分组计算统计量（如求均值、求每组元素个数）
2. 变换（Transformation）——即分组对每个单元的数据进⾏操作（如元素标准化）
3. 过滤（Filtration）——即按照某些规则筛选出⼀些组（如选出组内某⼀指标⼩于50的组）
4. 综合问题——即前⾯提及的三种问题的混合
1. groupBy（SAC中的S）
ipl_data = {'Team': ['Riders', 'Riders', 'Devils', 'Devils', 'Kings',
'kings', np.nan, 'Kings', 'Riders', 'Royals', 'Royals', 'Riders'],
groupby分组'Rank': [1, 2, 2, 3, 3,4 ,1 ,1,2 , 4,1,2],
'Year': [2014,2015,2014,2015,2014,2015,2016,2017,2016,2014,2015,2017],
'Points':[876,789,863,673,741,812,756,788,694,701,804,690]}
df = pd.DataFrame(ipl_data)
df
#经过groupby后会⽣成⼀个groupby对象，该对象本⾝不会返回任何东西，只有当相应的⽅法被调⽤才会起作⽤group_year =  df.groupby('Year')
#对于groupby函数⽽⾔，分组的依据是⾮常⾃由的，只要是与数据框长度相同的列表即可，同时⽀持函数型分组np.random.choice(['a','b','c'],df.shape[0])
#函数型分组
1.1 索引groups
#索引全部groups，返回Dict
ups
#索引单个group，返回Dataframe
_group(2014)
#索引单列
group_year['Rank'].mean()>1
#遍历groups
for name,group in group_year:
name
group
1.2 常⽤⽅法
输出groups每个组前⼏⾏、统计groups⼤⼩...
#对分组对象使⽤head函数，返回的是每个组的前⼏⾏，⽽不是数据集前⼏⾏
group_year.head(1)
group_year.size()
#Compute count of group, excluding missing values.
unt()
2. Apply（SAC中的A）
2.1 聚合（Aggregation）
所谓聚合就是把⼀堆数，变成⼀个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数，也可以使⽤⾃定义函数
group_year['Points'].agg('mean')
#同时使⽤多个聚合函数
group_year.agg(['sum','mean','std'])
#利⽤元组进⾏重命名
group_year.agg([('rename_sum','sum'),('rename_mean','mean')])
#指定哪些函数作⽤哪些列
group_year.agg({'Rank':['mean','max'],'Points':'var'})
#⾃定义函数
#agg函数的传⼊是分组逐列进⾏+⾃定义函数，就可以做许多事情
group_year['Rank'].agg(lambda x:x.max()-x.min())
2.2 过滤（Filteration）
filter函数是⽤来筛选某些组的（务必记住结果是组的全体），传⼊的值应当是布尔标量
相⽐不分组直接过滤，区别是，如果这个组有⼀个不满⾜，整个组都被过滤掉了
group_year.filter(lambda x: (x['Points']> 680).all())
2.3 变换（Transformation）
transform传⼊的值是⼀个函数，函数作⽤对象是各个组的列，并且返回值需要与列长完全⼀致。如果返回了标量值，那么组内的所有元素会被⼴播为这个值。
transform与Aggregation的区别在于，transform返回⼀列值，Aggregation返回⼀个值
ansform(lambda x:x-x.min())
ansform(lambda an())
2.4 综合
apply传⼊的值是函数。apply函数像是其他分组函数的综合体，可以实现其他函数的所有功能。正因为如此，在所有的分组函数中，apply 是应⽤最为⼴泛的。但是正因为它的灵活性，导致它的效率没有
那些具有特定功能的函数的效率⾼，⽐如：transform、aggregation
#返回值是列表
group_year[['Rank','Points']].apply(lambda x:x-x.min())
#返回值是标量
group_year[['Rank','Points']].apply(lambda an())
最后给⼤家留⼏个思考题：
最后给⼤家留⼏个思考题
1. 整合、变换、过滤三者在输⼊输出和功能上有何异同
2. 既然索引已经能够选出某些符合条件的⼦集，那么filter函数的设计有什么意义？
代码地址
github/maoweixy/machine-learning/blob/master/Snippet/Pandas_Snippet.ipynb g ithub
参考
1. github/datawhalechina/joyful-pandas
2. Python for Data Analysis Wes McKinney著
3. Pandas Cookbook Theodore Petrou著
本期⽂章内容到此为⽌。如果⼤家觉得写得还⾏，请给我点个赞，这是对我最⼤的⿎励！我会尽快更新后续的系列⽂章，欢迎⼤家关注我，与我⼀起学习，⼀起快乐AI~

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。