Pandas中的宝藏函数-apply-技术圈

apply()堪称Pandas中最好用的方法，其使用方式跟map()很像，主要传入的主要参数都是接受输入返回输出。

但相较于昨天介绍的map()针对单列Series进行处理，一条apply()语句可以对单列或多列进行运算，覆盖非常多的使用场景。

基本语法：

DataFrame.apply(func, axis=0, raw=False, result_type=None, args=(), **kwargs)

参数：

func : function 应用到每行或每列的函数。

axis ：{0 or 'index', 1 or 'columns'}, default 0 函数应用所沿着的轴。

0 or index : 在每一列上应用函数。

1 or columns : 在每一行上应用函数。

raw : bool, default False 确定行或列以Series还是ndarray对象传递。

False : 将每一行或每一列作为一个Series传递给函数。

True : 传递的函数将接收ndarray 对象。如果你只是应用一个 NumPy 还原函数，这将获得更好的性能。

result_type : {'expand', 'reduce', 'broadcast', None}, default None 只有在axis=1列时才会发挥作用。

expand : 列表式的结果将被转化为列。

reduce : 如果可能的话，返回一个Series，而不是展开类似列表的结果。这与 expand 相反。

broadcast : 结果将被广播到 DataFrame 的原始形状，原始索引和列将被保留。

默认行为(None)取决于应用函数的返回值：类似列表的结果将作为这些结果的 Series 返回。但是，如果应用函数返回一个 Series ，这些结果将被扩展为列。

args : tuple 除了数组/序列之外，要传递给函数的位置参数。

**kwds: 作为关键字参数传递给函数的附加关键字参数。

官方：https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html

先构造一个数据集

data = pd.DataFrame({"name":['Jack', 'Alice', 'Lily', 'Mshis', 'Gdli', 'Agosh', 'Filu', 'Mack', 'Lucy', 'Pony'],"gender":['F', 'M', 'F', 'F', 'M', 'F', 'M', 'M', 'F', 'F'],"age":[25, 34, 49, 42, 28, 23, 45, 21, 34, 29]}                     ) data name gender  age0   Jack      F   251  Alice      M   342   Lily      F   493  Mshis      F   424   Gdli      M   285  Agosh      F   236   Filu      M   457   Mack      M   218   Lucy      F   349   Pony      F   29

1）单列数据

这里我们参照2.1向apply()中传入lambda函数：

data.gender.apply(lambda x:'女性' if x is 'F' else '男性')0    女性1    男性2    女性3    女性4    男性5    女性6    男性7    男性8    女性9    女性

可以看到这里实现了跟map()一样的功能。

2）输入多列数据

apply()最特别的地方在于其可以同时处理多列数据，我们先来了解一下如何处理多列数据输入单列数据输出的情况。

譬如这里我们编写一个使用到多列数据的函数用于拼成对于每一行描述性的话，并在apply()用lambda函数传递多个值进编写好的函数中

注意：当调用DataFrame.apply()时，apply()在串行过程中实际处理的是每一行数据，而不是Series.apply()那样每次处理单个值，在处理多个值时要给apply()添加参数axis=1

def fun_all(name, gender, age):    gender = '女性' if gender is 'F' else '男性'    return '有个名字叫{}的人，性别为{}，年龄为{}。'.format(name, gender, age)

data.apply(lambda row:fun_all(row['name'],row['gender'],row['age']), axis = 1)0     有个名字叫Jack的人，性别为女性，年龄为25。1    有个名字叫Alice的人，性别为男性，年龄为34。2     有个名字叫Lily的人，性别为女性，年龄为49。3    有个名字叫Mshis的人，性别为女性，年龄为42。4     有个名字叫Gdli的人，性别为男性，年龄为28。5    有个名字叫Agosh的人，性别为女性，年龄为23。6     有个名字叫Filu的人，性别为男性，年龄为45。7     有个名字叫Mack的人，性别为男性，年龄为21。8     有个名字叫Lucy的人，性别为女性，年龄为34。9     有个名字叫Pony的人，性别为女性，年龄为29。

def intro(r):    #r代指dataframe中的任意行，是series类型数据，拥有类似字典的使用方法。    return '大家好，我是{name},性别是{gender}，今年{age}岁了！'.format(name=r['name'], gender=r['gender'],age=r['age'])
data.apply(intro, axis=1)Out[81]: 0     大家好，我是Jack,性别是F，今年25岁了！1    大家好，我是Alice,性别是M，今年34岁了！2     大家好，我是Lily,性别是F，今年49岁了！3    大家好，我是Mshis,性别是F，今年42岁了！4     大家好，我是Gdli,性别是M，今年28岁了！5    大家好，我是Agosh,性别是F，今年23岁了！6     大家好，我是Filu,性别是M，今年45岁了！7     大家好，我是Mack,性别是M，今年21岁了！8     大家好，我是Lucy,性别是F，今年34岁了！9     大家好，我是Pony,性别是F，今年29岁了！dtype: object
#其实这样写也是可以的，更简单些def intro(r):    return '大家好，我是{},性别是{}，今年{}岁了！'.format(r['name'], r['gender'],r['age'])

data.apply(intro, axis=1)

3）输出多列数据

有些时候我们利用apply()会遇到希望同时输出多列数据的情况，在apply()中同时输出多列时实际上返回的是一个Series，这个Series中每个元素是与apply()中传入函数的返回值顺序对应的元组。

比如下面我们利用apply()来提取name列中的首字母和剩余部分字母：

data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1)0     (J, ack)1    (A, lice)2     (L, ily)3    (M, shis)4     (G, dli)5    (A, gosh)6     (F, ilu)7     (M, ack)8     (L, ucy)9     (P, ony)

可以看到，这里返回的是单列结果，每个元素是返回值组成的元组，这时若想直接得到各列分开的结果，需要用到zip(*zipped)来解开元组序列，从而得到分离的多列返回值：

a, b = zip(*data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1))
a('J', 'A', 'L', 'M', 'G', 'A', 'F', 'M', 'L', 'P')b('ack', 'lice', 'ily', 'shis', 'dli', 'gosh', 'ilu', 'ack', 'ucy', 'ony')

4）结合tqdm给apply()过程添加进度条

我们知道apply()在运算时实际上仍然是一行一行遍历的方式，因此在计算量很大时如果有一个进度条来监视运行进度就很舒服。

tqdm:用于添加代码进度条的第三方库

tqdm对pandas也是有着很好的支持。

我们可以使用progress_apply()代替apply()，并在运行progress_apply()之前添加tqdm.tqdm.pandas(desc='')来启动对apply过程的监视。

其中desc参数传入对进度进行说明的字符串，下面我们在上一小部分示例的基础上进行改造来添加进度条功能：

from tqdm import tqdmdef fun_all(name, gender, age):    gender = '女性' if gender is 'F' else '男性'    return '有个名字叫{}的人，性别为{}，年龄为{}。'.format(name, gender, age)    #启动对紧跟着的apply过程的监视from tqdm import tqdmtqdm.pandas(desc='apply')data.progress_apply(lambda row:fun_all(row['name'],row['gender'],                  row['age']), axis = 1)
apply: 100%|██████████| 10/10 [00:00<00:00, 5011.71it/s]
0     有个名字叫Jack的人，性别为女性，年龄为25。1    有个名字叫Alice的人，性别为男性，年龄为34。2     有个名字叫Lily的人，性别为女性，年龄为49。3    有个名字叫Mshis的人，性别为女性，年龄为42。4     有个名字叫Gdli的人，性别为男性，年龄为28。5    有个名字叫Agosh的人，性别为女性，年龄为23。6     有个名字叫Filu的人，性别为男性，年龄为45。7     有个名字叫Mack的人，性别为男性，年龄为21。8     有个名字叫Lucy的人，性别为女性，年龄为34。9     有个名字叫Pony的人，性别为女性，年龄为2

可以看到在jupyter lab中运行程序的过程中，下方出现了监视过程的进度条，这样就可以实时了解apply过程跑到什么地方了。

结合tqdm_notebook()给apply()过程添加美观进度条，熟悉tqdm的朋友都知道其针对jupyter notebook开发了ui更加美观的tqdm_notebook()。而要想在jupyter notebook/jupyter lab平台上为pandas的apply过程添加美观进度条，可以参照如下示例：

import pandas as pd

data = pd.DataFrame({"name":['Jack', 'Alice', 'Lily', 'Mshis', 'Gdli', 'Agosh', 'Filu', 'Mack', 'Lucy', 'Pony'],"gender":['F', 'M', 'F', 'F', 'M', 'F', 'M', 'M', 'F', 'F'],"age":[25, 34, 49, 42, 28, 23, 45, 21, 34, 29]}                     )

def fun_all(name, gender, age):    gender == '女性' if gender == 'F' else '男性'    return '有个名字叫{}的人，性别为{}，年龄为{}。'.format(name, gender, age)        from tqdm._tqdm_notebook import tqdm_notebook tqdm_notebook.pandas(desc='apply')

data.progress_apply(lambda row:fun_all(row['name'],row['gender'],                  row['age']), axis = 1)