【Python】Pandas中的宝藏函数-apply
共 5720字,需浏览 12分钟
·
2021-08-05 09:49
基本语法:
DataFrame.apply(func, axis=0, raw=False, result_type=None,
args=(), **kwargs)
参 数:
func : function 应用到每行或每列的函数。
axis :{0 or 'index', 1 or 'columns'}, default 0 函数应用所沿着的轴。
0 or index : 在每一列上应用函数。
1 or columns : 在每一行上应用函数。
raw : bool, default False 确定行或列以Series还是ndarray对象传递。
False : 将每一行或每一列作为一个Series传递给函数。
True : 传递的函数将接收ndarray 对象。如果你只是应用一个 NumPy 还原函数,这将获得更好的性能。
result_type : {'expand', 'reduce', 'broadcast', None}, default None 只有在axis=1列时才会发挥作用。
expand : 列表式的结果将被转化为列。
reduce : 如果可能的话,返回一个Series,而不是展开类似列表的结果。这与 expand 相反。
broadcast : 结果将被广播到 DataFrame 的原始形状,原始索引和列将被保留。
默认行为(None)取决于应用函数的返回值:类似列表的结果将作为这些结果的 Series 返回。但是,如果应用函数返回一个 Series ,这些结果将被扩展为列。
args : tuple 除了数组/序列之外,要传递给函数的位置参数。
**kwds: 作为关键字参数传递给函数的附加关键字参数。
官方:https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.apply.html
先构造一个数据集
data = pd.DataFrame(
{"name":['Jack', 'Alice', 'Lily', 'Mshis', 'Gdli', 'Agosh', 'Filu', 'Mack', 'Lucy', 'Pony'],
"gender":['F', 'M', 'F', 'F', 'M', 'F', 'M', 'M', 'F', 'F'],
"age":[25, 34, 49, 42, 28, 23, 45, 21, 34, 29]}
)
data
name gender age
0 Jack F 25
1 Alice M 34
2 Lily F 49
3 Mshis F 42
4 Gdli M 28
5 Agosh F 23
6 Filu M 45
7 Mack M 21
8 Lucy F 34
9 Pony F 29
1)单列数据
这里我们参照2.1向apply()中传入lambda函数:
x:'女性' if x is 'F' else '男性')
0 女性
1 男性
2 女性
3 女性
4 男性
5 女性
6 男性
7 男性
8 女性
9 女性
可以看到这里实现了跟map()一样的功能。
2)输入多列数据
def fun_all(name, gender, age):
gender = '女性' if gender is 'F' else '男性'
return '有个名字叫{}的人,性别为{},年龄为{}。'.format(name, gender, age)
data.apply(lambda row:fun_all(row['name'],row['gender'],row['age']), axis = 1)
0 有个名字叫Jack的人,性别为女性,年龄为25。
1 有个名字叫Alice的人,性别为男性,年龄为34。
2 有个名字叫Lily的人,性别为女性,年龄为49。
3 有个名字叫Mshis的人,性别为女性,年龄为42。
4 有个名字叫Gdli的人,性别为男性,年龄为28。
5 有个名字叫Agosh的人,性别为女性,年龄为23。
6 有个名字叫Filu的人,性别为男性,年龄为45。
7 有个名字叫Mack的人,性别为男性,年龄为21。
8 有个名字叫Lucy的人,性别为女性,年龄为34。
9 有个名字叫Pony的人,性别为女性,年龄为29。
def intro(r):
#r代指dataframe中的任意行,是series类型数据,拥有类似字典的使用方法。
return '大家好,我是{name},性别是{gender},今年{age}岁了!'.format(name=r['name'], gender=r['gender'],age=r['age'])
axis=1)
:
0 大家好,我是Jack,性别是F,今年25岁了!
1 大家好,我是Alice,性别是M,今年34岁了!
2 大家好,我是Lily,性别是F,今年49岁了!
3 大家好,我是Mshis,性别是F,今年42岁了!
4 大家好,我是Gdli,性别是M,今年28岁了!
5 大家好,我是Agosh,性别是F,今年23岁了!
6 大家好,我是Filu,性别是M,今年45岁了!
7 大家好,我是Mack,性别是M,今年21岁了!
8 大家好,我是Lucy,性别是F,今年34岁了!
9 大家好,我是Pony,性别是F,今年29岁了!
dtype: object
#其实这样写也是可以的,更简单些
def intro(r):
return '大家好,我是{},性别是{},今年{}岁了!'.format(r['name'], r['gender'],r['age'])
1) =
3)输出多列数据
data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1)
0 (J, ack)
1 (A, lice)
2 (L, ily)
3 (M, shis)
4 (G, dli)
5 (A, gosh)
6 (F, ilu)
7 (M, ack)
8 (L, ucy)
9 (P, ony)
可以看到,这里返回的是单列结果,每个元素是返回值组成的元组,这时若想直接得到各列分开的结果,需要用到zip(*zipped)来解开元组序列,从而得到分离的多列返回值:
a, b = zip(*data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1))
a
('J', 'A', 'L', 'M', 'G', 'A', 'F', 'M', 'L', 'P')
b
('ack', 'lice', 'ily', 'shis', 'dli', 'gosh', 'ilu', 'ack', 'ucy', 'ony')
4)结合tqdm给apply()过程添加进度条
tqdm:用于添加代码进度条的第三方库
from tqdm import tqdm
def fun_all(name, gender, age):
gender = '女性' if gender is 'F' else '男性'
return '有个名字叫{}的人,性别为{},年龄为{}。'.format(name, gender, age)
#启动对紧跟着的apply过程的监视
from tqdm import tqdm
tqdm.pandas(desc='apply')
data.progress_apply(lambda row:fun_all(row['name'],row['gender'],
row['age']), axis = 1)
apply: 100%|██████████| 10/10 [00:00<00:00, 5011.71it/s]
0 有个名字叫Jack的人,性别为女性,年龄为25。
1 有个名字叫Alice的人,性别为男性,年龄为34。
2 有个名字叫Lily的人,性别为女性,年龄为49。
3 有个名字叫Mshis的人,性别为女性,年龄为42。
4 有个名字叫Gdli的人,性别为男性,年龄为28。
5 有个名字叫Agosh的人,性别为女性,年龄为23。
6 有个名字叫Filu的人,性别为男性,年龄为45。
7 有个名字叫Mack的人,性别为男性,年龄为21。
8 有个名字叫Lucy的人,性别为女性,年龄为34。
9 有个名字叫Pony的人,性别为女性,年龄为2
import pandas as pd
data = pd.DataFrame(
{"name":['Jack', 'Alice', 'Lily', 'Mshis', 'Gdli', 'Agosh', 'Filu', 'Mack', 'Lucy', 'Pony'],
"gender":['F', 'M', 'F', 'F', 'M', 'F', 'M', 'M', 'F', 'F'],
"age":[25, 34, 49, 42, 28, 23, 45, 21, 34, 29]}
)
def fun_all(name, gender, age):
gender == '女性' if gender == 'F' else '男性'
return '有个名字叫{}的人,性别为{},年龄为{}。'.format(name, gender, age)
from tqdm._tqdm_notebook import tqdm_notebook
tqdm_notebook.pandas(desc='apply')
data.progress_apply(lambda row:fun_all(row['name'],row['gender'],
row['age']), axis = 1)
往期精彩回顾 本站qq群851320808,加入微信群请扫码: