Pandas中Apply函数加速百倍的技巧

极市平台

共 3136字,需浏览 7分钟

 ·

2021-09-14 06:25

↑ 点击蓝字 关注极市平台

作者 | 杰少
来源 | 
kaggle竞赛宝典
编辑 | 极市平台

极市导读

 

现在的dask,cudf包的出现,我们的数据处理得到了大大的加速,但不是很贵的人比较好gpu,非常多的朋友仍然可以使用pandas工具包,但等真的很无奈,熊猫的许多问题我们都需要使用apply函数来进行处理,而apply函数是非常缓慢的,本文我们就介绍如何加速apply函数600倍的技巧。 >>加入极市CV技术交流群,走在计算机视觉的最前沿

现在的dask,cudf包的出现,我们的数据处理得到了大大的加速,但不是很贵的人比较好gpu,非常多的朋友仍然可以使用pandas工具包,但等真的很无奈,熊猫的许多问题我们都需要使用apply函数来进行处理,而apply函数是非常缓慢的,本文我们就介绍如何加速apply函数600倍的技巧。

实验对比

01 应用(基线)

我们以应用为案,原来的应用程序处理下面这个问题,需要18.4 秒的时间。

import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randint(0, 11, size=(1000000, 5)), columns=('a','b','c','d','e'))
def func(a,b,c,d,e):
if e == 10:
return c*d
elif (e < 10) and (e>=5):
return c+d
elif e < 5:
return a+b
%%time
df['new'] = df.apply(lambda x: func(x['a'], x['b'], x['c'], x['d'], x['e']), axis=1)
CPU times: user 17.9 s, sys: 301 ms, total: 18.2 s
Wall time: 18.4 s

02 迅捷

因为处理是并行的,所以我们可以使用Swift进行加速,在使用Swift之后,相同的操作在我的机器上可以提升到7.67s 。

%%time
# !pip install swifter
import swifter
df['new'] = df.swifter.apply(lambda x : func(x['a'],x['b'],x['c'],x['d'],x['e']),axis=1)
HBox(children=(HTML(value='Dask Apply'), FloatProgress(value=0.0, max=16.0), HTML(value='')))

CPU times: user 329 ms, sys: 240 ms, total: 569 ms
Wall time: 7.67 s

03 矢量化

使用Pandas和Numpy的避免应用方法是将函数直接化。如果我们的操作是可以直接直接化的话,那么我们就很简单的使用

  • 用于循环;
  • 列表处理;
  • 应用等操作

在将上面的问题转化为下面的处理之后,我们的时间为:421 ms

%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 134 ms, sys: 149 ms, total: 283 ms
Wall time: 421 ms

04 类别转化+类别化

我们先将上面的类别转化为int16型,再进行相同的操作,发现时间为:116 ms

for col in ('a','b','c','d'):
df[col] = df[col].astype(np.int16)
%%time
df['new'] = df['c'] * df['d'] #default case e = =10
mask = df['e'] < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'] < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 71.3 ms, sys: 42.5 ms, total: 114 ms
Wall time: 116 ms

05 转化为值处理

在能转化为.values的地方典型转化为.values,再进行操作。

  • 这里先转化为.values等价于转化为numpy,这样我们的操作会更快捷。

于是,上面的操作时间又被延迟为:74.9ms

%%time
df['new'] = df['c'].values * df['d'].values #default case e = =10
mask = df['e'].values < 10
df.loc[mask,'new'] = df['c'] + df['d']
mask = df['e'].values < 5
df.loc[mask,'new'] = df['a'] + df['b']
CPU times: user 64.5 ms, sys: 12.5 ms, total: 77 ms
Wall time: 74.9 ms

实验总结

通过上面的一些小技巧,我们将简单的长大了,具体地:

  • 应用:18.4 秒
  • 应用 + Swifter:7.67 秒
  • 熊猫矢量化:421 毫秒
  • Pandas 矢量化 + 数据类型:116 毫秒
  • Pandas 向量化 + 值 + 数据类型:74.9ms

参考文献

https://towardsdatascience.com/do-you-use-apply-in-pandas-there-is-a-600x-faster-way-d2497facfa66

如果觉得有用,就请分享到朋友圈吧!

△点击卡片关注极市平台,获取最新CV干货

公众号后台回复“CVPR21检测”获取CVPR2021目标检测论文下载~


极市干货
深度学习环境搭建:如何配置一台深度学习工作站?
实操教程:OpenVINO2021.4+YOLOX目标检测模型测试部署为什么你的显卡利用率总是0%?
算法技巧(trick):图像分类算法优化技巧21个深度学习调参的实用技巧


CV技术社群邀请函 #

△长按添加极市小助手
添加极市小助手微信(ID : cvmart4)

备注:姓名-学校/公司-研究方向-城市(如:小极-北大-目标检测-深圳)


即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群


每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~



觉得有用麻烦给个在看啦~  
浏览 48
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报