Pandas 多进程处理数据,速度快了不少!

前言

python 有自己的多进包 multiprocessing 去实现并行计算，但在 pandas 处理数据中，使用 multiprocessing 并不好使，只听见风扇转啊转，就不见运行完毕。

为了提高一点数据清洗的速度，找到一个 pandas 多进程的方法，pandarallel 库，做了一下测试。

小数据集（先试过了 1w）可能多进程还没单进程快，因为进程开启关闭也要一点时间；于是我弄了 100w 数据来测试：

利用以上数据做以下处理：

1. 剔除 titile，comment 两列文本中的表情符号

2. title，comment 两列做一个分词处理，覆盖原来的列

单进程

在单进程的情况下，可以看到用时 294s，接近 5min 了。

多进程

multiprocessing 多进程写法，这种写法网上一搜一大把，代码没有错，多进程任务可以执行。

例如 run_task 函数中的任务是爬虫代码时，没有什么问题，但如果是数据清洗的代码，我测试就很久都跑不出来：

接下来换成 pandas 多进程 pandarallel 的写法就可以：

可以看到改写后时间用时 154s，2min30s，比单进程快了一倍。

关于 pandarallel  可以查看文档：

https://github.com/nalepae/pandarallel/tree/v1.5.2

对应的多进程写法函数对照表，pandas 中的 apply，applymap，map 三个函数的区别，写对应的代码：

源码获取

https://blog.csdn.net/zjkpy_5/article/details/123974556?spm=1001.2014.3001.5501

END

读者交流群已建立，找到我备注 “交流”，即可获得加入我们~

听说点 “在看” 的都变得更好看呐~

关注关注小编呗~小编给你分享爬虫，数据分析，可视化的内容噢~

扫一扫下方二维码即可关注我噢~

-END-