【Python】分享几个令人相见恨晚的Pandas函数

机器学习初学者

共 2161字,需浏览 5分钟

 ·

2022-05-19 22:32

又是新的一周,今天小编给大家来分享几个好用到爆的Pandas函数,或许不那么为人所知,但是相信会给大家在数据分析与挖掘的过程中起到不小的帮助。

创建数据集

首先我们先来创建一个数据集,代码如下

import numpy as np
import pandas as pd
df = pd.DataFrame({
   "date": pd.date_range(start="2021-11-20", periods=100, freq="D"),
   "class": ["A","B","C","D"] * 25,
   "amount": np.random.randint(10, 100, size=100)
})
df.head()

output

To_period

当我们在处理日期数据时,有时候需要提取出月份的数据,有时候我们需要的是季度的数据,这里就可以通过to_period()方法来实现了,代码如下

df["year"] = df["date"].dt.to_period("Y")
df["month"] = df["date"].dt.to_period("M")
df["day"] = df["date"].dt.to_period("D")
df["quarter"] = df["date"].dt.to_period("Q")
df.head()

output

在此基础之上,我们可以进一步对数据进行分析,例如

df["month"].value_counts()

output

我们想要筛选出“2021-12”该时段的数据,代码如下

df[df['month'] == "2021-12"].head()

output

生成假数据

我们在建模、训练模型的时候,需要用到大量的数据集,然鹅很多时候我们会遇到数据量不够的情况,小编之前写过一篇相关的教程,使用Python中的faker模块或者通过一些深度学习的模型来生成假数据
【原创好文】当机器学习遇到数据量不够时,这几个Python技巧为你化解难题
pandas模块中也有一些相关的方法来帮助我们解决数据量不够的问题,代码如下
pd.util.testing.makeDataFrame()

output

默认生成的假数据是30行4列的,当然我们也可以指定生成数据的行数和列数,代码如下

pd.util.testing.makeCustomDataframe(nrows=1000, ncols=5)

output

要是我们希望创建的数据集当中存在的缺失值,调用的则是makeMissingDataframe()方法

pd.util.testing.makeMissingDataframe()

output

要是我们希望创建的数据集包含了整型、浮点型以及时间日期等其他类型的数据,调用的是makeMixedDataFrame()方法
pd.util.testing.makeMixedDataFrame()

output

将数据集导出至压缩包中

众多周知,我们可以轻松地将数据集导出至csv文件、json格式的文件等等,但是有时候我们想要节省存储的资源,例如在文件的传送过程当中,想将其导出至压缩包当中,代码如下

df = pd.util.testing.makeCustomDataframe(nrows=1000, ncols=5)
df.shape

output

(1000, 5)
我们先将其存储成csv格式的文件,看一下文件的大小,结果大概是占到了45KB的存储,代码如下

import os
os.path.getsize("sample.csv")/1024

output

44

要是最后导出至压缩包当中呢,我们看一下文件的大小有多少?代码如下

df.to_csv('sample.csv.gz', compression='gzip')
os.path.getsize('sample.csv.gz')/1024

output

14
结果只占到了13KB的空间大小,大概是前者的三分之一吧,当然pandas还能够直接读取压缩包变成DataFrame数据集,代码如下

df = pd.read_csv('sample.csv.gz', compression='gzip', index_col=0)
df.head()

output

一行代码让Pandas提速

很多时候我们想要通过pandas中的apply()方法将自定义函数或者是一些内部自带的函数应用到DataFrame每一行的数据当中,如果行数非常多的话,处理起来会非常地耗时间,这里使用的是swifter可以自动使apply()方法的运行速度达到最快,并且只需要一行代码即可,例如
import swifter
 
df.swifter.apply(lambda x: x.max() - x.mean())

当然使用前,我们需要先前下载该模块,使用pip命令

pip install swifter
往期精彩回顾




浏览 36
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报