Pandas清洗数据的4个实用小技巧
共 3048字，需浏览 7分钟
·
2021-03-24 13:39
1. 读取时抽样 1%
对于动辄就几十或几百个 G 的数据，在读取这么大数据时，有没有办法随机选取一小部分数据，然后读入内存，快速了解数据和开展 EDA ？
使用 Pandas 的 skiprows 和 概率知识，就能做到。
下面解释具体怎么做。
如下所示，读取某 100 G 大小的 big_data.csv 数据
使用 skiprows 参数，
x > 0 确保首行读入，
np.random.rand() > 0.01 表示 99% 的数据都会被随机过滤掉
言外之意，只有全部数据的 1% 才有机会选入内存中。
import pandas as pd
import numpy as np
df = pd.read_csv("big_data.csv",
skiprows = lambda x: x>0 and
np.random.rand() > 0.01)
print("The shape of the df is {}.
It has been reduced 100 times!".format(df.shape))
使用这种方法，读取的数据量迅速缩减到原来的 1% ，对于迅速展开数据分析有一定的帮助。
2. replace 做清洗
清洗数据时，少不了要对数据内容进行查找替换。
这里有一个快速清洗数据的小技巧，在某列上使用 replace 方法和正则，快速完成值的清洗。
源数据：
d = {"customer": ["A", "B", "C", "D"],
"sales":[1100, "950.5RMB", "$400", " $1250.75"]}
df = pd.DataFrame(d)
df
打印结果：
customer sales
0 A 1100
1 B 950.5RMB
2 C $400
3 D $1250.75
看到 sales 列的值，有整型，浮点型+RMB后变为字符串型，还有美元+整型，美元+浮点型。
我们的目标：清洗掉 RMB，$ 符号，转化这一列为浮点型。
一行代码搞定：（点击代码区域，向右滑动，查看完整代码）
df["sales"] = df["sales"].replace("[$,RMB]", "", regex = True).astype("float")
使用正则替换，将要替换的字符放到列表中 [$,RMB]，替换为空字符，即 ""；
最后使用 astype 转为 float
打印结果：
customer sales
0 A 1100.00
1 B 950.50
2 C 400.00
3 D 1250.75
Done ~
如果不放心，再检查下值的类型：
df["sales"].apply(type)
打印结果：
0 <class 'float'>
1 <class 'float'>
2 <class 'float'>
3 <class 'float'>
3. 宽 DF 变长
为什么需要宽 DF 变长 ?
构造一个 DataFrame：
d = {\
"district_code": [12345, 56789, 101112, 131415],
"apple": [5.2, 2.4, 4.2, 3.6],
"banana": [3.5, 1.9, 4.0, 2.3],
"orange": [8.0, 7.5, 6.4, 3.9]
}
df = pd.DataFrame(d)
df
打印结果：
district_code apple banana orange
0 12345 5.2 3.5 8.0
1 56789 2.4 1.9 7.5
2 101112 4.2 4.0 6.4
3 131415 3.6 2.3 3.9
5.2 表示 12345 区域的 apple 价格，并且 apple, banana, orange，这三列都是一种水果，那么如何把这三列合并为一列？
使用 pd.melt
具体参数取值，大家根据此例去推敲：
df = df.melt(\
id_vars = "district_code",
var_name = "fruit_name",
value_name = "price")
df
打印结果：
district_code fruit_name price
0 12345 apple 5.2
1 56789 apple 2.4
2 101112 apple 4.2
3 131415 apple 3.6
4 12345 banana 3.5
5 56789 banana 1.9
6 101112 banana 4.0
7 131415 banana 2.3
8 12345 orange 8.0
9 56789 orange 7.5
10 101112 orange 6.4
11 131415 orange 3.9
以上就是长 DataFrame，对应的原 DataFrame 是宽 DF.
看明白了吗？
4. 转 datetime
告诉 year（年份）和 dayofyear（一年中的第几天），怎么转 datetime?
原 DataFrame
d = {\
"year": [2019, 2019, 2020],
"day_of_year": [350, 365, 1]
}
df = pd.DataFrame(d)
df
打印结果：
year day_of_year
0 2019 350
1 2019 365
2 2020 1
转 datetime 的 trick。
Step 1: 创建整数
df["int_number"] = df["year"]*1000 + df["day_of_year"]
df
打印结果：
year day_of_year int_number
0 2019 350 2019350
1 2019 365 2019365
2 2020 1 2020001
Step 2: to_datetime
df["date"] = pd.to_datetime(df["int_number"], format = "%Y%j")
df
注意 "%Y%j" 中转化格式 j
打印结果：
year day_of_year int_number date
0 2019 350 2019350 2019-12-16
1 2019 365 2019365 2019-12-31
2 2020 1 2020001 2020-01-01
以上就是 Pandas 做数据清洗的4个 小技巧。
如果文章对你有帮助，欢迎转发/点赞/收藏~
作者：zglg
_往期文章推荐_