数据清洗方法总结-技术圈

作者：flora

转自：SAMshare

01-启动阶段

import os
import pandas as pd
import numpy as np

# 显示当前工作路径
os.getcwd()

# 罗列当前路径下的所有文件
os.listdir()

# 改变工作目录
os.chdir("/PATH/TO/SAMSHARE")

# 初始化基础目录
data_path = './02_data/'
save_path = './03_model/'
output_path = './04_output/'

02-导入数据

# 读取CSV文件
data = pd.read_csv(data_path+'data.csv’, encoding='utf8') #有时候用gbk

# 读取TXT文件
data = pd.read_csv(data_path+'data.txt’, seq='\t', encoding='utf8') #有时候用gbk

# 读取excel文件
data = pd.read_excel(data_path+'data.xlsx')

03-数据结构初探

# 查看DataFrame每个字段的空值情况，数据类型
df.info()

# 查看DataFrame的形状
df.shape

# 查看DataFrame的列名
df.columns

# 查看字段的枚举值数量
df["type"].nunique()

# 查看字段的枚举值
df["type"].unique()

# 查看字段的枚举值统计
df["species"].value_counts()

04-数据空值处理

# 查看空值占比
df.isnull().sum()*100/len(df)

## 丢弃与空值相关的数据 ##
#######################
# 删除所有包含空值的行
df.dropna()

# 删除所有包含空值的列
df.dropna(axis=1)

# 删除全部为空值的列
df.dropna(axis=1, how='all')


## 特殊值替代空值 ##
##################
# 空值全部填充为0
df.fillna(0)

# 修改指定位置的值
df.at[1, "sepal_length"]= 9999

# 用字符串替代空值
df.fillna("data missing")

# 用均值填充
df.fillna(df.mean())

# 用指定列的均值来填充指定列
df["sepal_length"].fillna(df["sepal_length"].mean())

05-基础列操作

# 通过列名选择指定“单列”
df["sepal_length"]

# 通过列名选择指定“多列”
df[["sepal_length", "sepal_width", "petal_length", "spp"]]

# 通过数字选择指定列（需要连续）
df.iloc[:, 2:4]

# 通过数字选择指定列（不需要连续）
df.iloc[:, [1,3,4]]

# 丢弃某列
df.drop("sepal_length", axis=1)

# 添加新列
df['new'] = df["sepal_length"]*2

# 条件判断生成新列
df['newcol'] = ["short" if i<3 else "long" for i in df["sepal_width"]] 

# 枚举值映射转换
df.replace({"Species":{"setosa":1, "versicolor":2, "virginica":3}})

# 计算指定两列的均值
df[["sepal_length", "sepal_width"]].mean()

# 同时计算指定两列的加总和均值
df[["sepal_length", "sepal_width"]].agg([np.sum, np.mean])

# 转置DataFrame
df.T

# 把列名转成List
df.columns.tolist()

# 排序
df.sort_values(by = "sepal_width", ascending = True)

# 改列名
df.rename(columns={"old_name": "new_name"})

06-基础行操作

# 选取指定行的数据
df.iloc[3:10,]

# 通过索引选取指定行的数据
df.loc["index1", "index2"]

# 检索包含 "关键字" 的行
df[df["species"].isin(["setosa"])]

# 根据条件筛选行
df.query('sepal_length>=5') # 方法1
df[df.sepal_length>= 5] # 方法2

# 根据指定内容筛选出符合要求的行
df[df["petal_length"].isin([0.2, 0.3])]

# 多条件筛选符合要求的行
df[(df.sepal_length>1) & (df.species=="setosa") | (df.sepal_width<3)]

# 丢弃某行
df.drop(df.index[1])

07-分组操作

# 返回根据字段"species"分组的对象
df.groupby("species")

# 根据"species"分组，返回"sepal_length"的均值
df["sepal_length"].groupby(df["species"]).mean()

# 所有列根据字段"species"分组, 返回sum、mean和std的值 
df.groupby("species").agg([np.sum, np.mean, np.std])

08-关联操作

## merge ##
###########
data = pd.merge(df1,df2,on='key',how='left') # right outer

## concat ##
############
# 上下合并
data = pd.concat([df1,df2])
# 左右合并
data = pd.concat([df1,df2],axis=1)

## join ##
##########
data = df1.join(df2, how='left', lsuffix='_1', rsuffix='_2')