【Python基础系列】常见的数据预处理方法（附代码）

import pandas as pddata = pd.read_csv(r'../filename.csv')	#读取csv文件data = pd.read_table(r'../filename.txt')	#读取txt文件data = pd.read_excel(r'../filename.xlsx')  #读取excel文件
#  获取数据库中的数据import pymysqlconn = pymysql.connect(host='localhost',user='root',passwd='12345',db='mydb')	#连接数据库,注意修改成要连的数据库信息cur = conn.cursor()	#创建游标cur.execute("select * from train_data limit 100")	#train_data是要读取的数据名data = cur.fetchall()	#获取数据cols = cur.description	#获取列名conn.commit()	#执行cur.close()	#关闭游标conn.close()	#关闭数据库连接col = []for i in cols:	col.append(i[0])data = list(map(list,data))data = pd.DataFrame(data,columns=col)

#合并多个csv文件成一个文件import glob
#合并def hebing():    csv_list = glob.glob('*.csv') #查看同文件夹下的csv文件数    print(u'共发现%s个CSV文件'% len(csv_list))    print(u'正在处理............')    for i in csv_list: #循环读取同文件夹下的csv文件        fr = open(i,'rb').read()        with open('result.csv','ab') as f: #将结果保存为result.csv            f.write(fr)    print(u'合并完毕！')
#去重    def quchong(file):        df = pd.read_csv(file,header=0)            datalist = df.drop_duplicates()            datalist.to_csv(file)
if __name__ == '__main__':        hebing()        quchong("result.csv.csv")

##csv比较大，打不开，将其切分成一个个小文件，看数据形式f = open('NEW_Data.csv','r') #打开大文件i = 0 #设置计数器
#这里1234567表示文件行数，如果不知道行数可用每行长度等其他条件来判断while i<1234567 :     with open('newfile'+str(i),'w') as f1:        for j in range(0,10000) : #这里设置每个子文件的大小            if i < 1234567: #这里判断是否已结束，否则最后可能报错                f1.writelines(f.readline())                i = i+1            else:                break

data.head() #显示前五行数据data.tail() #显示末尾五行数据data.info() #查看各字段的信息data.shape #查看数据集有几行几列,data.shape[0]是行数,data.shape[1]是列数data.describe() #查看数据的大体情况，均值，最值，分位数值...data.columns.tolist()   #得到列名的list

print(data.isnull().sum())  #统计每列有几个缺失值missing_col = data.columns[data.isnull().any()].tolist() #找出存在缺失值的列
import numpy as np#统计每个变量的缺失值占比def CountNA(data):    cols = data.columns.tolist()    #cols为data的所有列名    n_df = data.shape[0]    #n_df为数据的行数    for col in cols:        missing = np.count_nonzero(data[col].isnull().values)  #col列中存在的缺失值个数        mis_perc = float(missing) / n_df * 100        print("{col}的缺失比例是{miss}%".format(col=col,miss=mis_perc))

data.dropna(axis=0,how="any",inplace=True)  #axis=0代表'行','any'代表任何空值行,若是'all'则代表所有值都为空时，才删除该行data.dropna(axis=0,inplace=True)  #删除带有空值的行data.dropna(axis=1,inplace=True)  #删除带有空值的列

data = data.fillna(0)   #缺失值全部用0插补data['col_name'] = data['col_name'].fillna('UNKNOWN')  #某列缺失值用固定值插补

freq_port = data.col_name.dropna().mode()[0]  # mode返回出现最多的数据,col_name为列名data['col_name'] = data['col_name'].fillna(freq_port)   #采用出现最频繁的值插补

data['col_name'].fillna(data['col_name'].dropna().median(),inplace=True)  #中位数插补，适用于偏态分布或者有离群点的分布data['col_name'].fillna(data['col_name'].dropna().mean(),inplace=True)    #均值插补，适用于正态分布

data['col_name'] = data['col_name'].fillna(method='pad')    #用前一个数据填充data['col_name'] = data['col_name'].fillna(method='bfill')  #用后一个数据填充

from scipy.interpolate import lagrange#自定义列向量插值函数,s为列向量,n为被插值的位置,k为取前后的数据个数，默认5def ployinterp_columns(s, n, k=5):    y = s[list(range(n-k,n)) + list(range(n+1,n+1+k))]  #取数    y = y[y.notnull()]  #剔除空值    return lagrange(y.index, list(y))(n)    #插值并返回插值结果
#逐个元素判断是否需要插值for i in data.columns:    for j in range(len(data)):        if (data[i].isnull())[j]:   #如果为空即插值            data[i][j] = ployinterp_columns(data[i],j)

neg_list = ['col_name_1','col_name_2','col_name_3']for item in neg_list:    neg_item = data[item] < 0    print(item + '小于0的有' + str(neg_item.sum())+'个')
#删除小于0的记录for item in neg_list:    data = data[(data[item]>=0)]

#当数值超出这个距离，可以认为它是异常值for item in neg_list:    data[item + '_zscore'] = (data[item] - data[item].mean()) / data[item].std()    z_abnormal = abs(data[item + '_zscore']) > 3    print(item + '中有' + str(z_abnormal.sum())+'个异常值')

#IQR(差值) = U(上四分位数) - L(下四分位数)#上界 = U + 1.5IQR#下界 = L-1.5IQRfor item in neg_list:    IQR = data[item].quantile(0.75) - data[item].quantile(0.25)    q_abnormal_L = data[item] < data[item].quantile(0.25) - 1.5*IQR    q_abnormal_U = data[item] > data[item].quantile(0.75) + 1.5*IQR    print(item + '中有' + str(q_abnormal_L.sum() + q_abnormal_U.sum())+'个异常值')

#寻找描述变量，并将其存储到cat_vars这个list中去cat_vars = []print('\n描述变量有:')cols = data.columns.tolist()for col in cols:    if data[col].dtype == 'object':        print(col)        cat_vars.append(col)···
##若变量是有序的##     print('\n开始转换描述变量...')from sklearn import preprocessingle = preprocessing.LabelEncoder()#将描述变量自动转换为数值型变量，并将转换后的数据附加到原始数据上for col in cat_vars:    tran = le.fit_transform(data[col].tolist())    tran_df = pd.DataFrame(tran,columns=['num_'+col])    print('{col}经过转化为{num_col}'.format(col=col,num_col='num_'+col))    data = pd.concat([data, tran_df], axis=1)    del data[col]	#删除原来的列

##若变量是无序变量## #值得注意的是one-hot可能引发维度爆炸for col in cat_vars:    onehot_tran = pd.get_dummies(data.col)    data = data.join(onehot_tran)	#将one-hot后的数据添加到data中    del data[col]	#删除原来的列

法一、直接调用train_test_split函数from sklearn.model_selection import train_test_splitX = data.drop('目标列',1)	#X是特征列y = data['目标列']	#y是目标列X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.3)	

#随机选数据作为测试集test_data = data.sample(frac=0.3,replace=False,random_state=123,axis=0)#frac是抽取30%的数据，replace是否为有放回抽样，取replace=True时为有放回抽样，axis=0是抽取行、为1时抽取列#在data中除去test_data，剩余数据为训练集train_data = (data.append(test_data)).drop_duplicates(keep=False)X_train = train_data.drop('目标列',1)X_test = test_data.drop('目标列',1)y_train = train_data['目标列']y_test = test_data['目标列']

from sklearn.preprocessing import MinMaxScaler
x_scaler = MinMaxScaler()y_scaler = MinMaxScaler()
#特征归一化x_train_sca = x_scaler.fit_transform(X_train)x_test_sca = x_scaler.transform(X_test)y_train_sca = y_scaler.fit_transform(pd.DataFrame(y_train))

from sklearn.preprocessing import StandardScaler
#一般把train和test集放在一起做标准化，或者在train集上做标准化后，用同样的标准化器去标准化test集scaler = StandardScaler()train = scaler.fit_transform(train)test = scaler.transform(test)