（附代码）一文读懂特征工程

作者 | 正阳@知乎

链接 | https://www.zhihu.com/people/sun.zhengyang

什么是特征工程？特征工程解决了什么问题？为什么特征工程对机器学习很重要？怎么做特征工程？怎么做好特征工程？集众多博友智慧，一文全面了解并应用特征工程。

1 定义及意义

（1）定义

• 特征工程（Feature Engineering）特征工程是将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。
• 特征工程简单讲就是发现对因变量y有明显影响作用的特征，通常称自变量x为特征，特征工程的目的是发现重要特征。
• 如何能够分解和聚合原始数据，以更好的表达问题的本质？这是做特征工程的目的。“feature engineering is manually designing what the input x’s should be.” “you have to turn your inputs into things the algorithm can understand.”
  
• 特征工程是数据挖掘模型开发中最耗时、最重要的一步。

（2）意义

• 特征工程是一个包含内容很多的主题，也被认为是成功应用机器学习的一个很重要的环节。如何充分利用数据进行预测建模就是特征工程要解决的问题！“实际上，所有机器学习算法的成功取决于如何呈现数据。” “特征工程是一个看起来不值得在任何论文或者书籍中被探讨的一个主题。但是他却对机器学习的成功与否起着至关重要的作用。机器学习算法很多都是由于建立一个学习器能够理解的工程化特征而获得成功的。”——ScottLocklin，in “Neglected machine learning ideas”
  
• 数据中的特征对预测的模型和获得的结果有着直接的影响。可以这样认为，特征选择和准备越好，获得的结果也就越好。这是正确的，但也存在误导。预测的结果其实取决于许多相关的属性：比如说能获得的数据、准备好的特征以及模型的选择。

（3）相关概念

1）特征与属性的区别？

2）什么是特征重要性？

2 流程及方法

1 数据结构

2 质量检验

标准性、唯一性、有效性、正确性、一致性、缺失值、异常值、重复值

3 分布情况

统计值

探索性数据分析（EDA，Exploratory Data Analysis）

集中趋势、离中趋势、分布形状

1 数据预处理

（1）缺失值处理

1）缺失值删除（dropna）

①删除实例

②删除特征

2）缺失值填充（fillna）

①用固定值填充

data['灰度分'] = data['灰度分'].fillna('-99')

②用均值填充

data['灰度分'] = data['灰度分'].fillna(data['灰度分'].mean()))

③用众数填充

data['灰度分'] = data['灰度分'].fillna(data['灰度分'].mode()))

④用上下数据进行填充

• 用前一个数据进行填充

data['灰度分'] = data['灰度分'].fillna(method='pad')

• 用后一个数据进行填充

data['灰度分'] = data['灰度分'].fillna(method='bfill')

⑤用插值法填充

data['灰度分'] = data['灰度分'].interpolate()

⑥用KNN进行填充

from fancyimpute import BiScaler, KNN, NuclearNormMinimization, SoftImputedataset = KNN(k=3).complete(dataset)

⑦random forest进行填充

from sklearn.ensemble import RandomForestRegressorzero_columns_2 = ['机构查询数量', '直接联系人数量', '直接联系人在黑名单数量', '间接联系人在黑名单数量',                '引起黑名单的直接联系人数量', '引起黑名单的直接联系人占比']#将出现空值的除了预测的列全部取出来，不用于训练dataset_list2 = [x for x in dataset if x not in zero_columns_2]dataset_2 = dataset[dataset_list2]# 取出灰度分不为空的全部样本进行训练know = dataset_2[dataset_2['灰度分'].notnull()]print(know.shape) #26417, 54# 取出灰度分为空的样本用于填充空值unknow = dataset_2[dataset_2['灰度分'].isnull()]print(unknow.shape) #2078, 54y = ['灰度分']x = [1]know_x2 = know.copy()know_y2 = know.copy()print(know_y2.shape)#know_x2.drop(know_x2.columns[x], axis=1, inplace=True)print(know_y2.shape)print(know_x2.shape)#know_y2 = know[y]# RandomForestRegressorrfr = RandomForestRegressor(random_state=666, n_estimators=2000, n_jobs=-1)rfr.fit(know_x2, know_y2)# 填充为空的样本unknow_x2 = unknow.copy()unknow_x2.drop(unknow_x2.columns[x], axis=1, inplace=True)print(unknow_x2.shape) #(2078, 53)unknow_y2 = rfr.predict(unknow_x2)unknow_y2 = pd.DataFrame(unknow_y2, columns=['灰度分'])

⑧使用fancyimpute包中的其他方法

# matrix completion using convex optimization to find low-rank solution# that still matches observed values. Slow!X_filled_nnm = NuclearNormMinimization().complete(X_incomplete)# Instead of solving the nuclear norm objective directly, instead# induce sparsity using singular value thresholdingX_filled_softimpute = SoftImpute().complete(X_incomplete_normalized)# print mean squared error for the three imputation methods abovennm_mse = ((X_filled_nnm[missing_mask] - X[missing_mask]) ** 2).mean()# print mean squared error for the three imputation methods abovennm_mse = ((X_filled_nnm[missing_mask] - X[missing_mask]) ** 2).mean()print("Nuclear norm minimization MSE: %f" % nnm_mse)softImpute_mse = ((X_filled_softimpute[missing_mask] - X[missing_mask]) ** 2).mean()print("SoftImpute MSE: %f" % softImpute_mse)knn_mse = ((X_filled_knn[missing_mask] - X[missing_mask]) ** 2).mean()print("knnImpute MSE: %f" % knn_mse)

⑨缺失值作为数据的一部分不填充

（2）异常值处理

1）特征异常平滑

• 基于统计的异常点检测算法 例如极差，四分位数间距，均差，标准差等，这种方法适合于挖掘单变量的数值型数据。
• 基于距离的异常点检测算法 主要通过距离方法来检测异常点，将数据集中与大多数点之间距离大于某个阈值的点视为异常点，主要使用的距离度量方法有绝对距离(曼哈顿距离)、欧氏距离和马氏距离等方法。
• 基于密度的异常点检测算法 考察当前点周围密度，可以发现局部异常点。

（3）重复值处理

（4）数据格式处理

• 数字类型的转换
• 数字单位的调整
• 时间格式的处理

（5）数据采样

2 特征转换

（1）连续型特征处理

1）函数转换

2）特征缩放

3）无量纲化

①标准化

· 均值方差法

· z-score标准化

· StandardScaler标准化

from sklearn.preprocessing import StandardScaler#标准化，返回值为标准化后的数据StandardScaler().fit_transform(iris.data)

②归一化

· 最大最小归一化（最常用）

· 对数函数转换（log）

· 反余切转换

from sklearn.preprocessing import Normalizer#归一化，返回值为归一化后的数据Normalizer().fit_transform(iris.data)

③区间缩放法

from sklearn.preprocessing import MinMaxScaler#区间缩放，返回值为缩放到[0, 1]区间的数据MinMaxScaler().fit_transform(iris.data)压缩范围有些分类变量的少部分取值可能占据了90%的case，这种情况下可以采用预测模型、领域专家、或者简单的频率分布统计。具体问题具体分析，高频和低频都是需要特别处理的地方，抛弃效果不好时，可以考虑采样（高频）或上采样（低频），加权等等方法。

4）二值化（定量特征）

from sklearn.preprocessing import Binarizer #二值化，阈值设置为3，返回值为二值化后的数据Binarizer(threshold=3).fit_transform(iris.data)

5）离散化分箱处理(数值型转类别型)

6）不处理

（2）离散型特征处理

1）数值化处理

2）哑编码

①独热编码(one-hot)

②顺序性哑变量

（3）时间序列处理

1）时间戳处理

1 特征检验

（1）单变量

1）正态性检验

2）显著性分析

（2）多变量

1）一致性检验

2）多重共线性

2 特征选择

（1）定义

（2）作用

• 简化模型，增加模型的可解释性
• 缩短训练时间
• 避免维度灾难
• 改善模型通用性、降低过拟合

（3）方法

1）过滤式（Filter）

①方差选择法

from sklearn.feature_selection import VarianceThreshold#方差选择法，返回值为特征选择后的数据#参数threshold为方差的阈值VarianceThreshold(threshold=3).fit_transform(iris.data)

②相关系数法

from sklearn.feature_selection import SelectKBestfrom scipy.stats import pearsonr#选择K个最好的特征，返回选择特征后的数据#第一个参数为计算评估特征是否好的函数，该函数输入特征矩阵和目标向量，输出二元组（评分，P值）的数组，数组第i项为第i个特征的评分和P值。在此定义为计算相关系数#参数k为选择的特征个数SelectKBest(lambda X, Y: array(map(lambda x:pearsonr(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

③互信息法

from sklearn.feature_selection import SelectKBestfrom minepy import MINE#由于MINE的设计不是函数式的，定义mic方法将其为函数式的，返回一个二元组，二元组的第2项设置成固定的P值0.5def mic(x, y):    m = MINE()    m.compute_score(x, y)    return (m.mic(), 0.5)#选择K个最好的特征，返回特征选择后的数据SelectKBest(lambda X, Y: array(map(lambda x:mic(x, Y), X.T)).T, k=2).fit_transform(iris.data, iris.target)

④卡方检验（Chi-Square）

from sklearn.feature_selection import SelectKBestfrom sklearn.feature_selection import chi2#选择K个最好的特征，返回选择特征后的数据SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)

2）封装式（Wrapper）

①完全搜索[穷举]

· 递归特征消除法

· 递归特征消除法递归消除法

②启发式搜索[贪心]

· 前向选择法

· 后向剃除法

from sklearn.feature_selection import RFEfrom sklearn.linear_model import LogisticRegression#递归特征消除法，返回特征选择后的数据#参数estimator为基模型#参数n_features_to_select为选择的特征个数RFE(estimator=LogisticRegression(), n_features_to_select=2).fit_transform(iris.data, iris.target)

③随机搜索[策略+好运气]

3）嵌入式（Embedded）

①基于惩罚项

from sklearn.feature_selection import SelectFromModelfrom sklearn.linear_model import LogisticRegression#带L1惩罚项的逻辑回归作为基模型的特征选择SelectFromModel(LogisticRegression(penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)

from sklearn.linear_model import LogisticRegression
class LR(LogisticRegression):    def __init__(self, threshold=0.01, dual=False, tol=1e-4, C=1.0,                 fit_intercept=True, intercept_scaling=1, class_weight=None,                 random_state=None, solver='liblinear', max_iter=100,                 multi_class='ovr', verbose=0, warm_start=False, n_jobs=1):
        #权值相近的阈值        self.threshold = threshold        LogisticRegression.__init__(self, penalty='l1', dual=dual, tol=tol, C=C,                 fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight=class_weight,                 random_state=random_state, solver=solver, max_iter=max_iter,                 multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)        #使用同样的参数创建L2逻辑回归        self.l2 = LogisticRegression(penalty='l2', dual=dual, tol=tol, C=C, fit_intercept=fit_intercept, intercept_scaling=intercept_scaling, class_weight = class_weight, random_state=random_state, solver=solver, max_iter=max_iter, multi_class=multi_class, verbose=verbose, warm_start=warm_start, n_jobs=n_jobs)
    def fit(self, X, y, sample_weight=None):        #训练L1逻辑回归        super(LR, self).fit(X, y, sample_weight=sample_weight)        self.coef_old_ = self.coef_.copy()        #训练L2逻辑回归        self.l2.fit(X, y, sample_weight=sample_weight)
        cntOfRow, cntOfCol = self.coef_.shape        #权值系数矩阵的行数对应目标值的种类数目        for i in range(cntOfRow):            for j in range(cntOfCol):                coef = self.coef_[i][j]                #L1逻辑回归的权值系数不为0                if coef != 0:                    idx = [j]                    #对应在L2逻辑回归中的权值系数                    coef1 = self.l2.coef_[i][j]                    for k in range(cntOfCol):                        coef2 = self.l2.coef_[i][k]                        #在L2逻辑回归中，权值系数之差小于设定的阈值，且在L1中对应的权值为0                        if abs(coef1-coef2) < self.threshold and j != k and self.coef_[i][k] == 0:                            idx.append(k)                    #计算这一类特征的权值系数均值                    mean = coef / len(idx)                    self.coef_[i][idx] = mean        return self

from sklearn.feature_selection import SelectFromModel#带L1和L2惩罚项的逻辑回归作为基模型的特征选择#参数threshold为权值系数之差的阈值SelectFromModel(LR(threshold=0.5, C=0.1)).fit_transform(iris.data, iris.target)

②基于树模型

from sklearn.feature_selection import SelectFromModelfrom sklearn.ensemble import GradientBoostingClassifier#GBDT作为基模型的特征选择SelectFromModel(GradientBoostingClassifier()).fit_transform(iris.data, iris.target)

③深度学习

3 特征构造

（1）定义

（2）作用

（3）方法

1）简单构造

①四则运算

②特征交叉(组合分类特征)

③分解类别特征

④重构数值量

⑤分解Datatime

⑥窗口变量统计

2）机器学习

①监督式学习

②非监督式学习

4 特征提取

（1）定义

（2）作用

（3）方法

1）线性降维

①主成分分析法（PCA）

from sklearn.decomposition import PCA#主成分分析法，返回降维后的数据#参数n_components为主成分数目PCA(n_components=2).fit_transform(iris.data)

②线性判别分析法（LDA）

from sklearn.lda import LDA#线性判别分析法，返回降维后的数据#参数n_components为降维后的维数 LDA(n_components=2).fit_transform(iris.data, iris.target)

③局部线性嵌入/LLE

④拉普拉斯特征映射/LE

⑤随机邻域嵌入/SNE

⑥t-分布邻域嵌入/T-SNE

2）非线性降维

①核主成分分析(KPCA):带核函数的PCA

3）迁移学习降维

①迁移成分分析(TCA):不同领域之间迁移学习降维

1 作用

2 回归预测问题

3 分类预测问题

END

双一流大学研究生团队创建，专注于目标检测与深度学习，希望可以将分享变成一种习惯！

整理不易，点赞三连↓