Python数据预处理——数据标准化（归一化）及数据特征转换

一、数据标准化（归一化）

首先，数据标准化处理主要包括数据同趋化处理（中心化处理）和无量纲化处理。
同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。
无量纲化处理主要为了消除不同指标量纲的影响，解决数据的可比性，防止原始特征中量纲差异影响距离运算（比如欧氏距离的运算）。它是缩放单个样本以具有单位范数的过程，这与标准化有着明显的不同。简单来说，标准化是针对特征矩阵的列数据进行无量纲化处理，而归一化是针对数据集的行记录进行处理，使得一行样本所有的特征数据具有统一的标准，是一种单位化的过程。即标准化会改变数据的分布情况，归一化不会，标准化的主要作用是提高迭代速度，降低不同维度之间影响权重不一致的问题。

 数据标准化（归一化）的方法有很多种，常用的有"最小-最大标准化"、"Z-score标准化"和"按小数定标标准化"等等。经过标准化处理后，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。

这里介绍常用的三种常见的转换方法：

1. 极值法（区间缩放法）

线性比例变换法：正向指标：y = (x)/(max)，即新数据=(原数据)/(最大值)。负向指标：y = (min)/(x)，即新数据=(最小值)/(原数据)。

极差变换法：正向指标：y = (x- min)/(max - min)，即新数据=(原数据-最小值)/(最大值-最小值)。负向指标：y = (max - x)/(max - min)，即新数据=(最大值-原数据)/(最大值-最小值)。

使用这种方法的目的包括：

(1)0-1标准化，又称最大值-最小值标准化，核心要义是将原始指标缩放到0~1之间的区间内，但不改变原始数据的分布
(2)对于方差非常小的属性可以增强其稳定性；
(3)维持稀疏矩阵中为0的条目。

2. 比重法

L2正则化：y = x/sqrt(Σx^2)，即新数据=(原数据)/sqrt(平方和)，被称为L2正则转换。

正则化则是通过范数规则来约束特征属性，通过正则化我们可以降低数据训练处来的模 型的过拟合可能，和机器学习中所讲述的L1、L2正则的效果一样。在进行正则化 操作的过程中，不会改变数据的分布情况，但是会改变数据特征之间的相关特性。

3. 标准化
Z-score：y = (x - mean)/σ，基于原始数据的均值(mean)和标准(standard deviation)进行数据的标准化，经过处理的数据符合标准正态分布，即均值为0，标准差为1。

4. 二值化

对于定量数据（特征取值连续），根据给定的阈值将其进行转换，如果大于阈值赋值为1，否则赋值为0；对于定性数据（特征取值离散，也有可能是文本数据），根据给定规则将其进行转换，符合规则的赋值为1，否则赋值为0。

二、特征转换

特征转换主要指将原始数据中的字段数据进行转换操作，从而得到适合进行算法 模型构建的输入数据(数值型数据)，在这个过程中主要包括但不限于以下几种数据的处理：文本数据转换为数值型数据、缺省值填充、定性特征属性哑编码、定量特征属性二值化、特征标准化与归一化。

1.文本特征属性转换：机器学习的模型算法均要求输入的数据必须是数值型的，所以对于文本类型的特征属性，需要进行文本数据转换，也就是需要将文本数据转换为数值型数据。常用方式如下：词袋法(BOW/TF)、TF-IDF(Term frequency-inverse document frequency)、HashTF、Word2Vec(主要用于单词的相似性考量)。

2.缺省值填充：缺省值是数据中最常见的一个问题，处理缺省值有很多方式，主要包括以下四个 步骤进行缺省值处理：确定缺省值范围->去除不需要的字段->填充缺省值内容->重新获取数据。

3.哑编码(OneHotEncoder)：也称哑变量处理，对于定性的数据(也就是分类的数据)，可以采用N位的状态寄存器来对N个状态进行编码，每个状态都有一个独立的寄存器位，并且在任意状态下只有一位有效；是一种常用的将特征数字化的方式。比如有一个特征属性:['male','female']，那么male使用向量[1,0]表示，female使用[0,1]表。

公众号推荐：数据思践

数据思践公众号记录和分享数据人思考和践行的内容与故事。

《数据科学与人工智能》公众号推荐朋友们学习和使用Python语言，需要加入Python语言群的，请扫码加我个人微信，备注【姓名-Python群】，我诚邀你入群，大家学习和分享。

关于Python语言，有任何问题或者想法，请留言或者加群讨论。