机器学习基础:奇异值分解(SVD)
共 2042字,需浏览 5分钟
·
2022-04-18 13:52
↓↓↓点击关注,回复资料,10个G的惊喜
大家好,我是章北海
废话少说,极简介绍奇异值分解(SVD)
SVD 原理
奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,也是在机器学习领域广泛应用的算法,它不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。
有一个𝑚×𝑛的实数矩阵𝐴,我们想要把它分解成如下的形式:
其中𝑈和𝑉均为单位正交阵,即有和,𝑈称为左奇异矩阵,𝑉称为右奇异矩阵,Σ仅在主对角线上有值,我们称它为奇异值,其它元素均为0。
上面矩阵的维度分别为,,。
一般地Σ有如下形式
越大意味着对应的 的特征值 越大, 从而其主成分 (principal component) 的样本方差越大, 我们把方差大视为提供了更多信息.
求解U, Σ, V
假设我们的矩阵A是一个m×n的矩阵,则是方阵,求其特征值及特征向量:
得到矩阵的n个特征值和对应的n个特征向量
因 =
将特征向量张成一个的矩阵,就是SVD公式里面的矩阵,中的每个特征向量叫做的右奇异向量。
同理:,可得矩阵。
求得,然后求Σ,因Σ为奇异值矩阵,所以只需要求出每个奇异值即可。
其实特征值矩阵等于奇异值矩阵的平方,也就是说特征值和奇异值满足如下关系:
所以不用也可以通过求出的特征值取平方根来求奇异值。
SVD算法
输入:样本数据
输出:左奇异矩阵,奇异值矩阵,右奇异矩阵
1 计算特征值:特征值分解,其中为原始样本数据
得到左奇异矩阵和奇异值矩阵
2 间接求部分右奇异矩阵:求
利用A=UΣ′V′可得
3 返回U, Σ′, V′,分别为左奇异矩阵,奇异值矩阵,右奇异矩阵。
Python 求解SVD
from numpy import array
from numpy import diag
from numpy import zeros
from scipy.linalg import svd
# define a matrix
A = array([
[1,2,3,4,5,6,7,8,9,10],
[11,12,13,14,15,16,17,18,19,20],
[21,22,23,24,25,26,27,28,29,30]])
print(A)
>>> A
array([[ 1, 2, 3, 4, 5, 6, 7, 8, 9, 10],
[11, 12, 13, 14, 15, 16, 17, 18, 19, 20],
[21, 22, 23, 24, 25, 26, 27, 28, 29, 30]])
# Singular-value decomposition
U, s, VT = svd(A)
# create m x n Sigma matrix
Sigma = zeros((A.shape[0], A.shape[1]))
# populate Sigma with n x n diagonal matrix
Sigma[:A.shape[0], :A.shape[0]] = diag(s)
# select
n_elements = 2
Sigma = Sigma[:, :n_elements]
VT = VT[:n_elements, :]
# reconstruct
B = U.dot(Sigma.dot(VT))
print(B)
>>> B
array([[ 1., 2., 3., 4., 5., 6., 7., 8., 9., 10.],
[11., 12., 13., 14., 15., 16., 17., 18., 19., 20.],
[21., 22., 23., 24., 25., 26., 27., 28., 29., 30.]])
# transform
T = U.dot(Sigma)
print(T)
>>> T
array([[-18.52157747, 6.47697214],
[-49.81310011, 1.91182038],
[-81.10462276, -2.65333138]])
T = A.dot(VT.T)
print(T)
[[-18.52157747 6.47697214]
[-49.81310011 1.91182038]
[-81.10462276 -2.65333138]]
参考:
https://www.cnblogs.com/pinard/p/6251584.html
https://www.cnblogs.com/endlesscoding/p/10033527.html