【机器学习】线性回归:不能忽视的三个问题

机器学习初学者

共 5105字,需浏览 11分钟

 ·

2022-12-14 14:04


前言



线性回归是比较简单的机器学习算法,很多书籍介绍的第一种机器学习算法就是线性回归算法,笔者查阅的中文书籍都是给出线性回归的表达式,然后告诉你怎么求参数最优化,可能部分同学会忽视一些问题,至少笔者忽视了。因此,本文重点介绍了平常容易忽视的三类问题,(1)线性回归的理论依据是什么,(2)过拟合意味着什么。 (3)模型优化的方向



目录


1、线性回归的理论依据是什么

2、过拟合意味着什么

3、模型优化的方向

4、总结




线性回归的理论依据



泰勒公式


若函数 f(x)在包含x0的某个闭区间[a,b]上具有n阶导数,且在开区间(a,b)上具有(n+1)阶 导数 ,则对 闭区间 [a,b]上任意一点x,成立下式:


443cb3747c0149d923ad7db93e46830f.webp

696f3a8a92250d98ec7f74b1e0278eda.webp


结论: 对于区间[a,b]上任意一点,函数值都可以用两个向量内积的表达式近似,其中

ca9ea8d43878524b2058aefca0917c08.webp是基函数(basis function), dc527d229e34da6bd951a0124eec4928.webp是相应的系数。

高阶表达式877701abd2bbefa0f4400a8a9eb79aaa.webp表示两者值的误差(请回想您学过的线性回归表达式)。


傅里叶级数


953ab7025215b6ef1b6452923a792348.webp

周期函数f(x)可以用向量内积近似, 064cd4511d650015701a1ff833314ab8.webp表示基函数, 09f99f7a7fd4aed11192f50013f9e022.webp表示相应的系数, 07f8bdb049809f4079707d1d7ac5836b.webp表示误差。


线性回归


由泰勒公式和傅里叶级数可知,当基函数的数量足够多时,向量内积无限接近于函数值。线性回归的向量内积表达式如下:


8a5b43355c75e3485d2f46b827ea4dd7.webp



过拟合问题



过拟合定义


构建模型的训练误差很小或为0,测试误差很大,这一现象称为过拟合。


高斯噪声数据模型


我们采集的样本数据其实包含了噪声,假设该噪声的高斯噪声模型,均值为0,方差为9461b13f62671c699ed6f9ec679f90a0.webp

若样本数据的标记为y1,理论标记为y,噪声为η,则有:


y1 = y + η,(其中,η是高斯分布的抽样)


上节的线性回归表达式的方差 b3faa7f56ab1ee7f179f4e3f694ccea0.webp 表示的意义是噪声高斯分布的随机抽样,书本的线性回归表达式把方差2ddb3ec03190d4ab9d5bb9411eb274cc.webp也包含进去了。


过拟合原因


数学术语: 当基函数的个数足够大时,线性回归表达式的方程恒相等。

如下图:


54e5b59ebde0eabecfafa0181f0b36f1.webp


机器学习术语:模型太过复杂以致于把无关紧要的噪声也学进去了。


当线性回归的系数向量间差异比较大时,则大概率设计的模型处于过拟合了。用数学角度去考虑,若某个系数很大,对于相差很近的x值,结果会有较大的差异,这是较明显的过拟合现象。


过拟合的解决办法是降低复杂度,后期会有相应的公众号文章,请继续关注。



模型的优化方向



模型的不同主要是体现在参数个数,参数大小以及正则化参数λ,优化模型的方法是调节上面三个参数(但不仅限于此,如核函数),目的是找到最优模型。



总结



本文通过泰勒公式和傅里叶级数的例子说明线性回归的合理性,线性回归表达式包含了方差项,该方差是高斯噪声模型的随机采样,若训练数据在线性回归的表达式恒相等,那么就要考虑过拟合问题了,回归系数间差异比较大也是判断过拟合的一种方式。模型优化的方法有很多种,比较常见的方法是调节参数个数,参数大小以及正则化参数λ。


参考:

Christopher M.Bishop <<Pattern Reconition and Machine Learning>>

    
          
            
              
                
                      
                                          往期
                                          精彩
                                          回顾
                                        
                                      



浏览 25
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报