线性回归拟合优度的度量:R平方

Python面面观

共 1124字,需浏览 3分钟

 ·

2021-01-15 18:15

线性回归 Y = ax + b 的拟合程度,都是用 R 平方来进行判定,所以本篇文章来梳理 R 平方的具体计算方式。

首先,根据这一回归方程,可以依据自变量 x 的取值来预测因变量 Y 的取值。但预测的精度取决于回归直线对观测数据的拟合程度。各个观测点(也就是训练集的数据)越是紧密围绕直线,说明直线对观测数据的拟合程度越好,反之则越差。

两个变量的相关分析中,我们用相关系数来衡量,Pearson 相关系数就是 R 值。这个在《相关系数之Pearson》有过介绍。

R 值的作用也很清楚。判断自变量与因变量的关系,以确定该自变量有没有纳入回归方程的必要。如果是一元回归,就是有没有做回归分析的必要。一般情况下,如果 R 低于 ±0.5,则这个自变量不需要纳入回归方程。另外一个就是上面说的,衡量预测的精度。

再来介绍下 R 平方。 可以理解为 Pearson 系数的平方,但计算方法是通过类似方差分析的方法得到的。R 平方又叫决定系数,反应因变量 Y 的总变异中回归关系所能解释的百分比。如图,如果 R 平方值 0.6326,代表的是总变异中回归关系可解释部分的占比为 63%。

R 平方的公式如下:

image.png

每个观测点的离差,比较直观的是直接在坐标系上表现,其中:

是 SSR。也就是因为自变量 x 的变化,引起的 y 的变化,代表回归关系中可被解释的部分。

图:统计学-贾俊平

SSR(回归平方和):样本平均值与预测值的差的平方和,由 x 与 y 的线性关系引起的 y 变化,代表回归关系中可被解释的部分。

SSE(残差平方和):样本观测值与预测值的差的平方和,除 x 影响之外的其他因素引起的 y 变化,代表回归关系中不可解释的部分。

SST(总平方和):样本观测值与样本平均值的差的平方和,代表总的变异程度。

从图中和公式可以看出,SST = SSR+ SSE ,总变异来自两个方面的影响,一个是来自因变量 x 的影响(SSR),一个是来自无法预测的残差干扰(SST),想要回归直线拟合的越好,就需要让能被回归可解释的部分(SSR/SST)占比越高,无法被回归解释的部分(SSE/SST)占比越小。

总结下,平方值是取值范围在 0 到 1 之间,当趋势线的 R 平方值等于 1 或接近 1 时,意味着大部分 Y 的总变异可以被回归方程式的 x 变化所解释,模型拟合程度的越高,可靠性越高,反之则可靠性较低。

浏览 2124
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报