解方程组的意义和过程 - Strang MIT 18.06 线性代数精髓 2

在本系列中，我们用彩色 Latex 笔记记录下 MIT 18.06 Gilbert Strang 教授经典的线性代数课程的精髓，部分内容也会以动画和代码的形式。后续会覆盖更多人工智能所涉及的数学基础课程：统计，优化等，欢迎大家关注和反馈。

本文总结了方程组的行视角，列视角的几何意义；并回顾了解方程的两个步骤：消元和回代。内容对应于MIT 18.06 Gilbert Strang 线性代数视频课程第一，二节。

本系列链接如下
01 矩阵乘法的五种理解

方程组两种几何解释

二元方程组

来看一个具体的二元线性方程组

写成矩阵形式

行视角

回顾 为所有满足此条件的 (x, y) 的集合，即集合组成二维平面的一条直线，如下图蓝线所示。

则对应绿线。

因此方程组的解 x = 1, y = 2 为两条直线的交点，这就是方程组的行视角：将系数矩阵按行切分，则每一行表示一个约束条件，几何意义是N维空间的一个子空间。在二元方程中，一行表示一条线，三元方程中，一行表示一个平面（详见后一小节）。

列视角

若将系数矩阵按列切分，则每一列表示一个向量，方程组的解 (x, y) 表示每个列向量以 x, y 为权重的线性组合刚好形成 b 向量。这个就是方程组 有解的条件：b 在 A 的列空间，此时，x 为 列向量的组合系数。

三元方程组

行视角

对于三元方程组行视角来说，每一行的方程组成一个三维空间中的一个平面。解是三个平面的交点，通常来说为一个点。

图片来自 Introduction to Linear Algebra for Applied Machine Learning with Python (https://pabloinsente.github.io/intro-linear-algebra)，解为一直线而非一个点。

列视角

三元列视角下，A 的列向量为三维平面的一个向量，x（下图为 w） 表示每个列向量取多少倍数可以组成 b 向量。

回代过程

回代过程比较直白，由上矩阵 U 对应方程组

自下向上，容易解得

消元的行视角意义

注意到消元时的两类操作都不改变系数矩阵的行空间，只是改变了行空间的线性组合方式。

由于每一行代表一个拘束子空间，因此每一次消元改变了该行的拘束子空间。

举个例子，对于二元方程组和行空间

对应了两条直线

第二行的 x 消除后其几何意义为：蓝色直线不变，绿色直线从包含 x 的成分变成不含 x 成分，并且维持交点 （1, 2）不变。

最后大家可以思考一下一个问题：消元对于列视角的几何意义是什么呢？