\top^{(\cdot)}_{(\cdot)}

这个动图什么意思？答案见文末。

本篇主要来看一下线性空间的对偶空间这个概念。引入这个概念以后，就可以比较完美地定义和理解张量了。

换句话说，如果不用对偶空间，其实也可以定义张量，比如很多物理书本里就是另一种方式，有关这点我们后面再谈。

废话不多说，单刀直入吧。

对偶空间

的一个对偶向量是指定义在上的线性函数。对于，以及，均有

\mathsf{f}(\alpha v+w) = \alpha \mathsf{f}(v)+\mathsf{f}(w)

成立。

首先是个函数，这问题不大，但函数可以将中向量和实数建立对应关系，这个关系可以很复杂，例如连续不连续，光滑不光滑等情况。所以光是函数的话还是太复杂了。
简化一下，是线性函数。考虑问题不用拐弯抹角了，你向量拉长几倍，我出来的值也变大几倍。而且等号左边向量的加法可以拆成等号右边两个函数值的加法，这就是说向量的线性组合关系和函数的线性组合关系是一样的。

有限维线性空间上的线性函数有个非常好的性质：只要给定函数在基上的取值，这个函数在整个空间上的取值也就知道了。

定义：上所有对偶向量的集合称为的对偶空间，记为。

对偶基

假设的一组基为 , 而中的元素（都是线性函数）是对偶空间的基，也称为刚才那组基的对偶基。

其中定义如下，

{\bf e}^{i}\left({\bf e}_{j}\right)= \delta^{i}_{j} = \begin{cases}1 & 如果 \quad i=j \\ 0 & 如果 \quad i \neq j\end{cases}

这么简单的函数能构成的基吗？我们来看一下。

对于中的任意一个元素，以及一个给定的，有

{\bf e}^{i}({\bf v})={\bf e}^{i}(\sum_j v^j{\bf e}_j)=\sum_jv^j{\bf e}^{i}( {\bf e}_j)=v^i

对于中的一个元素，有

\begin{aligned} \mathsf{f}({\bf v}) &= \mathsf{f}(\sum_i v^i{\bf e}_i) = \sum_i v^i\mathsf{f}({\bf e}_i) \\[0.6em]&= \sum_i \mathsf{f}({\bf e}_i)v^i=\sum_i \mathsf{f}({\bf e}_i){\bf e}^{i}({\bf v}) \end{aligned}

是任意的，所以有

\mathsf{f}= \sum_i \mathsf{f}({\bf e}_i){\bf e}^{i} = \sum_i \mathsf{f}_i{\bf e}^{i}

这说明啊，中的任意一个元素确实可以用线性表示。于是，只需要说明是线性无关的就可以了。这个作为作业练练手吧。

我们回顾一下上一篇中的例子，即的情况。

\begin{aligned} \mathsf{f}({\bf v}) &= \mathsf{f}({\bf e}_1){\bf e}^{1}({\bf v})+\mathsf{f}({\bf e}_2){\bf e}^{2}({\bf v})+\mathsf{f}({\bf e}_3){\bf e}^{3}({\bf v}) \\[1em] & = v^{1} \mathsf{f}({\bf e}_1)+v^{2} \mathsf{f}({\bf e}_2)+v^{3} \mathsf{f}({\bf e}_3)\\[1em] &= [\mathsf{f}({\bf e}_1),\; \mathsf{f}({\bf e}_2), \; \mathsf{f}({\bf e}_3)] \begin{bmatrix} v^{1} \\ v^{2} \\ v^{3}\end{bmatrix} \\[1em] &= [\mathsf{f}({\bf e}_1),\; \mathsf{f}({\bf e}_2), \; \mathsf{f}({\bf e}_3)] \begin{bmatrix} {\bf e}^{1}({\bf v}) \\ {\bf e}^{2}({\bf v}) \\ {\bf e}^{3}({\bf v})\end{bmatrix} \end{aligned}

3对偶之对偶

有了对偶向量和对偶空间的概念，我们再来看看线性空间的对偶向量及对偶空间。

的一个对偶向量是指定义在上的线性函数，对于，以及，均有线性函数使得下式

w(\alpha \mathsf{f}+\mathsf{g}) = \alpha w(\mathsf{f})+w(\mathsf{g})

成立。

这个函数吃进中的一个向量（也就是定义在上的一个线性函数），吐出一个实数。

看上去有点复杂的样子，但转念一想，这个情况跟刚才与不是一样吗，只是角色位置稍微有点变化。

上的线性函数长啥样？

我们先来定义上的一个上线性函数试试，比如给你一个中的，让它去看整个中的任意一点，得到一个数。那我们就按下面这个样子来定义，

v(\mathsf{f}) = \mathsf{f}(v)

这似乎让人感觉有点怪怪的？这个一会儿是函数名，一会儿又变成自变量了。这要是搁 C 语言里可是不合法的呀，难道数学比起编程来反而不严谨？

其实这里函数名只是映射的名字而已，关键点是背后元素之间是怎么对应的。这里用表示的这个映射，一端是一个中的点，另一端是一个实数，它就是一个十足的函数嘛。

如果实在看着不舒服，可以下面这样定义，

\mathcal{F}_v(\mathsf{f}) = \mathsf{f}(v)

固定，吃进，吐出来相应的数字。

虽然这家伙是函数没错了，但它是线性函数嘛？就是看看下面的式子对于，以及是不是都成立

v(\alpha \mathsf{f}+\mathsf{g}) = \alpha v(\mathsf{f})+v(\mathsf{g}).

我们来代入算一下，

\begin{aligned} v(\alpha \mathsf{f}+\mathsf{g}) &= (\alpha \mathsf{f}+\mathsf{g})(v) \\[1em] &= (\alpha \mathsf{f})(v)+\mathsf{g}(v) \\[1em] &= \alpha \mathsf{f}(v)+\mathsf{g}(v) \\[1em] &= \alpha v(\mathsf{f})+v(\mathsf{g}) \end{aligned}

第一个等号是定义，而第二、三个等号是因为和都属于线性空间。

好了，这样定义的函数还真是上的线性函数。

对偶两个字其实不大好解释，因为有很多解读方式，但这里暂时不想牵扯太多，就看下面的这个形式，

v(\mathsf{f}) = \mathsf{f}(v)

我中有你（我吃你），你中有我（你吃我）。

这不仅仅是对称，更是

我定义在你所在的空间上，你定义在我所在的空间上。

另外，这个函数是不是还有下面这层意思呢？

你看好我，那么我认为你的眼光好、三观正。说明的值与的值相互契合。

1、的坐标对应它的品质。

你看好我，就是值大，以的三观来看认为的品质好。

2、的坐标对应它的三观、眼光。

是以的三观来打量，以的三观（坐标，也就是它自身品质）来考量的眼光。

我认为你的眼光好、三观正，就是的品质与的三观契合。

所谓男女登对，不过如此吧。

定义在上的所有线性函数构成了

我们给输入一个，得

w(\mathsf{f}) = \sum_i \mathsf{f}({\bf e}_i) w({\bf e}^{i})

而我们知道，

\mathsf{f}(v) = \mathsf{f}(\sum_i v^{i}{\bf e}_{i}) = \sum_i v^i\mathsf{f}({\bf e}_i)

看的样子和看的样子咋这么像呢？

任给一个上的线性函数，我们令，于是就得到，

w(\mathsf{f}) = \sum_i \mathsf{f}({\bf e}_i) w({\bf e}^{i}) = \sum_i \mathsf{f}({\bf e}_i)v^i = \mathsf{f}(v)

这不就是上面定义的吗？因此，上的线性函数的集合与中所有元素一一对应，这里其实是存在所谓的自然同构，可以简单地认为它们等同，即。

因此有如下的关系，

上的所有线性函数构成了，反过来上的所有线性函数构成了。

对偶向量的对偶是双对偶（double dual）。双对偶形成的向量空间与向量空间同构，在同构意义下，我们可以认为。

中的每个点（躺平向量，本质是上的一个线性函数）都是张量，而中的每个点（上进向量）也都是张量。

协变

上一篇中，我们说上进向量的坐标变换与的基变换互逆，称为逆变；而躺平向量属于的对偶空间，坐标变换跟的基变换一致，称为协变。

我们已经知道上进向量确实作了逆变，但是并不清楚躺平向量为啥是协变？

最后，我们来看一下为什么对偶空间里的向量坐标是跟着的基的变换作协变。

下面来研究对偶空间中的向量随基底变化的变换规律。已知一个线性空间的两组基和（统一看成列向量），我们可以用一个矩阵来表示它们之间的转换关系，

\begin{aligned}{} [{\bf e}_{1^{\prime}},{\bf e}_{2^{\prime}},\cdots , {\bf e}_{n^{\prime}}]&= \left[{\bf e}_{1},{\bf e}_{2},\cdots,{\bf e}_{n}\right] \left[\begin{array}{llll} a_{1^{\prime}}^{1} & a_{2^{\prime}}^{1} & \cdots & a_{n^{\prime}}^{1} \\ a_{1^{\prime}}^{2} & a_{2^{\prime}}^{2} & \cdots & a_{n^{\prime}}^{2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1^{\prime}}^{n} & a_{2^{\prime}}^{n} & \cdots & a_{n^{\prime}}^{n} \end{array}\right] \\[1em] &= \left[{\bf e}_{1},{\bf e}_{2},\cdots,{\bf e}_{n}\right]\boldsymbol{A} \end{aligned}

这里，变换矩阵左乘或者右乘都是可以的，顶多差一个转置，可以凭个人的喜好选择。

把基向量单独拿出来看，就是。

对于，它关于两组基和的坐标分别为和。我们把新基代进去算一算，得

\begin{aligned} \mathsf{f}_{i^{\prime}}=\mathsf{f}\left({\bf e}_{i^{\prime}}\right)=\mathsf{f}\left(\sum_{i} {a^{i}_{i^{\prime}}{\bf e}_{i}}\right) = \sum_{i} a_{i^{\prime}}^{i} \mathsf{f}\left({\bf e}_{i}\right) = \sum_{i} a_{i^{\prime}}^{i} \mathsf{f}_{i} \end{aligned}

将其写成矩阵形式，

\begin{aligned}{} \left[\begin{array}{c} \mathsf{f}_{1^{\prime}} \\ \vdots \\ \mathsf{f}_{n^{\prime}} \end{array}\right] & =\left[\begin{array}{cccc} a_{1^{\prime}}^{1} & a_{1^{\prime}}^{2} & \cdots & a_{1^{\prime}}^{n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{n^{\prime}}^{1} & a_{n^{\prime}}^{2} & \cdots & a_{n^{\prime}}^{n} \end{array}\right]\left[\begin{array}{c} \mathsf{f}_{1} \\ \vdots \\ \mathsf{f}_{n} \end{array}\right] \\[1em] &=\boldsymbol{A}^{\top}\left[\begin{array}{c} \mathsf{f}_{1} \\ \vdots \\ \mathsf{f}_{n} \end{array}\right] \\[1em] &=[\mathsf{f}_{1},\mathsf{f}_{2},\cdots,\mathsf{f}_{n}] \; \boldsymbol{A} \end{aligned}

坐标变换就是基变换，不用求逆，所以遵守协变规律。

小结

1、给定一个线性空间，可以在它上面定义线性函数，所有的线性函数构成了另一个线性空间，即所谓的的对偶空间。
2、也是一个线性空间，那么由 1 可知它也有对偶空间，即。
3、发现和中的元素一一对应，自然同构。简单地说，可以认为两者等同。
4、中向量的坐标变换与它的基变换互逆，称为逆变；而的对偶空间的对偶向量的坐标变换跟的基变换一致，称为协变。

最后看一个动图，

最左边的齿轮表示的基变换，中间齿轮表示中向量的坐标变换，右边齿轮表示中向量的坐标变换。

不妨回想一下，

{\bf e}^{i}({\bf v})=v^i

由这个公式可知，中间的其实对应了的基，因此第二个与第三个是逆变。逆逆得顺，第三个与第一个又成协变了。

相关阅读

什么是张量？你躺平一下就知道了

矩阵和线性代数原来是这么来的

矩阵特征值的故事 - 缘起琴弦

二次型和矩阵合同原来是这么一回事

矩阵特征值是这么来的，以及有趣的盖尔圆

万能的 SVD 分解是哪位牛人提出来的？

度量、范数和内积原来是这么个关系

线性映射: 从凯莱引入矩阵乘法说起

矩阵之芯 SVD: 奇异值分解及其几何解释

矩阵之芯 SVD: 基本应用以及与其他分解的关系

矩阵之芯 SVD: 从奇异值分解看四个基本子空间

矩阵之芯 SVD: 从奇异值分解 SVD 看 PCA

张量之对偶空间，对偶到底是个啥？