从投影到线性变换的深刻联系在前面的讲解中我们探索了线性变换如何改变空间。现在我们来看一个看似简单却极其深刻的运算——点积也叫内积。它不仅是坐标的对应相乘再相加更有着优美的几何解释。而3Blue1Brown视频中最精彩的部分是揭示了点积与对偶性之间的内在联系每一个点积运算都可以看作是一个从多维空间到一维空间的线性变换。8.1 点积的计算与几何解释计算定义对于两个二维向量v ⃗ [ x 1 y 1 ] \vec{v} \begin{bmatrix}x_1\\y_1\end{bmatrix}v[x1y1]和w ⃗ [ x 2 y 2 ] \vec{w} \begin{bmatrix}x_2\\y_2\end{bmatrix}w[x2y2]它们的点积定义为v ⃗ ⋅ w ⃗ x 1 x 2 y 1 y 2 \vec{v} \cdot \vec{w} x_1x_2 y_1y_2v⋅wx1x2y1y2即对应坐标相乘再相加。对于三维向量则是x 1 x 2 y 1 y 2 z 1 z 2 x_1x_2 y_1y_2 z_1z_2x1x2y1y2z1z2。几何解释点积还有一个等价的几何定义v ⃗ ⋅ w ⃗ ∥ v ⃗ ∥ ∥ w ⃗ ∥ cos θ \vec{v} \cdot \vec{w} \|\vec{v}\| \,\|\vec{w}\| \cos\thetav⋅w∥v∥∥w∥cosθ其中θ \thetaθ是两个向量之间的夹角。这个公式告诉我们点积的绝对值等于v ⃗ \vec{v}v的长度乘以w ⃗ \vec{w}w在v ⃗ \vec{v}v方向上的投影长度或反之。如果两个向量垂直点积为零cos 90 ∘ 0 \cos90^\circ 0cos90∘0。如果方向相同点积为正方向相反点积为负。直观理解点积衡量一个向量在另一个向量方向上的“贡献”程度。它是对齐程度的度量。8.2 点积的对称性从几何定义容易看出点积是对称的v ⃗ ⋅ w ⃗ w ⃗ ⋅ v ⃗ \vec{v} \cdot \vec{w} \vec{w} \cdot \vec{v}v⋅ww⋅v。这意味着投影是相互的v ⃗ \vec{v}v在w ⃗ \vec{w}w上的投影长度乘以∥ w ⃗ ∥ \|\vec{w}\|∥w∥等于w ⃗ \vec{w}w在v ⃗ \vec{v}v上的投影长度乘以∥ v ⃗ ∥ \|\vec{v}\|∥v∥。这并非显而易见但从代数定义可以直接推出。8.3 从线性变换的视角看点积对偶性现在让我们把点积与线性变换联系起来。考虑一个将二维向量映射到一维数轴的线性变换L : R 2 → R L: \mathbb{R}^2 \to \mathbb{R}L:R2→R。根据我们之前学过的这样一个变换完全由它在基向量上的作用决定。设L ( i ^ ) a L(\hat{i}) aL(i^)aL ( j ^ ) b L(\hat{j}) bL(j^)b那么对于任意向量v ⃗ [ x y ] \vec{v} \begin{bmatrix}x\\y\end{bmatrix}v[xy]由线性性质L ( v ⃗ ) x L ( i ^ ) y L ( j ^ ) a x b y L(\vec{v}) xL(\hat{i}) yL(\hat{j}) ax byL(v)xL(i^)yL(j^)axby看这正是向量v ⃗ \vec{v}v与某个向量u ⃗ [ a b ] \vec{u} \begin{bmatrix}a\\b\end{bmatrix}u[ab]的点积形式也就是说每一个从高维到一维的线性变换都对应着一个唯一的向量u ⃗ \vec{u}u使得变换作用就是与u ⃗ \vec{u}u取点积。对偶向量这个u ⃗ \vec{u}u被称为该线性变换的对偶向量。反过来给定任何向量u ⃗ \vec{u}u映射v ⃗ ↦ u ⃗ ⋅ v ⃗ \vec{v} \mapsto \vec{u} \cdot \vec{v}v↦u⋅v一定是一个线性变换可以验证它满足可加性和齐次性。因此点积与一维线性变换之间有着一一对应的关系。对偶性的几何意义如何理解这种对应想象一个从二维到一维的线性变换它会把整个平面压缩到一条数轴上。这个变换由某个向量u ⃗ \vec{u}u决定而u ⃗ \vec{u}u的方向和长度编码了压缩的方式。实际上u ⃗ \vec{u}u的方向就是数轴的方向而它的长度反映了拉伸的倍数。当我们用点积u ⃗ ⋅ v ⃗ \vec{u} \cdot \vec{v}u⋅v计算时结果正是v ⃗ \vec{v}v在u ⃗ \vec{u}u方向上的投影长度乘以∥ u ⃗ ∥ \|\vec{u}\|∥u∥。所以这个线性变换的几何操作就是首先将向量投影到u ⃗ \vec{u}u所在的直线上然后将投影长度缩放∥ u ⃗ ∥ \|\vec{u}\|∥u∥倍。8.4 对偶性的核心思想对偶性的深刻之处在于它揭示了一个概念的两个方面静态视角点积是向量之间的运算衡量它们的对齐程度。动态视角每个向量都“代表”一个线性变换该变换将空间压缩到一维。换句话说当我们写下u ⃗ ⋅ v ⃗ \vec{u} \cdot \vec{v}u⋅v时我们可以选择将u ⃗ \vec{u}u看作一个静态的箭头也可以看作一个正在挤压空间的变换机器。两种视角完全等价且由对偶性统一起来。为什么这很重要对偶性在数学中无处不在。在更高级的线性代数中我们会遇到“对偶空间”的概念——所有线性变换构成的向量空间它与原空间同构。点积就是连接这两个空间的桥梁。8.5 总结点积代数上是坐标相乘再相加几何上是投影长度乘以另一个向量的长度。点积与线性变换任何一个从高维到一维的线性变换都可以表示为与某个固定向量的点积。对偶性向量和它对应的线性变换是同一枚硬币的两面。下次当你计算点积时不妨想象其中一个向量正在施展魔法将整个空间压缩到一条直线上而结果就是你的向量在那条线上留下的痕迹。这种视角会让线性代数变得更加通透。上一章机器学习线性代数–(7)逆矩阵、列空间、秩、零空间与非方阵
机器学习线性代数--(8)点积与对偶性
从投影到线性变换的深刻联系在前面的讲解中我们探索了线性变换如何改变空间。现在我们来看一个看似简单却极其深刻的运算——点积也叫内积。它不仅是坐标的对应相乘再相加更有着优美的几何解释。而3Blue1Brown视频中最精彩的部分是揭示了点积与对偶性之间的内在联系每一个点积运算都可以看作是一个从多维空间到一维空间的线性变换。8.1 点积的计算与几何解释计算定义对于两个二维向量v ⃗ [ x 1 y 1 ] \vec{v} \begin{bmatrix}x_1\\y_1\end{bmatrix}v[x1y1]和w ⃗ [ x 2 y 2 ] \vec{w} \begin{bmatrix}x_2\\y_2\end{bmatrix}w[x2y2]它们的点积定义为v ⃗ ⋅ w ⃗ x 1 x 2 y 1 y 2 \vec{v} \cdot \vec{w} x_1x_2 y_1y_2v⋅wx1x2y1y2即对应坐标相乘再相加。对于三维向量则是x 1 x 2 y 1 y 2 z 1 z 2 x_1x_2 y_1y_2 z_1z_2x1x2y1y2z1z2。几何解释点积还有一个等价的几何定义v ⃗ ⋅ w ⃗ ∥ v ⃗ ∥ ∥ w ⃗ ∥ cos θ \vec{v} \cdot \vec{w} \|\vec{v}\| \,\|\vec{w}\| \cos\thetav⋅w∥v∥∥w∥cosθ其中θ \thetaθ是两个向量之间的夹角。这个公式告诉我们点积的绝对值等于v ⃗ \vec{v}v的长度乘以w ⃗ \vec{w}w在v ⃗ \vec{v}v方向上的投影长度或反之。如果两个向量垂直点积为零cos 90 ∘ 0 \cos90^\circ 0cos90∘0。如果方向相同点积为正方向相反点积为负。直观理解点积衡量一个向量在另一个向量方向上的“贡献”程度。它是对齐程度的度量。8.2 点积的对称性从几何定义容易看出点积是对称的v ⃗ ⋅ w ⃗ w ⃗ ⋅ v ⃗ \vec{v} \cdot \vec{w} \vec{w} \cdot \vec{v}v⋅ww⋅v。这意味着投影是相互的v ⃗ \vec{v}v在w ⃗ \vec{w}w上的投影长度乘以∥ w ⃗ ∥ \|\vec{w}\|∥w∥等于w ⃗ \vec{w}w在v ⃗ \vec{v}v上的投影长度乘以∥ v ⃗ ∥ \|\vec{v}\|∥v∥。这并非显而易见但从代数定义可以直接推出。8.3 从线性变换的视角看点积对偶性现在让我们把点积与线性变换联系起来。考虑一个将二维向量映射到一维数轴的线性变换L : R 2 → R L: \mathbb{R}^2 \to \mathbb{R}L:R2→R。根据我们之前学过的这样一个变换完全由它在基向量上的作用决定。设L ( i ^ ) a L(\hat{i}) aL(i^)aL ( j ^ ) b L(\hat{j}) bL(j^)b那么对于任意向量v ⃗ [ x y ] \vec{v} \begin{bmatrix}x\\y\end{bmatrix}v[xy]由线性性质L ( v ⃗ ) x L ( i ^ ) y L ( j ^ ) a x b y L(\vec{v}) xL(\hat{i}) yL(\hat{j}) ax byL(v)xL(i^)yL(j^)axby看这正是向量v ⃗ \vec{v}v与某个向量u ⃗ [ a b ] \vec{u} \begin{bmatrix}a\\b\end{bmatrix}u[ab]的点积形式也就是说每一个从高维到一维的线性变换都对应着一个唯一的向量u ⃗ \vec{u}u使得变换作用就是与u ⃗ \vec{u}u取点积。对偶向量这个u ⃗ \vec{u}u被称为该线性变换的对偶向量。反过来给定任何向量u ⃗ \vec{u}u映射v ⃗ ↦ u ⃗ ⋅ v ⃗ \vec{v} \mapsto \vec{u} \cdot \vec{v}v↦u⋅v一定是一个线性变换可以验证它满足可加性和齐次性。因此点积与一维线性变换之间有着一一对应的关系。对偶性的几何意义如何理解这种对应想象一个从二维到一维的线性变换它会把整个平面压缩到一条数轴上。这个变换由某个向量u ⃗ \vec{u}u决定而u ⃗ \vec{u}u的方向和长度编码了压缩的方式。实际上u ⃗ \vec{u}u的方向就是数轴的方向而它的长度反映了拉伸的倍数。当我们用点积u ⃗ ⋅ v ⃗ \vec{u} \cdot \vec{v}u⋅v计算时结果正是v ⃗ \vec{v}v在u ⃗ \vec{u}u方向上的投影长度乘以∥ u ⃗ ∥ \|\vec{u}\|∥u∥。所以这个线性变换的几何操作就是首先将向量投影到u ⃗ \vec{u}u所在的直线上然后将投影长度缩放∥ u ⃗ ∥ \|\vec{u}\|∥u∥倍。8.4 对偶性的核心思想对偶性的深刻之处在于它揭示了一个概念的两个方面静态视角点积是向量之间的运算衡量它们的对齐程度。动态视角每个向量都“代表”一个线性变换该变换将空间压缩到一维。换句话说当我们写下u ⃗ ⋅ v ⃗ \vec{u} \cdot \vec{v}u⋅v时我们可以选择将u ⃗ \vec{u}u看作一个静态的箭头也可以看作一个正在挤压空间的变换机器。两种视角完全等价且由对偶性统一起来。为什么这很重要对偶性在数学中无处不在。在更高级的线性代数中我们会遇到“对偶空间”的概念——所有线性变换构成的向量空间它与原空间同构。点积就是连接这两个空间的桥梁。8.5 总结点积代数上是坐标相乘再相加几何上是投影长度乘以另一个向量的长度。点积与线性变换任何一个从高维到一维的线性变换都可以表示为与某个固定向量的点积。对偶性向量和它对应的线性变换是同一枚硬币的两面。下次当你计算点积时不妨想象其中一个向量正在施展魔法将整个空间压缩到一条直线上而结果就是你的向量在那条线上留下的痕迹。这种视角会让线性代数变得更加通透。上一章机器学习线性代数–(7)逆矩阵、列空间、秩、零空间与非方阵
