我们已经建立了内积这一基础工具，现在将利用它来形式化地定义向量的“长度”和向量间的“距离”。核心思想是：任何内积都可以自然地诱导出一个范数。
由内积诱导的范数（长度）#
在一个内积空间 \((V, \langle \cdot, \cdot \rangle)\) 中，由该内积诱导的范数 (Induced Norm) 定义为：
$$ \|\mathbf{x}\| := \sqrt{\langle \mathbf{x}, \mathbf{x} \rangle} $$- 变量说明:
- \(\mathbf{x}\): 内积空间 \(V\) 中的一个向量。
- \(\langle \cdot, \cdot \rangle\): \(V\) 上定义的内积。
- 适用条件: 适用于任何内积空间。
- 直观解释: 这是一个非常优雅的定义。向量的长度就是它与自身内积的平方根。内积的正定性 (\(\langle \mathbf{x}, \mathbf{x} \rangle \ge 0\)) 保证了根号下的值非负，从而使得长度的定义总是有效的。
- 重要联系:
- 当内积是标准的点积 \(\langle \mathbf{x}, \mathbf{y} \rangle = \mathbf{x}^\top\mathbf{y}\) 时，诱导出的范数正是我们熟悉的L2范数（欧几里得范数）：\(\|\mathbf{x}\| = \sqrt{\mathbf{x}^\top\mathbf{x}}\)。
- 这解释了为什么L2范数在几何上如此特殊——它是由最简单的内积（点积）直接产生的。
常见错误
并非所有范数都由内积诱导。 一个典型的例子是L1范数。不存在任何一个内积，可以通过 \(\sqrt{\langle \mathbf{x}, \mathbf{x} \rangle}\) 的计算得到 \(\sum |x_i|\)。一个范数若要由内积诱导，必须满足平行四边形法则 (Parallelogram Law)：\(\|\mathbf{x}+\mathbf{y}\|^2 + \|\mathbf{x}-\mathbf{y}\|^2 = 2(\|\mathbf{x}\|^2 + \|\mathbf{y}\|^2)\)。L2范数满足此法则，而L1范数不满足。
柯西-施瓦茨不等式#
在定义角度之前，我们需要一个关键的理论保证：柯西-施瓦茨不等式。它为两个向量的内积给出了一个由它们各自长度决定的上界。
数学严谨性
对于内积空间 \(V\) 中的任意向量 \(\mathbf{x}, \mathbf{y}\)，以下不等式恒成立：
$$ |\langle \mathbf{x}, \mathbf{y} \rangle| \le \|\mathbf{x}\| \|\mathbf{y}\| $$- 直观解释: 两个向量的内积（衡量它们的“相关性”或“投影关系”）的绝对值，永远不会超过它们各自长度的乘积。当且仅当两个向量共线（即一个可以由另一个数乘得到）时，等号成立。
- 重要意义: 这个不等式确保了 \(\frac{\langle \mathbf{x}, \mathbf{y} \rangle}{\|\mathbf{x}\| \|\mathbf{y}\|}\) 的值总是在 \([-1, 1]\) 的区间内，这使得我们能够用它来定义一个有效的、实数域内的角度的余弦值，为下一节定义角度铺平了道路。
距离 (Distance)#
有了范数（长度）的概念后，定义两个向量（或点）之间的距离就变得非常直接。
准确的数学定义
在内积空间 \((V, \langle \cdot, \cdot \rangle)\) 中，两个向量 \(\mathbf{x}\) 和 \(\mathbf{y}\) 之间的距离 (Distance) \(d(x, y)\) 定义为它们差向量的范数：
$$ d(\mathbf{x}, \mathbf{y}) := \|\mathbf{x} - \mathbf{y}\| = \sqrt{\langle \mathbf{x} - \mathbf{y}, \mathbf{x} - \mathbf{y} \rangle} $$- 直观解释: \(\mathbf{x}\) 和 \(\mathbf{y}\) 之间的距离，就是连接它们端点的向量 \(\mathbf{x}-\mathbf{y}\) 的长度。
- 欧几里得距离: 当使用由点积诱导的L2范数时，这个距离就是我们最熟悉的欧几里得距离 (Euclidean Distance)。
- 度量 (Metric): 距离函数 \(d(\mathbf{x}, \mathbf{y})\) 自身也满足一组性质（正定性、对称性、三角不等式），使其成为一个度量 (Metric)。度量是衡量空间中点对“远近”的通用工具。
数值示例 (Example 3.5)
在几何学中，我们通常关心向量的长度。现在我们可以利用内积来计算它们。以向量 \(\mathbf{x} = [1, 1]^\top \in \mathbb{R}^2\) 为例。
- 使用标准点积: 如果我们使用点积作为内积，那么通过公式 (3.16)，我们得到 \(\mathbf{x}\) 的长度为：
使用一个不同的内积: 现在，我们选择一个不同的内积，定义为：
$$\langle \mathbf{x}, \mathbf{y} \rangle := x_1y_1 - \frac{1}{2}(x_1y_2 + x_2y_1) + x_2y_2$$如果向量的分量 \(x_1\) 和 \(x_2\) 符号相同（即 \(x_1x_2 > 0\)），这个内积计算出的值会比点积小；反之则会更大。对于我们的向量 \(\mathbf{x} = [1, 1]^\top\)，使用这个内积计算其长度的平方：
因此，长度为 \(\|\mathbf{x}\| = \sqrt{1} = 1\)。
理解要点
- 同一个向量在不同的内积定义下，其“长度”或“距离”的计算结果可能完全不同。在这个例子中，向量 \(\mathbf{x}\) 在第二个内积的定义下比在标准点积的定义下“更短”。
- 这强调了在机器学习任务中，选择或设计合适的度量（内积）是至关重要的，因为它直接决定了我们如何衡量数据点之间的相似性与差异性。
知识点总结#
- 任何内积都可以通过 \(\|\mathbf{x}\| = \sqrt{\langle \mathbf{x}, \mathbf{x} \rangle}\) 诱导出一个范数（长度）。
- 并非所有范数都由内积诱导，例如L1范数。
- 柯西-施瓦茨不等式 (\(|\langle \mathbf{x}, \mathbf{y} \rangle| \le \|\mathbf{x}\| \|\mathbf{y}\|\)) 是定义角度的关键。
- 两个向量间的距离被定义为它们差向量的范数 (\(d(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\|\))。
- 向量的长度和距离是依赖于所选内积的相对概念。
后续
我们已经成功地使用内积定义了长度和距离。柯西-施瓦茨不等式为我们打开了定义几何中另一个核心概念——角度——的大门。通过量化向量间的角度，我们将能够精确地定义什么是垂直（正交），这是理解数据、进行降维和构建高效算法的基石。在下一节中，我们将探讨如何利用内积来定义角度和正交性。