跳过正文
线性代数:向量空间
  1. Blog/

线性代数:向量空间

·2061 字·5 分钟
目录
线性代数 - 这篇文章属于一个选集。
§ 5: 本文

在前面的学习中,我们不只是在解方程,更是在观察解的“结构”。特别是齐次方程 \(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{0}\) 的解集,它具有一种美妙的封闭性:任意两个解相加仍然是解,任意解的数乘也仍然是解。这种结构正是“向量空间”的雏形。本节将这个概念正式化、公理化。


1. 前置概念:群 (Group)
#

在定义向量空间之前,我们需要了解一个更基础的代数结构——。群研究的是单个运算下的代数结构。

准确的数学定义

一个群 (Group) 是一个集合 \(G\) 与其上的一个二元运算 \(\otimes\) (例如加法 + 或乘法 ·)组成的代数结构,记作 \((G, \otimes)\),它必须满足以下四个公理:

  1. 封闭性 (Closure):对于 \(G\) 中任意两个元素 \(x, y\),它们的运算结果 \(x \otimes y\) 仍然在 \(G\) 中。

    $$ \forall x, y \in G : x \otimes y \in G $$
  2. 结合律 (Associativity):运算的顺序不影响结果。

    $$ \forall x, y, z \in G : (x \otimes y) \otimes z = x \otimes (y \otimes z) $$
  3. 单位元 (Neutral Element):\(G\) 中存在一个“单位”元素 \(e\),任何元素与它运算都保持不变。

    $$ \exists e \in G, \forall x \in G : x \otimes e = e \otimes x = x $$
  4. 逆元 (Inverse Element):对于 \(G\) 中的每一个元素 \(x\),都存在一个“逆”元素 \(y\)(通常记作 \(x^{-1}\)),使得它们运算的结果是单位元 \(e\)。

    $$ \forall x \in G, \exists y \in G : x \otimes y = y \otimes x = e $$

如果一个群还额外满足交换律 (Commutativity),即 \(\forall x, y \in G : x \otimes y = y \otimes x\),那么它被称为阿贝尔群 (Abelian Group) 或交换群。

数值示例:

  • \((\mathbb{Z}, +)\):整数集合与加法运算构成一个阿贝尔群。单位元是0,任何整数 \(n\) 的逆元是 \(-n\)。
  • \((\mathbb{R} \setminus\{0\}, \cdot)\):非零实数集合与乘法运算构成一个阿贝尔群。单位元是1,任何数 \(x\) 的逆元是 \(1/x\)。
  • \((\mathbb{N}_0, +)\) (非负整数集与加法):不是群。虽然有单位元0,但除了0以外的元素(如3)没有逆元(-3不在集合中)。

2. 向量空间的定义
#

向量空间在一个阿贝尔群的基础上,引入了第二种运算——标量乘法,并要求这两种运算之间和谐共存。

准确的数学定义 (Definition 2.9)

一个实向量空间 (Real Vector Space) 是一个集合 \(V\) 配备了两种运算:

  1. 向量加法 + : \(V \times V \to V\)
  2. 标量乘法 · : \(\mathbb{R} \times V \to V\)

并且满足以下公理:

  1. (V, +) 是一个阿贝尔群:这自动包含了向量加法的封闭性、结合律、交换律,以及存在零向量 \(\boldsymbol{0}\) (单位元) 和每个向量 \(\boldsymbol{v}\) 的负向量 \(-\boldsymbol{v}\) (逆元)。

  2. 标量乘法与向量加法的分配律

    $$ \forall \lambda \in \mathbb{R}, \forall \boldsymbol{x}, \boldsymbol{y} \in V : \lambda \cdot (\boldsymbol{x} + \boldsymbol{y}) = \lambda \cdot \boldsymbol{x} + \lambda \cdot \boldsymbol{y} $$
  3. 标量乘法与标量加法的分配律

    $$ \forall \lambda, \psi \in \mathbb{R}, \forall \boldsymbol{x} \in V : (\lambda + \psi) \cdot \boldsymbol{x} = \lambda \cdot \boldsymbol{x} + \psi \cdot \boldsymbol{x} $$
  4. 标量乘法的结合律

    $$ \forall \lambda, \psi \in \mathbb{R}, \forall \boldsymbol{x} \in V : \lambda \cdot (\psi \cdot \boldsymbol{x}) = (\lambda\psi) \cdot \boldsymbol{x} $$
  5. 标量乘法的单位元

    $$ \forall \boldsymbol{x} \in V : 1 \cdot \boldsymbol{x} = \boldsymbol{x}  $$

    其中,1是实数中的乘法单位元。

理解要点

向量空间是一个高度结构化的“舞台”,在这个舞台上,“演员”(向量)可以自由地进行加法和数乘两种表演,而不会“跑出舞台”(封闭性)。这些公理确保了我们的代数运算(如移项、合并同类项)可以像处理普通数字一样安全地应用于向量。

3. 向量子空间 (Vector Subspace)
#

在实际应用中,我们常常关心一个大向量空间内部的、自身也构成向量空间的小集合,这就是子空间

准确的数学定义 (Definition 2.10):

设 \(V\) 是一个向量空间,其非空子集 \(U \subseteq V\) 如果在继承 \(V\) 的加法和标量乘法运算下,其自身也构成一个向量空间,则称 \(U\) 是 \(V\) 的一个向量子空间 (vector subspace)线性子空间 (linear subspace)

由于 \(U\) 中的元素天然满足 \(V\) 的所有运算律(如结合律、分配律),要判断 \(U\) 是否为子空间,我们只需验证其封闭性单位元的存在性即可。

子空间判定三原则:

一个非空子集 \(U \subseteq V\) 是 \(V\) 的子空间,当且仅当它满足以下三个条件:

  1. 包含零向量: \(\boldsymbol{0}_V \in U\)。
  2. 对加法封闭: \(\forall \boldsymbol{x}, \boldsymbol{y} \in U \implies \boldsymbol{x} + \boldsymbol{y} \in U\)。
  3. 对标量乘法封闭: \(\forall \lambda \in \mathbb{R}, \forall \boldsymbol{x} \in U \implies \lambda \boldsymbol{x} \in U\)。

直观解释与示例

  • \(\mathbb{R}^3\) 中的子空间:
    • 平凡子空间:仅包含零向量 \(\{\boldsymbol{0}\}\) 的集合,以及 \(\mathbb{R}^3\) 本身。
    • 过原点的直线:形如 \(\{\lambda \boldsymbol{v} | \lambda \in \mathbb{R}\}\),其中 \(\boldsymbol{v} \neq \boldsymbol{0}\)。
    • 过原点的平面:形如 \(\{\lambda_1 \boldsymbol{v}_1 + \lambda_2 \boldsymbol{v}_2 | \lambda_1, \lambda_2 \in \mathbb{R}\}\),其中 \(\boldsymbol{v}_1, \boldsymbol{v}_2\) 不共线。
  • 齐次方程组的解空间: 对于任意矩阵 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\),其齐次方程 \(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{0}\) 的解集是 \(\mathbb{R}^n\) 的一个子空间。
  • 非齐次方程组的解空间: \(\boldsymbol{A}\boldsymbol{x}=\boldsymbol{b}\) (当 \(\boldsymbol{b} \neq \boldsymbol{0}\)) 的解集不是一个子空间,因为它不包含零向量 \(\boldsymbol{0}\)。
Figure 2.6,展示R^2中哪些是子空间,哪些不是

与机器学习的联系

子空间是降维数据压缩的核心思想。例如,主成分分析(PCA)算法的目标就是找到一个低维的子空间,使得原始高维数据点到这个子空间的投影距离之和最小。这意味着我们用这个子空间来近似地“捕捉”数据的核心变化,从而丢弃冗余信息,达到降维的目的。


本节知识点总结
#

  • 群 (Group):定义了单一封闭运算的基本代数结构,向量加法满足阿贝尔群的要求。
  • 向量空间: 一个由向量组成的集合,定义了向量加法和标量乘法两种运算,并满足一套严格的公理。它是线性代数所有理论的根基。
  • 向量子空间: 一个大向量空间中的“自给自足”的小世界,它本身也是一个向量空间。
  • 子空间判定: 验证三条核心性质:包含零向量、对加法封闭、对数乘封闭
  • 重要实例: \(\mathbb{R}^n\) 及其所有过原点的线、面等,以及齐次线性方程组的解空间。
线性代数 - 这篇文章属于一个选集。
§ 5: 本文