预备概念

理解 “函数”

• 本质：定义域到值域的映射，输入到输出的映射
• 万物皆函数：从函数的视角看，万物与世界交互，对其的作用即输入，对作用的响应即输出
• 函数的子类
  • 函数（狭义）：从数到数的映射
  • 泛函：从函数到数的映射，核心应用是变分法
  • 算子：从函数到函数的映射，这里的函数是泛指函数空间中的元素，或更一般地，向量空间中的向量
  • 变换：自映射，定义域等于值域

理解 “线性”

• 本质：满足叠加原理
  • 可加性：$𝑓\left(𝑥+𝑦\right)=𝑓\left(𝑥\right)+𝑓\left(𝑦\right)$，和的函数等于函数的和
  • 齐次性：$𝑓\left(𝑎𝑥\right)=𝑎𝑓\left(𝑥\right)$
• 线性运算：加法和数乘，最基础的线性操作
• 线性组合：通过线性运算将基本对象组合
• 线性变换：满足叠加原理的变换，通常指向量的线性变换

基础对象

向量：有序数组，表示空间中的点或方向（几何视角）、一组变量的取值（数据视角）

矩阵：数的矩形阵列，可以表示线性方程组的系数、线性变换

理解线性变换 $𝑨𝒙=𝒃$（$𝑨$ 为 $𝑚\times 𝑛$ 实矩阵，$𝒙\in {ℝ}^{𝑛}$，$𝒃\in {ℝ}^{𝑚}$）的三种视角：

$𝑨=\left[\begin{array}{cccc}{𝑎}_{11}& {𝑎}_{12}& \dots & {𝑎}_{1𝑛}\\ {𝑎}_{21}& {𝑎}_{22}& \dots & {𝑎}_{2𝑛}\\ ⋮& ⋮& & ⋮\\ {𝑎}_{𝑚1}& {𝑎}_{𝑚2}& \dots & {𝑎}_{𝑚𝑛}\end{array}\right]=\left[\begin{array}{c}\text{row}\left(𝑨,1\right)\\ \text{row}\left(𝑨,2\right)\\ ⋮\\ \text{row}\left(𝑨,𝑚\right)\end{array}\right]=\left[\begin{array}{cccc}\text{col}\left(𝑨,1\right)& \text{col}\left(𝑨,2\right)& \dots & \text{col}\left(𝑨,𝑛\right)\end{array}\right]$

$\begin{array}{cc}𝒃=𝑨𝒙& =\left[\begin{array}{cccc}{𝑎}_{11}& {𝑎}_{12}& \dots & {𝑎}_{1𝑛}\\ {𝑎}_{21}& {𝑎}_{22}& \dots & {𝑎}_{2𝑛}\\ ⋮& ⋮& & ⋮\\ {𝑎}_{𝑚1}& {𝑎}_{𝑚2}& \dots & {𝑎}_{𝑚𝑛}\end{array}\right]\left[\begin{array}{c}{𝑥}_1\\ {𝑥}_2\\ ⋮\\ {𝑥}_{𝑛}\end{array}\right]=\left[\begin{array}{cccc}{𝑎}_{11}{𝑥}_1& +{𝑎}_{12}{𝑥}_2& +\dots & +{𝑎}_{1𝑛}{𝑥}_{𝑛}\\ {𝑎}_{21}{𝑥}_1& +{𝑎}_{22}{𝑥}_2& +\dots & +{𝑎}_{2𝑛}{𝑥}_{𝑛}\\ ⋮& & & \\ {𝑎}_{𝑚1}{𝑥}_1& +{𝑎}_{𝑚2}{𝑥}_2& +\dots & +{𝑎}_{𝑚𝑛}{𝑥}_{𝑛}\end{array}\right]\\ & =\left[\begin{array}{c}\text{row}\left(𝑨,1\right)\\ \text{row}\left(𝑨,2\right)\\ ⋮\\ \text{row}\left(𝑨,𝑚\right)\end{array}\right]𝒙=\left[\begin{array}{c}\text{row}\left(𝑨,1\right)\cdot 𝒙\\ \text{row}\left(𝑨,2\right)\cdot 𝒙\\ ⋮\\ \text{row}\left(𝑨,𝑚\right)\cdot 𝒙\end{array}\right]\\ & =\left[\begin{array}{ccc}\text{col}\left(𝑨,1\right)& \dots & \text{col}\left(𝑨,𝑛\right)\end{array}\right]\left[\begin{array}{c}{𝑥}_1\\ ⋮\\ {𝑥}_{𝑛}\end{array}\right]={𝑥}_1\text{col}\left(𝑨,1\right)+\dots +{𝑥}_{𝑛}\text{col}\left(𝑨,𝑛\right)\end{array}$

核心代数结构

线性空间（向量空间）

• 定义：对线性运算封闭的集合（满足八条公理）
• 关键概念：线性相关/无关、基、维数（可以为无限维）、坐标

内积空间

• 内积：二元运算，将线性空间中的两个向量映射到一个数域 $𝔽$（$𝔽=ℝ$ 或 $ℂ$）中的标量
  • 满足共轭对称性、第一变元线性、正定性
  • 通常讨论实内积空间，内积满足对称性、双线性、正定性
• 内积赋予几何度量：长度（范数）、角度（进一步定义正交）、距离
• 欧几里得空间 ${ℝ}^{𝑛}$：$⟨𝒙,𝒚⟩={𝒙}^{𝑇}𝒚$，正交矩阵 ${𝑸}^{𝑇}𝑸=𝑰$
  • 正交变换保持内积，从而保持范数、角度和距离
  • 正交矩阵的列向量（行向量）构成一组标准正交基
• 酉空间 ${ℂ}^{𝑛}$：$⟨𝒙,𝒚⟩={𝒙}^{\ast }𝒚$（共轭转置），酉变换保持内积，酉矩阵 ${𝑼}^{\ast }𝑼=𝑰$
• 希尔伯特空间：完备的内积空间，可以是无穷维，是欧几里得空间的推广
• 平方可积函数空间 ${𝐿}^2$：$⟨𝑓,𝑔⟩=\int 𝑓\left(𝑥\right)$$𝑔\left(𝑥\right)$𝑑𝑥，是最典型的无穷维希尔伯特空间，也是傅里叶分析、量子力学和信号处理的基本框架

子空间

• 运算：和、交、补、直和、正交补
• 对于任意 $𝑚\times 𝑛$ 实矩阵 $𝑨$（线性变换 $𝑨𝒙=𝒃$，$𝒙\in {ℝ}^{𝑛}$，$𝒃\in {ℝ}^{𝑚}$），定义四个基本子空间：
  • 零空间 $𝑁\left(𝑨\right)$（解空间）：使输出 $𝒃=\mathrm{𝟎}$ 的输入 $𝒙$ 的集合
  • 列空间 $𝐶\left(𝑨\right)$：列向量张成的空间，也是输出 $𝒃$ 的集合（线性变换的值域）
  • 行空间 $𝑅\left(𝑨\right)=𝐶\left({𝑨}^{𝑇}\right)$：行向量张成的空间
  • 左零空间 $𝑁\left({𝑨}^{𝑇}\right)$：使 ${𝑨}^{𝑇}𝒚=\mathrm{𝟎}$ 的 $𝒚$ 的集合，满足 ${𝒚}^{𝑇}𝑨𝒙=\mathrm{𝟎}$ 对任意 $𝒙$ 成立
  • 零空间中的向量被压扁成零向量，行空间中的向量被映射到列空间中，故 $𝑁\left(𝑨\right)\oplus 𝑅\left(𝑨\right)={ℝ}^{𝑛}$
  • 左零空间中的向量与任意输出正交，列空间是所有可能的输出，故 $𝑁\left({𝑨}^{𝑇}\right)\oplus 𝐶\left(𝑨\right)={ℝ}^{𝑚}$（$\oplus$为直和）

关键数值特征

行列式

• 几何意义：体积缩放因子
• 性质：矩阵可逆 $\iff$ 行列式 ≠ 0

特征值与特征向量

• 理解：在特征向量的方向上，线性变换的作用简化为数乘，特征值表示该方向上的缩放倍数
• $𝑛$ 阶方阵 $𝑨$ 的特征多项式： $\left|𝜆𝑰-𝑨\right|$，是关于 $𝜆$ 的 $𝑛$ 次多项式
  • 特征多项式的零点即为 $𝑨$ 的特征值
  • 特征值 $𝜆$ 的代数重数：特征多项式中 $𝜆$ 作为根的重数
• 特征值 $𝜆$ 的特征子空间：属于 $𝜆$ 的全部特征向量和零向量构成的子空间
  • 特征值 $𝜆$ 的几何重数：$𝜆$ 的特征子空间的维数
  • 几何重数 $\le$ 代数重数

相似对角化

• 矩阵相似： $𝑨\sim 𝑩$ $\iff$ 存在可逆矩阵 $𝑷$ 使得 $𝑩={𝑷}^{-1}𝑨𝑷$
  • 理解：相似矩阵表示同一线性变换在不同基下的表示， $𝑷$ 为两组基的过渡矩阵
• 相似不变量：在相似变换下保持不变的量，刻画线性变换的本质属性
  • 特征多项式为相似不变量
  • 特征值（特征多项式的根）、迹（特征值的和）、行列式（特征值的积）为相似不变量
• 矩阵 $𝑨$ 可对角化：$𝑨$ 与对角矩阵相似，即存在可逆矩阵 $𝑷$ 和对角阵 $𝑫$，使得 $𝑨={𝑷}^{-1}𝑫𝑷$
  • $𝑛$ 阶矩阵 $𝑨$ 可对角化的充要条件：$𝑨$ 有 $𝑛$ 个线性无关的特征向量，即每个特征值的几何重数 $=$ 代数重数
• 实对称矩阵：元素都是实数的对称矩阵
  • 实对称矩阵的特征值是实数，特征向量是实向量，且不同特征值对应的特征向量相互正交
  • 实对称矩阵可正交对角化，即存在正交矩阵 $𝑷$ 和对角阵 $𝑫$，使得 $𝑨={𝑷}^{𝑇}𝑫𝑷$

二次型

• 定义：设 $𝑨$ 是 $𝑛$ 阶实对称矩阵，$𝒙$ 是 $𝑛$ 元列向量，则 ${𝒙}^{𝑇}𝑨𝒙$ 是一个二次型
  • ${𝒙}^{𝑇}𝑨𝒙={\sum }_{𝑖=1}^{𝑛}{\sum }_{𝑗=1}^{𝑛}{𝑎}_{𝑖𝑗}{𝑥}_{𝑖}{𝑥}_{𝑗}={\sum }_{𝑖=1}^{𝑛}{𝑎}_{𝑖𝑖}{𝑥}_{𝑖}^2+2{\sum }_{𝑖<𝑗}{𝑎}_{𝑖𝑗}{𝑥}_{𝑖}{𝑥}_{𝑗}$
  • 二次型即 $𝑛$ 个变量 ${𝑥}_1,{𝑥}_2,\dots ,{𝑥}_{𝑛}$ 的二次齐次多项式，二次型 ${𝒙}^{𝑇}𝑨𝒙$ 与实对称矩阵 $𝑨$ 一一对应
• 二次型的标准型：二次型只含有变量的平方项，对应的矩阵为对角矩阵
  • 由于实对称矩阵 $𝑨$ 可正交对角化 $𝑨={𝑷}^{𝑇}𝑫𝑷$，作正交变换 $𝒚=𝑷𝒙$，则 ${𝒙}^{𝑇}𝑨𝒙={𝒚}^{𝑇}𝑫𝒚={\sum }_{𝑖=1}^{𝑛}{𝜆}_{𝑖}{𝑦}_{𝑖}^2$，二次型化为标准型
• 正定二次型：对任意非零向量，值恒为正的二次型，对应的实对称矩阵为正定矩阵（半正定：值恒非负）
  • 实对称矩阵（半）正定的充要条件：所有特征值为正（非负）
  • 由于 ${𝒙}^{𝑇}\left({𝑨}^{𝑇}𝑨\right)𝒙={\left(𝑨𝒙\right)}^{𝑇}\left(𝑨𝒙\right)\ge 0$，矩阵 ${𝑨}^{𝑇}𝑨$ 半正定，若 $𝑨$ 列满秩则正定