一、向量与向量空间相关（定义 + 几何直觉）

以下概念是线性代数中最基本的构件，每一个都与“空间中的点或箭头”相关。

1. 向量（Vector）

定义：
向量是一个可以进行加法与数乘的对象，通常表示为一个有序数列，比如
\((x_1, x_2, \dots, x_n)\)

几何直觉：
向量就像一个从原点出发的箭头，表示“往哪个方向走、走多远”。

2. 零向量（Zero Vector）

定义：
所有分量都为 0 的向量：
\((0,0,\dots,0)\)

几何直觉：
箭头的长度为 0，没有方向，缩成一个点（原点）。

3. 单位向量（Unit Vector）

定义：
长度为 1 的向量。

几何直觉：
只表示方向，不表示大小，是方向的“标准刻度尺”。

4. 向量长度（范数，Norm）

定义：
向量的大小（长度），例如二维中
\(||(x,y)|| = \sqrt{x^2+y^2}\)

几何直觉：
箭头有多长，就是范数多大。

5. 向量加法（Vector Addition）

定义：
向量按分量相加，例如
\((x_1, y_1) + (x_2, y_2) = (x_1+x_2,\, y_1+y_2)\)

几何直觉：
先按第一个箭头走到它的终点，再从那里沿第二个箭头走到最终位置（首尾相接）。

6. 数乘（Scalar Multiplication）

定义：
向量乘以一个标量，例如
\(c(x,y) = (cx, cy)\)

几何直觉：
让箭头变长或变短；如果 \(c < 0\)，方向会被翻转。

7. 线性组合（Linear Combination）

定义：
若
\(v = a_1u_1 + a_2u_2 + \dots + a_k u_k\)
则称 \(v\) 是向量组 \(u_1,\dots,u_k\) 的线性组合。

几何直觉：
用多个方向（向量）按比例混合，得到一个新的方向与位置。

8. 向量张成的空间（Span）

定义：
所有线性组合构成的集合称为这些向量的张成空间。

几何直觉：
它们能“扫出”的全部区域。

• 一个非零向量 → 一条直线
• 两个不共线向量 → 一个平面
• 三个不共面的向量 → 三维空间

9. 向量空间（Vector Space）

定义：
一个对加法与数乘封闭的集合，满足线性运算规则（加法结合律、交换律、数乘分配律等）。

几何直觉：
一个你可以随意做“平移 + 缩放”的空间。例如：直线、平面、三维空间都是向量空间。

10. 子空间（Subspace）

定义：
向量空间内部的一个“更小的向量空间”。

几何直觉：
三维空间中的一条过原点的直线、一个过原点的平面，都属于子空间。

11. 线性无关（Linear Independence）

定义：
如果唯一能使
\(a_1u_1 + \dots + a_k u_k = 0\)
成立的系数是
\(a_1 = a_2 = \dots = a_k = 0\)
那么这些向量线性无关。

几何直觉：
没有向量可以被其他向量“拼出来”；方向完全不同，不冗余。

12. 线性相关（Linear Dependence）

定义：
存在某个向量可由其它向量线性组合得到，则这些向量线性相关。

几何直觉：
某几个箭头其实指向同一个方向（或落在同一平面中），其中一些是“重复的”。

13. 基（Basis）

定义：
能张成整个空间且线性无关的一组向量。

几何直觉：
这是空间的“方向刻度尺”。
例如二维中，只需要横轴与纵轴两个方向，就可以描述全部点。

14. 维数（Dimension）

定义：
一个空间的基向量数量。

几何直觉：
空间中“独立方向”的数量，例如：

• 直线是一维
• 平面是二维
• 我们所在的物理空间是三维

15. 坐标表示（Coordinate Representation）

定义：
一个向量可以写成基向量的线性组合，其系数就是坐标。
例如
\((x,y) = x(1,0) + y(0,1)\)

几何直觉：
告诉你要沿每个基方向走多少步。

16. 标准基（Standard Basis）

定义：
欧氏空间中通常采用的基：
二维为
\((1,0),(0,1)\)
三维为
\((1,0,0),(0,1,0),(0,0,1)\)

几何直觉：
就是常见的“横向”“纵向”“高度”方向。

17. 正交向量（Orthogonal Vectors）

定义：
两个向量的点积为零：
\(u \cdot v = 0\)

几何直觉：
箭头之间成直角，完全独立，不影响彼此。

18. 正交归一基（Orthonormal Basis）

定义：
所有基向量两两垂直，且每个长度为 1。

几何直觉：
一个“最干净、最方便”的坐标系。
在这类基下很多计算会极大简化，例如坐标投影就是点积。

二、矩阵基础（定义 + 几何直觉）

1. 矩阵（Matrix）

定义：
按行与列排列的数字表，用来描述线性变换。

几何直觉：
矩阵是一台“操纵空间的机器”，输入一个向量，输出一个经过拉伸、旋转或剪切后的向量。

2. 方阵（Square Matrix）

定义：
行数与列数相等的矩阵。

几何直觉：
对应“维度保持不变”的变换：二维到二维，三维到三维。

3. 行矩阵（Row Matrix）

定义：
只有一行的矩阵。

几何直觉：
像一个“测量尺”，把一个向量压缩成一个标量（例如点积）。

4. 列矩阵（Column Matrix）

定义：
只有一列的矩阵，本质上就是一个向量。

几何直觉：
一根从原点出发的箭头。

5. 对角矩阵（Diagonal Matrix）

定义：
对角线以外全为 0。

几何直觉：
只改变各坐标轴方向的长度，不改变方向；没有旋转成分。

6. 单位矩阵（Identity Matrix）

定义：
对角线为 1，其余为 0 的矩阵，记作
\(I\)

几何直觉：
“什么都不做”的变换，向量保持原样。

7. 上三角矩阵（Upper Triangular Matrix）

定义：
主对角线以下全为 0。

几何直觉：
变换从“上层”变量向下影响，带有顺序结构。

8. 下三角矩阵（Lower Triangular Matrix）

定义：
主对角线上方全为 0。

几何直觉：
变换从“下层”变量向上传递。

9. 稀疏矩阵（Sparse Matrix）

定义：
大部分元素为 0 的矩阵。

几何直觉：
只对空间的少数方向施加作用。

10. 稠密矩阵（Dense Matrix）

定义：
绝大部分元素非零。

几何直觉：
多数方向的变换相互耦合，没有简化结构。

11. 实矩阵（Real Matrix）

定义：
所有元素都是实数的矩阵。

几何直觉：
对应普通的实空间变换。

12. 复矩阵（Complex Matrix）

定义：
元素可以是复数。

几何直觉：
可以表示旋转 + 缩放的复合变换，更适用于量子力学、信号处理等领域。

三、矩阵运算（定义 + 几何直觉）

1. 矩阵加法（Matrix Addition）

定义：
对应元素相加。

几何直觉：
把两个变换的“效果”逐项叠加，但几何意义不一定直观。

2. 矩阵数乘（Scalar-Matrix Multiplication）

定义：
矩阵的每个元素都乘以标量 \(c\)。

几何直觉：
让整个变换“整体变强或变弱”，相当于变换后的结果拉伸 \(c\) 倍。

3. 矩阵乘法（Matrix Multiplication）

定义：
行向量与列向量组合得到新矩阵。

几何直觉：
变换的复合，
\((AB)v = A(Bv)\)
表示先执行 \(B\) 再执行 \(A\)。

4. 矩阵转置（Transpose）

定义：
矩阵行列互换，记作 \(A^T\)。

几何直觉：
把“输入方向”和“输出方向”互换，如同在平面上“翻过对角线”。

5. 共轭转置（Hermitian Transpose）

定义：
对复矩阵：先取复共轭，再转置，记作
\(A^\*\)

几何直觉：
复数空间中的“正交翻转”，保持复内积结构。

6. 矩阵的幂（Matrix Power）

定义：
\(A^k = A \cdot A \cdot \dots \cdot A\)（重复 k 次）

几何直觉：
让同一个线性变换重复作用多次，如“持续旋转”、“多次拉伸”的累积效果。

7. 矩阵的函数（Matrix Function）

定义：
将常见函数（如指数、对数、三角函数）推广到矩阵，例如
\(e^A\)

几何直觉：
表示连续、平滑的变换过程，例如物理系统的演化。

8. 分块矩阵（Block Matrix）

定义：
把矩阵分成若干小块（子矩阵）。

几何直觉：
将复杂变换拆成多个“区域处理模块”，适合描述多个变量组之间的交互。

四、线性变换与映射（定义 + 几何直觉）

1. 线性变换（Linear Transformation）

定义：
满足
\(T(u+v) = T(u) + T(v)\)
\(T(cu) = cT(u)\)
的函数。

几何直觉：
保持“网格线平直”的变换：拉伸、旋转、剪切、反射等。

2. 仿射变换（Affine Transformation）

定义：
线性变换 + 平移
\(T(x) = Ax + b\)

几何直觉：
先把空间变形，再整体移动。

3. 恒等变换（Identity Transformation）

定义：
\(T(x) = x\)

几何直觉：
空间完全不改变。

4. 投影变换（Projection）

定义：
将向量“压扁”到某个子空间。

几何直觉：
光照下的“影子落在地面”，或向直线看齐的投影。

5. 旋转变换（Rotation）

定义：
保持长度与角度的变换。

几何直觉：
整个空间绕某个轴转一定角度。

6. 反射变换（Reflection）

定义：
沿某个子空间翻转。

几何直觉：
像照镜子一样反射到另一侧。

7. 缩放变换（Scaling）

定义：
让某些方向变长、变短。

几何直觉：
像拉橡皮筋一样，让向量变粗或变细。

8. 剪切变换（Shear）

定义：
沿某个方向推动，使矩形变成平行四边形。

几何直觉：
上边被推走，而下边保持不动。

9. 正交变换（Orthogonal Transformation）

定义：
满足
\(Q^T Q = I\)
的变换。

几何直觉：
只旋转或反射，不拉伸或压缩；保持长度与角度。

五、行列式与可逆性（定义 + 几何直觉）

1. 行列式（Determinant）

定义：
一个数，用来描述矩阵对体积的缩放比例。

几何直觉：
二维中：单位正方形的面积变成多少倍。
三维中：单位立方体的体积变成多少倍。

2. 可逆矩阵（Invertible Matrix）

定义：
存在矩阵 \(A^{-1}\) 使
\(A^{-1}A = I\)

几何直觉：
变换没有把空间压扁，所有信息都可以恢复。

3. 不可逆矩阵（Singular Matrix）

定义：
没有逆矩阵，行列式为 0。

几何直觉：
空间被压成低维（例如平面变成直线），信息丢失无法恢复。

4. 逆矩阵（Inverse Matrix）

定义：
变换的“反操作”，使空间恢复原样。

几何直觉：
像旋钮的“逆方向旋转”，完全撤销先前的操作。

5. 伴随矩阵（Adjugate Matrix）

定义：
由代数余子式组成的转置矩阵，用于求逆矩阵
\(A^{-1} = \frac{1}{\det(A)} \text{adj}(A)\)

几何直觉：
是逆矩阵的“未缩放版本”。

6. 余子式（Minor）

定义：
删除第 i 行第 j 列后剩余矩阵的行列式。

几何直觉：
测量“去掉一个方向后”剩下子空间的体积缩放。

7. 代数余子式（Cofactor）

定义：
带符号的余子式
\(C_{ij} = (-1)^{i+j} M_{ij}\)

几何直觉：
通过正负符号调节方向翻转后的体积贡献。

8. 拉普拉斯展开（Laplace Expansion）

定义：
按行或列展开行列式的方式。

几何直觉：
把复杂体积缩放拆解成小块体积缩放相加。

六、线性方程组、秩与零空间（定义 + 几何直觉）

1. 线性方程组（System of Linear Equations）

定义：
由若干线性方程组成的系统，通常写作
\(Ax = b\)

几何直觉：
是在问：是否存在一个向量 $x$，经过变换 $A$ 之后，刚好落在 $b$ 这个点上？

2. 齐次方程组（Homogeneous System）

定义：
右端为零向量的方程组
\(Ax = 0\)

几何直觉：
寻找所有被变换 $A$ 压缩到“原点”的方向。

3. 非齐次方程组（Non-homogeneous System）

定义：
右端不为零向量
\(Ax = b,\quad b \neq 0\)

几何直觉：
寻找哪些原始位置会被移动到 $b$ 点。

4. 高斯消元法（Gaussian Elimination）

定义：
通过行变换把矩阵化为阶梯形或最简阶梯形的方法。

几何直觉：
不断“旋转、对齐”方程所在的平面或超平面，使解的结构彻底暴露出来。

5. 列空间（Column Space）

定义：
所有可能输出 $Ax$ 构成的集合。

几何直觉：
变换 $A$ 真正“能到达的所有位置”。

6. 零空间 / 核（Null Space / Kernel）

定义：
\(\{x \mid Ax = 0\}\)

几何直觉：
所有被“挤压掉”的方向，变换之后完全消失。

7. 秩（Rank）

定义：
列空间的维数。

几何直觉：
变换之后空间“还剩多少个自由方向”。

8. 零度（Nullity）

定义：
零空间的维数。

几何直觉：
被压缩掉的方向数量。

9. 秩-零度定理（Rank–Nullity Theorem）

定义：
\(\text{rank}(A) + \text{nullity}(A) = \text{输入空间维数}\)

几何直觉：
空间的自由度，不是被保留下来，就是被压缩消失。

七、内积、范数与正交性（定义 + 几何直觉）

1. 内积（Inner Product） / 点积（Dot Product）

定义：
\(u \cdot v = \|u\|\|v\|\cos\theta\)

几何直觉：
测量一个向量在另一个方向上的“投影强度”。

2. 向量夹角（Angle Between Vectors）

定义：
通过点积反推出角度。

几何直觉：
两个方向之间偏离得有多大。

3. 正交（Orthogonality）

定义：
若
\(u \cdot v = 0\)
则 $u,v$ 正交。

几何直觉：
完全垂直，互不影响。

4. 正交投影（Orthogonal Projection）

定义：
将向量投影到某个子空间上。

几何直觉：
影子落在一条线或一个平面上。

5. 正交补（Orthogonal Complement）

定义：
所有与某子空间正交的向量所构成的空间。

几何直觉：
这个空间的“完全垂直方向世界”。

6. 范数（Norm）

定义：
向量的长度函数。

几何直觉：
箭头有多长。

7. 二范数（Euclidean Norm）

定义：
\(\|x\|_2 = \sqrt{x_1^2 + x_2^2 + \dots}\)

几何直觉：
直线距离。

8. 一范数（L1 Norm）

几何直觉：
像“走格子”，只走横向再走纵向。

9. 无穷范数（Infinity Norm）

几何直觉：
只看最大坐标的绝对值。

八、特征值理论（定义 + 几何直觉）

1. 特征值（Eigenvalue）

定义：
满足
\(Av = \lambda v\)
中的标量 $\lambda$。

几何直觉：
在这个方向上被拉伸或压缩的倍数。

2. 特征向量（Eigenvector）

定义：
满足
\(Av = \lambda v\)
的非零向量 $v$。

几何直觉：
变换后方向不变，只发生缩放的“主轴方向”。

3. 特征空间（Eigenspace）

定义：
同一个特征值对应的所有特征向量构成的空间。

几何直觉：
所有保持同样缩放比例的方向集合。

4. 特征多项式（Characteristic Polynomial）

定义：
\(\det(A - \lambda I) = 0\)

几何直觉：
寻找哪些缩放比例会让空间塌缩。

5. 代数重数（Algebraic Multiplicity）

定义：
某个特征值作为根出现的次数。

几何直觉：
该“拉伸比例”在代数上重复了几次。

6. 几何重数（Geometric Multiplicity）

定义：
该特征值对应的特征空间维数。

几何直觉：
这个拉伸比例对应多少条独立“主轴”。

7. 对角化（Diagonalization）

定义：
将矩阵变为对角矩阵的过程。

几何直觉：
找出所有“主拉伸方向”，只剩下缩放。

九、相似与合同（定义 + 几何直觉）

1. 相似矩阵（Similar Matrices）

定义：
\(B = A^{-1}MA\)

几何直觉：
同一个变换在不同坐标系下的表现。

2. 合同矩阵（Congruent Matrices）

定义：
\(B = A^T M A\)

几何直觉：
保持二次型结构的坐标变换。

十、正交矩阵、对称矩阵、正定矩阵（定义 + 几何直觉）

1. 对称矩阵（Symmetric Matrix）

定义：
\(A = A^T\)

几何直觉：
变换关于对角线“镜像对称”。

2. 反对称矩阵（Skew-Symmetric Matrix）

定义：
\(A = -A^T\)

几何直觉：
纯旋转型微小变换。

3. 正交矩阵（Orthogonal Matrix）

定义：
\(Q^T Q = I\)

几何直觉：
只旋转或翻转，不拉伸。

4. 酉矩阵（Unitary Matrix）

几何直觉：
复空间中的“正交矩阵”。

5. 正定矩阵（Positive Definite Matrix）

定义：
\(x^T A x > 0\)

几何直觉：
所有方向的“能量”都是正的，没有塌陷方向。

十一、伪逆与最小二乘（定义 + 几何直觉）

1. 伪逆（Moore–Penrose Pseudoinverse）

定义：
不可逆矩阵的“最优逆替代”。

几何直觉：
在无法完整还原时，选择“最接近反向的操作”。

2. 最小二乘解（Least Squares Solution）

定义：
使误差
\(\|Ax - b\|\)
最小的解。

几何直觉：
无法精确命中目标点时，找“最近的影子”。

3. 过定方程组（Overdetermined System）

几何直觉：
约束太多，通常无精确解。

4. 欠定方程组（Underdetermined System）

几何直觉：
约束太少，解不唯一。

5. 正规方程（Normal Equation）

定义：
\(A^T A x = A^T b\)

几何直觉：
误差方向与列空间正交的位置。

十二、矩阵分解（定义 + 几何直觉）

1. LU 分解

几何直觉：
剪切 + 拉伸的组合。

2. QR 分解

几何直觉：
正交旋转 + 拉伸的组合。

3. Cholesky 分解

几何直觉：
正定矩阵的“平方根”。

4. 特征值分解（Eigendecomposition）

几何直觉：
沿各主轴分别拉伸。

5. 奇异值分解（SVD）

几何直觉：
任意变换 = 旋转 → 拉伸 → 旋转。

6. Schur 分解

几何直觉：
变换逼近上三角结构。

7. 极分解（Polar Decomposition）

几何直觉：
任意变换 = 旋转 × 拉伸。

十三、几何与坐标系统

1. 旋转矩阵（Rotation Matrix）

几何直觉：
整个空间绕某个轴匀速旋转。

2. 欧拉角（Euler Angles）

几何直觉：
用三次绕轴旋转描述任意方向。

3. 旋转轴（Axis of Rotation）

几何直觉：
空间中的“静止方向”。

4. 反射矩阵（Reflection Matrix）

几何直觉：
关于某个平面照镜子。

5. 投影矩阵（Projection Matrix）

几何直觉：
空间坍缩到某个子空间。

6. 刚体变换（Rigid Transformation）

几何直觉：
只移动和旋转，不拉伸。

7. 齐次坐标（Homogeneous Coordinates）

几何直觉：
把平移也塞进矩阵乘法里的“升维技巧”。

十五、进阶与应用相关（定义 + 几何直觉）

这一部分是线性代数在工程、数值计算与机器学习中的核心应用概念。

1. 条件数（Condition Number）

定义：
矩阵的条件数刻画“输入微小变化会引起输出多大变化”，常定义为
\(\kappa(A) = \|A\| \cdot \|A^{-1}\|\)

几何直觉：
如果一个单位圆经过矩阵变换后变成了一个“极度狭长的椭圆”，那么这个矩阵的条件数就很大，说明某些方向被极度放大，数值误差会被成倍放大。

2. 数值稳定性（Numerical Stability）

定义：
算法在存在舍入误差时，是否仍能给出可靠结果的性质。

几何直觉：
在“狭长空间”里走路（大条件数），极小的方向偏差都会被无限放大；在“接近圆形空间”里走路（小条件数），误差不易扩散。

3. 稀疏性（Sparsity）

定义：
向量或矩阵中，大多数元素为 0 的特性。

几何直觉：
在一个高维空间中，只有极少数方向真正“起作用”，其余方向是关闭的。

4. 低秩近似（Low-Rank Approximation）

定义：
用一个较低秩的矩阵去近似一个高秩矩阵，例如
\(A \approx A_k\)
其中 \(\text{rank}(A_k) = k \ll \text{rank}(A)\)。

几何直觉：
用一个“低维平面”去拟合原本分布在高维空间中的点云，只保留最主要的变化方向。

5. 主成分分析（PCA, Principal Component Analysis）

定义：
通过特征值分解或 SVD，寻找数据中方差最大的正交方向，并进行降维。

核心公式形式：
对协方差矩阵 \(\Sigma\) 做特征分解
\(\Sigma v = \lambda v\)

几何直觉：
在云状分布的数据中，寻找“最长的伸展方向”作为新的坐标轴，然后把数据投影到这些主方向上，实现压缩与去噪。

6. 线性回归（Linear Regression）

定义：
通过最小二乘求解
\(Ax \approx b\)
找到使误差最小的参数 \(x\)：

几何直觉：
在高维空间中，寻找一个“最佳拟合超平面”，让所有数据点到这个平面的垂直距离最小。

7. 协方差矩阵（Covariance Matrix）

定义：
衡量各个维度之间“共同变化关系”的矩阵：

几何直觉：
它刻画了数据云的“形状”：

• 对角线大 → 该方向变化剧烈
• 非对角线大 → 两个方向强相关
  PCA 本质上就是在“解剖”这个数据云的主伸展方向。