在 AI 的语境里，向量就是一串带方向的数：一句台词的语义、一张图片的特征、一个用户的偏好，都可以表示成向量。矩阵对这些向量做的事，藏着数据结构里最关键的信息——特征值与特征向量，说的就是哪些方向在变换中被保留了下来。
从方向不变的线说起
把矩阵想成一台加工机器：丢进一个向量，出来一个新向量，长短和方向通常都变了。但总有几个特殊方向，经过这台机器后方向不变，只是被拉长或压短——拉缩的倍数就是特征值，这几个方向就是特征向量。写成公式是 Av = λv：矩阵 A 作用在向量 v 上，结果恰好是 v 自己的 λ 倍。λ 大于 1 是放大，介于 0 和 1 之间是压缩，为负是方向调头，接近 0 则说明这条方向几乎被压扁。
关键在于：特征值大的方向，是这台机器用力最猛的方向。一个矩阵面对无数个方向，但真正决定它行为的，往往只有特征值排在前列的那几条。
为什么它是数据的主方向
把数据摆成点云，协方差矩阵的特征向量指向的正是数据散开最厉害的方向。做 PCA 降维时，保留特征值大的方向、丢掉特征值小的方向，用两三个维度装下原来几十个维度的信息，损失还很小。降维之后的数据喂给下游模型，训练更快、噪声更少——这和模型量化是同一种思路：先找出冗余在哪，再把不重要的部分压掉。
它在 AI 系统里的四个位置
- 降维与可视化：PCA、谱方法都依赖特征分解，高维数据要画成二维散点图，走的就是这条路。
- 图算法：谱聚类把"哪些节点抱团"变成求矩阵特征向量的问题，图神经网络的传播本质也是类似的结构运算。
- 排序与推荐：把链接关系写成矩阵，重要度沿特征向量分布，经典的网页排序就是这个思路。
- 稳定性分析：判断一个迭代过程会不会发散，看迭代矩阵特征值的绝对值是否小于 1。
三类任务对应的分解选择
| 场景 | 常用方法 | 怎么判断结果可用 |
|---|---|---|
| 高维特征降维 | PCA（协方差矩阵特征分解） | 前 3 个主成分的累计解释比例是否过半 |
| 非方阵压缩 | SVD 奇异值分解 | 奇异值衰减是否陡峭，越陡说明越可压缩 |
| 聚类前结构探查 | 谱分解（拉普拉斯矩阵） | 次小特征值接近 0 时，分簇结构明显 |
两个直觉失效的时刻
第一，只有方阵才谈得上特征值。日常数据矩阵大多行列不对称，比如一万张图片对上三百个特征，这类非方阵要改用奇异值分解（SVD），SVD 找出的奇异向量承担同样的角色，并且总是存在。第二，非对称方阵的特征值可能是复数，"拉长压短"的直觉失效，这时要看的是特征值的模。还有一个实际限制：特征值大不等于一定重要。协方差矩阵受量纲影响，不同单位混在一起时先做标准化再分解，否则算出的"主方向"可能只是单位选得大的那个字段。主方向还会沿用数据本身的偏差——哪些群体被采集得多，主方向就更偏向谁，回看输入分布时要带着这个意识，必要时做一次数据层面的核查。
一个能动手算的 2×2 例子
拿对角矩阵 [[3,0],[0,1]] 验证：它作用在横轴方向 [1,0] 上，得到 [3,0]，拉长 3 倍；作用在纵轴方向 [0,1] 上，得到 [0,1]，长度不变。所以特征值是 3 和 1，特征向量就是横轴和纵轴。对角矩阵的特征向量都沿坐标轴——理解这一点再看 PCA 输出的主成分载荷，就是先把一般矩阵旋转对角化、再读出的同一组数。
特征值速查
- Av = λv：方向不变，倍数即特征值
- 最大特征值方向，就是数据散开最厉害的方向
- 非方阵改用 SVD，复数特征值看模长
- 分解前先标准化，量纲会伪造主方向
三个可以接着问的问题
特征值出现负数说明什么？说明变换会把该方向调头，在数据里通常对应负相关结构。深度网络为什么不直接做特征分解？参数动辄 7B、70B 的量级，完整分解的代价承受不起，实践中多用幂迭代这类近似方法，只求最大的那几个特征值。词向量和特征向量是一回事吗？两者都是向量但来源不同：词向量是训练学出来的表示，特征向量由矩阵分解得出，两者的"方向"含义并不同。
