同一份代码、同一批数据，只把随机种子换一下，一次 AI 训练顺利收敛，另一次从第一步就停在原地。这类说不清原因的现象在深度学习早期很常见，根子往往在参数初值。权重初始化要解决的是一个很朴素的问题：在还没有任何训练信号的时候，怎么给几百万个参数一个合适的起点，让信号能穿过几十层而不被放大到溢出、也不被压到消失。
全零初始化会把一层压成一个神经元
把所有权重设成 0，同一层里每个神经元的输入、输出、梯度完全一致。反向传播时它们拿到相同的更新量，训练多少步都保持同步，一层几十个神经元实际只起到一个的作用。这叫对称性失效。解决办法是随机化，让每个神经元的初始方向不同，破坏这种对称。偏置可以设为零，因为它不参与对称性破坏——只要权重不同，神经元就已经分化了。
几种主流做法各自赌了什么
| 方法 | 依据的假设 | 适配的激活 | 失效条件 |
|---|---|---|---|
| 零或常数初始化 | 没有假设，只是给个起点 | 无 | 只要存在多层非线性堆叠，直接退化成单神经元 |
| Xavier 初始化 | 激活在零点附近近似线性，前后层方差一致 | tanh、sigmoid | 换到 ReLU，一半负值被砍掉，方差逐层减半 |
| He 初始化 | 考虑 ReLU 砍掉一半输入，方差补偿一倍 | ReLU 及其变体 | 换回 tanh 会偏大，深层堆叠容易饱和 |
| 正交初始化 | 用正交矩阵保持向量范数不被连乘改变 | 循环网络的循环权重 | 只稳住连乘，管不了偏置和层间缩放 |
| 残差分支零初始化 | 让残差块初始时等价于恒等映射 | 深层 ResNet、Transformer | 没有归一化层配合时，梯度路径过于单一 |
表格里 Xavier 和 He 在算方差，正交初始化和零初始化在控结构。理解这个分野比记住公式有用——遇到新结构时，先问它属于信号幅度问题还是路径问题，再决定套哪一类方案。
方差为什么会在层间失控
前向传播时，每层的输出是上一层输出乘权重再求和。如果权重的方差偏大，输出方差会逐层放大；偏小则逐层衰减。几十层乘下来，放大和衰减都是指数级的，这就是初值差一点点、深层网络的表现会差出几个量级的原因。反向传播更糟，梯度要沿同样的路径乘回去，还要再乘一次权重的转置，同一份偏差被放大两遍。表现上，放大过头会看到损失在最初几步就变成无效值，衰减过头会看到损失几乎不动、梯度范数逐层趋近于零。梯度怎么算、怎么传，可参考 梯度下降与反向传播，初始化做的事就是让这条链上的乘数尽量接近 1。
归一化层改变了什么，又没有改变什么
批归一化和层归一化出现之后，初始化的敏感度确实下降了：每层输出被强行拉回统一尺度，方差失控的链条被切断了一段。敏感度下降不等于可以随便初始化。归一化只能约束幅度，管不了方向；残差结构里如果所有分支初始输出为零，网络在开局等价于一个浅层模型，梯度虽然不爆炸，学习效率却很低。残差分支零初始化要解决的正是这一点——让每个块初始时接近恒等映射，信号直接穿过去，训练再从零开始学增量。想了解归一化怎么逐层稳住数值，可看 批归一化的统计方式。
它管不到的部分
初始化能决定能不能开始学，决定不了能学多好。学习率设错，再好的初值也会在几百步内被毁掉；数据带标签噪声，收敛得再稳也只是稳定地学错；模型容量不够，初值再讲究也到不了目标精度。它还有一个时间边界：影响主要集中在训练最开始的几百到几千步，等训练跑开，初值的影响会被大量更新稀释。所以那些「换初始化让准确率涨了两个点」的结论要谨慎看待，很可能只是换了随机种子带来的波动。另外，从预训练权重继续训练时，初始化这一步根本不存在，这时候纠结初始化方案是白费力气，该关心的是 混合精度训练 下权重的数值范围会不会溢出。
怎么判断问题出在初始化
三个信号最容易认。损失在最初几十步就变成 NaN 或无穷，先查初值方差是不是太大，再查有没有除零；损失长期停在某个固定值不动，比如分类任务里恰好停在类别数的自然对数附近，说明输出接近均匀分布，网络什么都没学到，优先怀疑初值太小或激活饱和；逐层看梯度范数，如果它从后往前指数级衰减，问题基本锁定在前向和反向的方差传递上。排查顺序建议是：先确认数据和标签没问题，再看学习率，最后才动初始化。初始化故障的表现最剧烈，反而最容易被误判成其他原因。
速查：权重初始化的要点
- 零初始化会让同层神经元完全同步，必须随机打破对称
- Xavier 配 tanh，He 配 ReLU，配对错了方差会逐层偏一半或翻倍
- 损失开局即 NaN 查放大，损失长期不动查衰减
- 初始化只影响开局几百到几千步，救不了坏数据和坏学习率
