剪枝是怎么决定剪谁的？重要性打分

大模型训练完，权重里混着大量出力甚微的连接，剪枝就是给网络瘦身的那把剪刀。可剪刀该落在哪根连接上，不能凭手感，得靠重要性打分。本文拆解打分的依据、剪的顺序和剪完怎么验，看清剪枝背后的取舍逻辑。

进来一张权重网，出去一张瘦身的网

剪枝的输入是训练好的模型，里面每一个连接都带一个权重值。打分环节进来的是整张网的连接与它们的激活表现，发生的是按重要性给每个连接排序，出去的是「保留清单」和「待剪清单」。随后按清单把小权重或低贡献的连接置零，得到一张参数量更小、结构更稀疏的网络。整条流水线里，打分是核心，剪只是执行。

重要性怎么看：三种常用依据

最直观的是看权重数值：数值接近零的连接，输出贡献天然小，剪掉影响有限。第二种看激活贡献：拿一批数据跑前向，统计每个连接对输出的实际影响，影响小的排后面。第三种看梯度与损失的联动：去掉某个连接后损失涨得越多，说明它越关键，这种方法更准但更贵，要反复试剪。三种依据常叠加使用，先粗筛再精排。

打个比方，这像给团队调编制：工龄长的未必留，工资高的未必走，要看每个人实际产出。产出低又容易替代的，先进名单。类比停在这里——回到机制本身，打分的本质是用一个可计算的量近似「去掉它会怎样」，近似越准，剪得越稳。知识是怎么存进参数里的那篇还提醒过：知识是分散编码的，单个连接很少独担一份知识，重要性评估因此不能孤立看一个数。

三种打分依据，准头和成本不在一个量级。

剪多少、什么时候剪

剪枝分训练前、训练中、训练后三种时机。训练后剪最省事，但剪完能力下滑，往往要微调补回来；训练中剪边学边剪，模型有机会把重要连接练得更壮；训练前剪多用于设计更小的结构从头训。剪的比例也没有定论，实践中常用「剪一点、测一测、再剪一点」的循环，每一轮都拿验证集考能力，崩住了才继续。腾讯元宝、文心一言的团队在技术博客里都强调过同一顺序：先稳住任务指标不掉，再追求压缩率。

一个反直觉的发现值得记住：剪过的网络重新训练，有时能追上甚至超过原模型，说明原始训练里养着一批「有力使不出」的连接，权重被竞争挤在低位，剪掉反而给了存活者呼吸空间。这给剪枝提供了另一种用法——不是单纯为了部署瘦身，也可以当成重新训练前的筛选步骤，先减负再精训。

剪枝流程自查清单

• 打分前先定验证集，每个比例都要拿它验收
• 先剪最不重要的一小批，看指标再继续
• 结构化剪枝裁整层整通道，兼容性更好
• 剪完必须微调补课，否则能力缺口会暴露在真实使用里

非结构化与结构化：剪刀的两种走法

把单个连接置零，叫非结构化剪枝，压缩率高，但稀疏矩阵需要专门格式支持，通用推理框架不一定吃得下，加速效果常打折扣。整条通道、整个头地裁，叫结构化剪枝，压缩率低一些，但得到的还是规整矩阵，现有硬件和框架直接受益。低秩分解是怎么省参数的走的是另一条路：不改稀疏度，改矩阵形状。量化等级的梯度是怎么排的则连数值精度一起动。三条路都为了让参数更高效，选哪条看部署环境吃哪种。

剪枝重要性打分快问快答三则

• 小权重就一定不重要吗？：多数情况下成立，但有例外——某些连接单个数值不大，却和其他连接配合承担关键通路，所以严格场景要配激活贡献一起看。
• 剪完模型变笨怎么办？：先回退一档比例，再用蒸馏时老师的哪些答案值得学那类高质量数据微调补课，通常能追回大部分能力。
• 剪枝和量化能一起用吗？：可以，两者动的维度不同，一个砍连接一个压位数，叠加时注意验证集指标，别把两道工序的误差攒到一起。

最后留个判断：打分是近似，验证集是裁判，压缩率再漂亮，指标掉了就得往回收。