模型压缩的三板斧？蒸馏剪枝与量化

一个 AI 大模型动辄几十上百亿参数，本领越大，运行的开销也越大：显存装不下、响应慢半拍、设备带不动。模型压缩做的就是把大模型的本事装进更小的身体里。常用路线有三条，业内戏称三板斧：蒸馏，让小模型拜大模型为师；剪枝，把模型里闲着的部分删掉；量化，把数字存得更粗。这篇把三条路摆在一起对照：各自动模型的哪个部位、换来多少省、付出什么代价，最后看它们怎么组合使用；每条路线的细节另有专篇，文中互链。

为什么要压缩：能力与开销的账

模型部署之后，账是按推理算的：每一次问答、每一张图，参数都要完整过一遍。参数越多，显存占用越大、单次推理越慢、电费越高——这份开销与参数量大致成正比。云端可以堆算力硬扛，手机、车载、边缘设备装不下几百亿参数的原版，压缩要解决的问题不是模型不够聪明，而是聪明得用不起。压缩的对象因此很明确：在能力损失可控的前提下，把参数的存储量与计算量降下来。评价一次压缩成不成功，看的就是「省了多少」与「笨了多少」这笔交换划不划算。

蒸馏：让小模型拜师学艺

蒸馏换的是模型本身。大模型当老师，小模型当学生，训练目标只有一个：让学生的输出尽量贴近老师。关键在「贴什么」：标准答案只有对错，而老师输出的是一张概率分布——这个词可能性多大、第二可能是什么、错误选项各自有多少把握，这些被称为软标签的信息，比一个干巴巴的正确答案丰富得多。学生照着分布学，等于同时学到了答案与老师的判断习惯，小模型因此能学到远超自己体量的本事。代价在训练侧：得先有老师，还得让老师对海量样本各跑一遍、把输出攒成训练信号，前期的算力投入不小，换来的是部署后的小而快。蒸馏的完整机制见模型蒸馏一篇。

剪枝：把不干活的连接删掉

剪枝动的是权重。训练完的模型里，大量参数的数值接近零，对输出几乎没影响——它们是训练过程的遗留物。剪枝先给每个参数按重要性打分，再把得分低的连接删掉，模型体积随之缩小。删法分两派：按单个权重删，删得精细、理论压缩率高，但剩下的矩阵稀稀拉拉，普通硬件加速不了；按整块整通道删，删得糙一些，删完的结构规整，硬件直接受益。剪完的模型通常还会掉一点能力，接一轮微调把损失补回来。打分怎么打、删多少合适，机制细节见模型剪枝一篇。

量化：把数字存得更粗

量化动的是数值格式。参数本来用十六位浮点数存储，量化把它们换成更短的格式——八位、四位，相当于把精确到分的账本改记成精确到元：每个数都糙了一点，但账目结构还在，整体表现大体保得住。收益立竿见影：十六位换八位，存储与显存占用直接减半，换四位再减半，模型装进显存变得容易，推理时搬运数据的带宽开销也同步下降。风险是糙得过分会伤到能力，从十六位到八位基本无损，往四位走就开始考验方法了；量化版与原版的差距怎么看，量化与原版对比一篇有专门对照，档位怎么选见量化一篇。

三板斧怎么选、怎么合

三条路动的地方不同：蒸馏换模型、剪枝删连接、量化换格式，彼此不冲突，工程上经常连着用——先用蒸馏得到一个学生模型，再剪枝瘦身，最后量化上线，一层一层把开销压下去。单独选路也有规律：要换个更小的模型从头部署，蒸馏对口；模型已经训练好、只想瘦身，剪枝与量化更顺手，其中量化改动最小、见效最快，常是部署侧的第一动作。压缩之外，调度与编译层的优化同样在压推理开销，整条加速的盘子见推理加速一篇。想亲手体会大小模型的差距，可以让豆包把同一个问题分别交给不同体积的模型回答，对照速度与质量，再让 DeepSeek 解释一份四位量化模型的精度损失主要出在哪类数值上，三条路线的分工感就建立起来了。

模型压缩速查

• 蒸馏：大模型当老师输出概率分布，小模型照着学
• 剪枝：按重要性删掉影响小的权重，删完微调补损失
• 量化：十六位换八位四位，存储显存带宽全线下降
• 三条路不冲突，常见组合是蒸馏、剪枝、量化依次上
• 评价标准始终是「省了多少」对「笨了多少」的交换

模型压缩快问快答

• 压缩后的模型会明显变笨吗？：看幅度。八位量化通常几乎无感，剪枝比例过高、量化位数过低才会伤到能力，工程上按「能力损失可控」这条线反复权衡。
• 三板斧可以同时用吗？：可以，而且常见。三者分别换模型、删连接、换格式，互不干扰，流水线式的组合压缩是端侧部署的常规做法。
• 压缩出来的小模型和原生小模型一样吗？：不完全一样。压缩模型继承了老师或原版的「见识」，原生小模型则是在小体量下自己训练的，两者的知识面与推理习惯不同，各有各的适用场景。