一个几百亿参数的大模型，权重文件动辄几十上百 GB，普通电脑根本装不下。量化（quantization）就是把它「压缩」到能跑起来的技术：它不删参数，而是降低每个参数存储与计算的精度。这篇文章讲清楚量化在压缩什么、不同精度的取舍，以及为什么它能解释「轻量版和旗舰版差那么多」这件事。
量化在压什么：数字的位数
模型里的参数本质上是一串串数字，量化就是把表示这些数字的精度降下来——原来用 16 位存一个数，改成 8 位甚至 4 位。位数少了，占的空间就小，计算时的开销也小。关键要记住：量化不是「删参数」，参数数量没变，变的是每个参数的表示精度。
一个直观类比：把高清照片压成小图，文件从 10MB 变成 1MB，肉眼看还过得去，放大看细节确实糊一点。量化也是同一类取舍——省下大量空间和算力，换来一点点精度损失。损失多大，取决于降到几位、以及任务对精度有多敏感。
常见精度档位怎么选
| 精度 | 体积与计算 | 适用场景 | 判断标准 |
|---|---|---|---|
| 16 位 | 占用大，计算重 | 对效果要求高的生产场景 | 能跑得动就优先考虑 |
| 8 位 | 体积约减半，损失很小 | 多数日常问答与生成 | 损失不明显时的常见选择 |
| 4 位 | 体积再减半，普通设备能跑 | 本地部署、消费级显卡 | 复杂推理可能受影响，需自测 |
位数越低越省，但损失也越大，这个平衡点就是工程上要拿捏的地方。表格里的「约减半」是数量级上的参考，具体压缩比例取决于量化的具体方案，不能当作精确数字。
量化带来什么实打实的好处
其一，省显存。原本装不下的模型，量化后能塞进消费级设备，这让「本地部署」从一个专业需求变成了普通人也可能尝试的事。其二，跑得快。计算量随精度降低而减小，响应更跟手。其三，成本低。服务端单次推理更便宜，同一个硬件能同时服务更多请求——这也部分解释了为什么有些 AI 功能可以免费开放。
但要把「能跑」和「跑得好」分开看：量化解决的是「能不能装下、能不能跑起来」，不解决「答得好不好」。一个量化到 4 位的模型，可能能流畅对话，但在需要精细推理的任务上出现明显质量下降，这时候省下来的空间就不值得了。
量化的代价与失效场景
精度损失是必然的，不是可选项。对日常问答、聊天、内容生成这类容错较高的任务，8 位甚至 4 位的影响往往不大；但在数学推导、代码生成、长链条推理这些对数值敏感的任务上，低精度可能带来可感知的错误。所以判断标准不是「量化好不好」，而是「这个任务对精度损失敏不敏感」。
还有一类失效要警惕：不同量化方案、不同实现的质量差异很大，同样标着「4 位」，实际效果可能差很远。所以量化后的模型必须用你自己的真实任务测一遍，不能只看规格说明就下结论。如果某个场景对效果要求苛刻，而设备又实在装不下低损版本，那「量化到能跑」和「用云端高精度版本」之间就该重新权衡。
量化速查
- 量化是降精度不删参数，省的是空间和算力，付出的是精度损失
- 容错高的任务（聊天、写作）优先考虑低精度，数值敏感的任务（推理、代码）谨慎降位
- 同样标 4 位，不同实现质量差异大，务必用真实任务自测
想读懂 Q4、Q8 这些标注的含义，可以看量化格式里的数字怎么读；量化之后怎么部署上卡，量化部署用一个例子讲透了完整链路。如果你关心的是「普通人的电脑能不能跑大模型」，本地部署大模型会告诉你量化和消费级硬件怎么配合。至于量化压缩的到底是模型里的什么，先读大语言模型会有更完整的背景。
