模型量化是把模型权重从高精度数值压缩成低精度数值的技术：把每个参数从 16 位浮点数压到 8 位或 4 位整数，文件体积和显存占用随之下降一半甚至更多。瘦身的底气来自大模型权重数值的分布特点——绝大多数数值集中在很小的范围内，降低精度对能力的影响远小于直觉。这项技术让消费级设备运行大模型成为可能，是本地部署绕不开的概念。
量化的本质是降低数值精度
模型内部的参数原本以高精度浮点数存储，常见的有 FP16、FP32 等格式。量化做的事，是把这一串「小数点后很多位」的数值，映射到更粗的刻度上，比如 INT8 只有 256 档、INT4 只有 16 档。刻度变粗，每个数值占用的存储空间就变小：16 位压到 8 位，体积减半；压到 4 位，体积只剩四分之一。打个比方，就像把精确到克的菜谱改成精确到十克，绝大多数菜照做不误，风味损失有限。
压缩一半为什么还能用
关键在于大模型参数的分布特点：绝大多数权重数值都很小、很集中，偏离主群的极端值很少。量化算法会保留主群区域的刻画精度，对少数极端值单独处理，因此整体信息损失有限。加上推理时成千上万个参数共同参与计算，单个参数的小误差会在统计上互相抵消，最终输出质量的波动远比「数字精度砍半」听起来的要小。这只是原理层面的解释，具体损失多少，要看量化方案与任务类型。
量化档位与质量表现
常见档位有 8 位、4 位，更激进的还有更低位宽的方案。大致规律：8 位量化几乎感觉不到差异；4 位量化在多数任务上表现稳定，但长链条推理、代码这类精细任务可能略有下滑；位宽再往下压，质量风险明显上升。同一个模型在 ModelScope 等平台往往挂有多个量化版本，社区讨论里通常能找到实测反馈，选型时参考真实用户的口碑，比自己凭文件大小猜可靠。
| 位宽 | 体积变化 | 质量表现 |
|---|---|---|
| FP16（原始） | 基准 | 未压缩 |
| INT8 / 8 位 | 约为一半 | 几乎感觉不到差异 |
| INT4 / 4 位 | 约为四分之一 | 多数任务稳定，精细任务可能略降 |
| 更低比特 | 更小 | 质量风险明显上升 |
本地跑模型怎么选量化版本
选择步骤很简单：先确认设备显存或内存上限，再据此挑位宽。经验估法是 7B 模型的 4 位量化版大约需要 4-6 GB 内存余量，具体因推理框架而异，以工具说明为准。优先选下载量大、更新时间近、附有使用示例的版本；下载后用几个自己熟悉的任务试一轮，答题质量明显不对就退一档换更高位宽。量化成品的质量还与发布方的量化方案有关，同一档位不同方案差异可能不小。
量化不改变什么
量化压缩的是存储与计算的数值精度，不改变模型的参数规模、知识与能力边界。一个 7B 模型量化后仍是 7B，它不知道的事依然不知道，不会因为变小而学会新东西。另外，量化并非唯一的瘦身路线，还有剪枝（删掉不重要的参数）、蒸馏（训练小模型模仿大模型）等路线，各自适用场景不同。选型时不必纠结术语，核心指标就两个：占用多少资源、质量损失多少。
延伸阅读：Q4、Q8 这些数字怎么读、Q4 和 Q8 差多少、量化部署的显存怎么省。
选量化版本的四步
- 先查设备显存或内存上限
- 按上限挑位宽，7B 的 4 位约 4-6 GB
- 选下载量大、更新近的版本
- 用熟悉任务试一轮，不对就退一档
最后一步最常被省掉，试一轮就能发现不同方案的差异。
量化后的模型掉点明显吗？
- 4 位量化适合什么设备？：8 GB 内存以上的笔记本、16 GB 内存以上的台式机多数能带动 7B 级 4 位量化模型，实际表现以推理框架的官方要求为准。
- 量化模型还能继续微调吗？：部分方案支持在量化基础上继续训练，部分需要先还原精度，操作差异较大，建议查看所选方案的官方文档。
- 手机上的本地大模型也是量化的吗？：基本是。端侧设备内存有限，厂商普遍先量化压缩再部署，这也是手机能离线跑 AI 的前提之一。
