「Q4 量化掉一半智商」是大模型本地部署圈流传最广的吓人说法。它把复杂的精度损失问题简化成一句口号，而口号常常误导人。
误区一：Q4 会让能力直接腰斩
错在哪：把精度从 16 位降到 4 位，直接等同于能力减半。实际测试中，多数模型在 Q4 下的常见任务表现与全精度相当接近，差距集中在长链推理、数学计算和生僻知识上。
正确说法：Q4 是有损压缩，损失真实存在，但幅度远小于掉一半的说法，且不同任务的受损程度差别很大。
| 任务类型 | Q4 下的表现 | 建议 |
|---|---|---|
| 格式化、摘要 | 与全精度相当接近 | 可以直接用 Q4 |
| 长链推理 | 差距开始显现 | 先跑自己的评估集再决定 |
| 数学计算 | 受损相对明显 | 显存允许时选更高位宽 |
| 生僻知识 | 容易出错 | 配检索，或直接换 Q8 |
误区二：量化只有损失没有收益
错在哪：只盯着可能下降的质量分，忽视了量化带来的体积和速度红利。显存占用降到四分之一左右，意味着原本跑不动的显卡能跑了，长上下文也从奢望变成日常。
正确说法：量化是用可控的精度换可用的部署条件。对多数个人开发者来说，没有量化，本地部署这条路基本走不通。
速度账也要算。量化不仅省显存，还减少内存带宽压力，而同规格模型的推理速度往往正是被带宽卡住的。同样的显卡，Q4 版本的每秒生成 token 数通常高于全精度版本，等待感明显下降。
校准数据的选择也很关键。量化前要用一小批有代表性的数据统计各层的数值分布，样本太偏就会在某些任务上集中翻车。正规发布的量化版，会在卡片里写清校准方式。
误区三：所有模型量化后表现一个样
错在哪：默认量化是标准流水线，任何模型套上去结果差不多。实际上模型架构、激活分布、训练时的校准数据都会影响量化后的表现，同一方案在不同模型上的效果可能差出一大截。
正确说法：量化版本要逐个模型测。看模型卡片里作者给出的量化评估，或者自己跑一遍评估集。通义千问、DeepSeek 的开放生态里都有大量社区量化版本，挑之前先看作者有没有附评估数据。版本差异还可以对照满血版和蒸馏版的区别。
- 先跑评估集：用自己的二十个问题测一轮再决定
- 看任务类型：格式化、摘要容忍度高；数学、长推理要谨慎
- 算显存账：Q4 省下的显存，可能换来更长的上下文
- 对比官方卡：优先选择作者提供量化评估的版本
量化后能开的上下文长度也变了，可以看上下文 128K 的换算误区；蒸馏和量化常被混为一谈，蒸馏版的常见误解值得一读。
实测的姿势可以很简单：把平时最常用的十类任务各准备几条，分别用全精度和量化版跑，人工对比输出。半小时就能得出对自己有没有影响的结论，比看任何评测都直接。
另外，位宽不是越低压越好。更极端的压缩档位，损失开始变得难以预测，除非显存实在紧张，否则不建议一上来就选最低档。加载速度的提升则是确定的好处：文件小了，从磁盘读入显存的时间同步下降。
如果量化后发现输出开始出现乱码或重复，先排查推理框架对该格式支持不全，再考虑换一档位。很多「质量暴跌」的案例，最后定位到的是工具链问题，而不是模型本身。选量化版时优先挑有多个位宽可选的仓库，进可攻退可守，比一步到位更灵活。
换个问法再问Q4量化三句
- Q4 和 Q8 该怎么选？：显存宽裕选 Q8，差距更小；吃紧选 Q4，先把跑得动放在第一位，多数任务感知不强。
- 量化版还能继续微调吗？：可以，但通常建议在量化前完成微调，量化后微调的收益会打折扣。
- API 用户需要关心量化吗？：服务端用什么精度由平台决定，用户感知到的主要是价格和速度，而非质量标签。
