大模型的下载页上，常挂着 Q8、Q5、Q4 好几个体积版本，这就是量化在起作用：把权重从高位宽压到低位宽。本文按「位宽每降一级，什么在变小、什么在变大」的顺序，讲透 Q2 到 Q8 这架阶梯的排法。
量化的本质：把权重赶上格子
模型权重原本是十六位浮点数，每个数占两字节。量化的思路是找一张更粗的格子纸：比如四位整型，全表只有十六个刻度。每个权重按比例尺映射到最近的刻度，存刻度编号就行。进来的是高精度权重，发生的是找比例尺加按格取整，出去的是低比特权重加一张比例尺表。听感上像把连续光谱拍成十六色卡通——颜色少了，文件小了，细节也开始丢。丢多少，取决于格子多密。
阶梯怎么排：从 Q8 到 Q2
位宽就是格子密度。Q8 有二百五十六个刻度，接近原版，文件约为半精度的一半，质量损失小到多数任务测不出；Q6、Q5 逐级变粗，文件继续缩，损失仍可控；Q4 是公认的平衡点，体积压到四分之一左右，质量小幅回退；Q3 以下格子明显不够用，长回答、逻辑题开始露怯；Q2 基本只剩骨架，能跑通但别指望靠谱。
五档的刻度、体积和质量，放在一起才看得出落差。
| 档位 | 刻度密度 | 体积 | 质量表现 |
|---|---|---|---|
| Q8 | 二百五十六个刻度，接近原版 | 约为半精度的一半 | 损失小到多数任务测不出 |
| Q6、Q5 | 逐级变粗 | 文件继续缩 | 损失仍可控 |
| Q4 | 十六个刻度（四位整型） | 压到四分之一左右 | 质量小幅回退，公认的平衡点 |
| Q3 以下 | 格子明显不够用 | 文件更小 | 长回答、逻辑题开始露怯 |
| Q2 | 基本只剩骨架 | 最小 | 能跑通，别指望靠谱 |
实际命名比数字更细：常见写法如 Q4_K_M，K 代表一类算法族，M 指中档配置，同一位宽下还有几档强弱可选。
还要区分量化动的是谁：多数本地部署方案只压权重，激活值仍按高精度算，代价小效果稳；连激活一起压的方案更激进，速度收益更大，但需要推理框架配合，兼容性要单独确认。看到「W8A8」「W4A16」这类标注，说的就是权重与激活各自的位宽。
腾讯元宝、讯飞星火的本地部署文档都会给出一串可选档位，选哪档以官方技术报告为准，别只盯着数字大小。
为什么不是均匀地缩
权重的重要性并不均匀，个别离群值对输出影响很大，直接按全局比例尺取整会伤到它们。现代量化方案会分组处理：每组一个比例尺，离群大的组格子更细，等效于把预算花在刀刃上。这就是同一位宽下不同档位质量有差的原因——分蛋糕的方式不同。知识是怎么存进参数里的那篇讲过知识分散存储，量化伤到的往往是细枝末节，可细枝末节攒多了，也会动摇输出质量。
量化档位速查表
- Q8：最接近原版，体积约为半精度一半
- Q6、Q5：质量损失可控，体积继续缩
- Q4：平衡点，多数本地部署的默认选择
- Q3 以下：文件更小，质量明显回退
- 选档顺序：先看显存装不装得下，再看任务掉不掉分
档位选择的两个坐标系
选档先看显存：一张显卡装不下，一切免谈，往下压到能装为止。装得下的情况看任务：写作闲聊对小幅回退不敏感，可以激进一点；代码、数学、长文档推理对数值误差敏感，保守一点。Q4 和 Q8 量化版差多少那篇把两端差距量化到了可测的程度；官方量化版和社区量化版差在哪则提醒同一档位还有来源差异。阶梯是死的，爬哪一级要看硬件和任务两把尺子。
关于量化阶梯的三个常问问题
- 位宽越低一定越快吗？：多数情况是，但速度还受内核实现影响，某些档位缺少优化好的计算核，反而更慢，部署前实测一轮更稳妥。
- 两个模型同为 Q4，质量为什么差一截？：量化算法族和分组策略不同，同名不同质，对照低秩分解是怎么省参数的那类改造一起看，才能解释质量差在哪。
- 量化之后还能微调吗？：可以，在低位权重上挂适配器是常见做法，等于先瘦身再补课，成本和效果以框架文档为准。
记住这架阶梯的方向：往下走省资源，往上走保质量，选级先看显存，再看任务敏感度。
