大模型的下载页上，Q4 版常比 Q8 版小一半多，价签诱人，可精度到底差多少？结论先行：显存充裕、跑代码数学长推理，选 Q8；显存紧张、以写作问答为主，Q4 通常够用。差距有多大、怎么测，逐条展开。
第一刀差距：体积与速度
Q8 每位权重用八个比特，Q4 用四个比特，文件体积直接砍一半。运行时的收益不止文件：低位权重对显存带宽的占用同步减半，而解码阶段的速度瓶颈常在带宽，所以 Q4 的吐字速度往往快两三成。便宜是实打实的，这也是社区量化版广为流传的原因。
第二刀差距：质量掉在哪
质量差距要看任务性质。开放问答、写作、摘要这类任务，Q4 与 Q8 的差别小到多数用户分不出；代码补全、数学推导、长链推理对数值误差敏感，Q4 可能在中后段算错一步、全题跑偏。经验规律是：任务越依赖精确的中间计算，越要往高位宽走。量化等级的梯度是怎么排的那篇讲过格子密度决定损失，Q4 到 Q8 之间隔着的正是「格子细一倍」。
感知上还有个阈：多数用户在盲测里分不出 Q4 与 Q8 的日常回答，但让他们做「找不同」式比对，又能稳定指出哪些段落更僵硬。这说明损失真实存在，只是藏在细节里——长文档里的事实密度越高，损失越容易露出马脚。
三档并排看，差别在体积、质量和任务上。
| 档位 | 位宽与体积 | 质量掉在哪 | 适合的任务 |
|---|---|---|---|
| Q4 | 每位权重四比特，体积约为 Q8 的一半，吐字快两三成 | 代码、数学、长链推理可能在中后段算错一步 | 写作、问答、摘要，以及移动端与边缘设备 |
| Q6 | 体积只比 Q4 大四分之一 | 质量向 Q8 靠了一截，多数场景是更好的折中 | 显存卡在中间时的优先项 |
| Q8 | 每位权重八比特，文件体积最大 | 依赖精确中间计算的任务上误差最小 | 代码补全、数学推导、长文档推理 |
动手前先测：怎么量这个差距
别只看测评榜单，自己测更准：挑十几条你的真实任务样本，同一提示分别跑 Q4 和 Q8，人工比对关键结论与事实点。要注意控制变量——温度、解码参数保持一致，否则测出来的是随机性不是量化差。腾讯元宝、ModelScope 的模型页常附不同量化版本说明，同一档位还可能存在来源差异，参考官方量化版和社区量化版差在哪那篇的核对思路。
档位选择速查表
- 显存装不下 Q8：没得选，往下压到能装
- 写作、问答、摘要：Q4 通常够用，先测再定
- 代码、数学、长文档推理：优先 Q8 或 Q6
- 移动端、边缘设备：Q4 以下档位才有意义
把选择放进完整决策链
档位只是部署链上的一环。先定任务，再定模型，最后才是档位：代码场景选基座能力强的，量化档位保守些；闲聊场景模型可以小，档位激进些。基座模型和聊天模型怎么选那篇讲的版本选择发生在量化之前；稠密模型和 MoE 怎么选那篇讲的架构选择则影响显存预算，间接决定档位上限。三件事排好序，选择就不纠结。
还有一类常见搭配是「双档并行」：生产流量走 Q4 控成本，关键任务路由到 Q8 保质量，用同一套提示词对照两份输出。部署上多存一份权重的成本，通常远低于全量升档，值得在流量稳定后评估。
顺带提醒一个容易混淆的点：档位数字和上下文长度是两件事。Q4 与 Q8 决定的是每个权重用几个比特存，窗口大小决定模型一次能看多少字，改档位不改变窗口，改窗口也不抵消量化损失，别把两个旋钮混着调。
关于Q4和Q8量化档的三个常问问题
- Q4 版微调后差距会拉大吗？：可能，微调本身也是对数值的小幅修正，叠在更粗的格子上误差更容易显形，建议微调前后各测一轮。
- Q6 是更好的折中吗？：多数场景是，体积只比 Q4 大四分之一，质量向 Q8 靠了一截；显存卡在中间时优先考虑它。
- 同一位宽不同来源的版本能混用吗？：不要混用，量化算法和分组策略不同，同位数不同质，选一个来源用到底，细节看低秩分解是怎么省参数的那类改造的兼容说明。
一句话收束：显存定下限，任务定档位，测过再上车。
