量化格式，一句话说清：把大模型权重里的高精度数字，按固定规则压成低精度数字来保存的档位规则。文件名里的 Q4、Q8，读法就是「每个权重平均用 4 位、8 位来存」。它决定了你下载的模型有多大、吃多少显存。
为什么模型非要量化不可
一个模型动辄几十亿个参数，训练时这些参数通常以 16 位浮点数保存，精度高，体积也大。量化做的事，是把这些 16 位的数字换成 4 位或 8 位的近似值，文件体积随之缩小一大截，普通消费级显卡甚至纯 CPU 也装得下、跑得动。
类比一下：这就像把一张高清照片转成压缩率更高的格式再发给别人，体积小了，传输和打开都快。但类比有一处失效——图片压过头顶多是糊，量化压得太狠，模型的回答质量可能明显下降，胡话变多，这是使用者真正要提防的代价。
Q4、Q8 的数字怎么读、怎么比
Q 后面的数字大约对应每个权重占用的比特数：Q8 约用 8 位，接近原始精度，质量损失小，文件也大；Q4 约用 4 位，体积几乎砍半，速度通常更快，但质量风险更高。数字越小，文件越小、对硬件越友好、质量越可能让步，这是读档位的基本口诀。
你还会见到 Q4_K_M、Q8_0 这类写法：下划线后面是同一档位下的细分变体，在体积和质量之间的取舍略有差异。具体哪个变体适合你，建议以模型发布页的说明和官方最新版本为准，别只看数字大小下结论。
在哪里会碰见这些档位
跑本地模型时档位最多：llama.cpp 生态的 GGUF 文件把量化档位直接写进文件名，你在 GGUF 发布页能一次看到 Q4 到 Q8 的一排文件。而在 ModelScope 下载原始模型时，很多仓库同时提供原始精度和量化版本，挑哪个取决于你的显存。
反过来，如果你只用 DeepSeek、Kimi、腾讯元宝这类在线应用，量化对你完全透明——服务端早就处理好了一切，你感知不到档位的存在。这也是为什么这个概念主要属于「想本地跑模型的人」。
选档位还有个实用顺序：先看自己的显存或内存装得下哪一档，再在这一档里挑口碑较好的变体。同档位不同变体的差异通常不大，不必反复横跳。
| 场景 | 看到的东西 | 档位是否可见 |
|---|---|---|
| GGUF 发布页 | 文件名里直接写着 Q4 到 Q8 的一排文件 | 可见，按文件名挑 |
| ModelScope 原始仓库 | 原始精度与量化版本并列挂出 | 可见，按显存挑 |
| DeepSeek、Kimi、腾讯元宝 | 服务端早已处理好，界面上没有选项 | 不可见 |
和另外两个概念的关系
量化格式说的是「怎么压」，压的对象是模型权重的数字；压之前的模型可以是基座版也可以是聊天版，见基座模型那篇。发布页信息读不明白时，先翻模型卡片，作者通常标了各版本文件的用途。
下载前把三件事分开想：模型是哪个版本、压到几档、装在什么容器里（容器见safetensors那篇）。压档位和选容器是两件独立的事，分开决策就不会乱。
量化档位速查
- Q8：接近原始精度，质量稳，体积大，显存够就选它。
- Q4：体积小、跑得快，普通显卡的常用选择，质量可能略降。
- Q4 以下：体积很省，质量风险明显，先看发布页的评价再决定。
口诀只有一句：显存紧张往下压，追求质量往上走。
Q4 到底损失多少，三个角度对照
- Q4 量化会让模型明显变笨吗？：多数日常任务感知不大，但精细推理和长文任务可能受影响，重要用途建议先用 Q8 对照。
- 量化后的模型还能恢复回原始精度吗？：不能，压掉的精度找不回来，想要原始质量得重新下载高精度版本。
- 在线应用也用量化吗？：服务端如何部署是各家自己的事，用户无从得知也无须操心，以官方最新版本为准。
