「参数规模够大就能装」错在哪？内存的账

挑本地模型时很多人只问一句：多少参数？以为设备内存够大就什么都装得下，或者看到小模型跑得动就以为大一号的也行。参数规模只是这道题的一个乘数——AI 模型装进内存，真正的账要几项一起算：参数量、精度、系统占用、运行缓存，缺一项都会算错。这篇把这笔账一步步算给你看，读完拿着设备的内存数字和模型的参数表，自己就能判断装不装得下、跑不跑得顺。算力那头的账怎么算，TOPS 是什么一篇讲过，这里只算内存这一侧。

参数乘精度才是内存底账

底账是一道乘法：参数量乘以每个参数占的字节数。70 亿参数的模型按 16 位精度存，每个参数两个字节，光权重就约 14GB；换成 4 位量化，每个参数约半个字节，权重压到 4GB 上下——同一个模型，不同精度，内存差出三倍多。所以「这个模型装不装得下」没有唯一答案，先要问存成什么精度。各种精度档位的差别与取舍，Q4 与 Q8 的取舍一篇有展开，这里记住乘法关系就够用。

系统与缓存也要占格子

权重装下了不等于能跑。系统本身要先占一块：操作系统加后台应用，常见设备上就是几个 GB 起步。运行时还有两块动态开销：一块是推理过程中的中间计算缓存，另一块是上下文缓存——模型每多记住一段对话，缓存就多长一截，长上下文的内存开销相当可观，增长规律见上下文缓存怎么增长一篇。三块加在一起，才是这个模型真正要占的内存，只拿权重文件的大小去对内存，账从第一步就错了。

余量决定跑得好不好

装满和跑顺是两回事。内存逼近上限，系统会频繁做内存交换，速度掉下来、机身发热、别的应用被挤掉——模型勉强装下却把整台设备拖垮，得不偿失。设备厂商标「建议模型档位」时都会留余量，分配思路见本地内存预算一篇：峰值内存之外，还要给系统响应和并发任务留出空间。选模型的实用原则是宁可选小一档跑得流畅，也别选大半档天天卡顿。

自己动手算一笔账

把前面的账合成一个式子：参数量乘每参数字节，加上系统占用，加上上下文缓存，再留一两成余量，就是建议的内存下限。拿 8GB 内存的设备算：系统占 3GB，可用 5GB，留出余量后权重预算 4GB 上下，4 位量化的 7B 模型刚好卡线，再小一档更稳妥。动手核对时，可以让 DeepSeek 按你的设备内存和意向模型列一张量化档位对照表，再用智谱清言核对常见量化格式各档位的实际文件大小，GGUF 格式一篇可以配合着读，两相对照，这笔账就算到自己头上了。

内存账速查

• 底账是乘法：参数量 × 每参数字节数，精度决定后者
• 动态开销两块：推理中间缓存 + 随上下文增长的 KV 缓存
• 系统占用先扣 3GB 起步，权重之外都要另算
• 装满不等于跑顺，留一两成余量换流畅体验
• 实用原则：宁小一档跑得顺，不大半档天天卡

再多说几句内存账

• 为什么同一个模型网上文件大小不一样？：精度不同。同名模型的 4 位、8 位、16 位版本文件大小能差好几倍，下载前先看清量化档位，再按自己的内存预算挑，别只看参数名。
• 内存不够用硬盘凑行吗？：能跑但不好用。权重放硬盘、用时往内存搬，速度会明显掉档，对话能出字但等得难受。这种方案适合尝鲜验证，日常使用还是要按内存预算选模型。
• 参数翻倍内存就翻倍吗？：权重部分是，整体不是。权重随参数线性涨，但系统占用固定、上下文缓存跟对话长度走，参数翻倍时总内存涨幅通常低于两倍，大头变化始终在权重这一块。