两条内存条和一块显卡摆在桌上，不少人分不清它们各自在跑大模型时干什么用。先给结论：跑模型卡壳时，瓶颈多半不在内存不够，而是显存不够；内存决定你能不能兜底，显存决定你能不能开跑。
一句话分清：谁的活谁来干
内存是整台电脑的后勤仓库。操作系统、浏览器、聊天软件，还有模型加载过程中临时搬运的文件，都堆在内存里。显存则是显卡上自带的高速存储，专门伺候计算核心：模型加载完成后，全部参数住在显存里，每次生成文字都要从显存里反复取数。
打个比方，内存像家里的储藏室，什么东西都能放，取用也方便；显存像厨房的料理台，只放正在做的这道菜的材料，离灶台一步之遥，随取随用。跑大模型这件事，材料必须上料理台，光有储藏室是不够的。
三个维度看差异
第一个维度是位置。内存插在主板上，CPU 直接读写；显存焊在显卡上，紧挨着 GPU 的计算核心。位置决定距离，距离决定速度。
第二个维度是速度。普通家用内存的带宽是每秒几十 GB，而中端显卡的显存带宽能做到每秒几百 GB，高端卡逼近每秒 1TB。模型推理时每生成一个字都要把参数基本过一遍，喂料速度跟不上，计算核心再快也得饿着。
第三个维度是分工。内存负责「系统在跑什么」，显存负责「模型在算什么」。两者不能互相替代：显存满了可以借内存凑合，但速度掉一个量级；内存满了可以去硬盘上借虚拟内存，同样慢得明显。
三个维度并排摆开，仓库和料理台的分工就清楚了。
| 维度 | 内存 | 显存 |
|---|---|---|
| 位置 | 插在主板上，CPU 直接读写 | 焊在显卡上，紧挨 GPU 计算核心 |
| 速度 | 带宽每秒几十 GB | 中端卡每秒几百 GB，高端卡逼近每秒 1TB |
| 分工 | 系统在跑什么 | 模型在算什么 |
| 满了以后 | 去硬盘上借虚拟内存，同样慢得明显 | 借内存凑合，速度掉一个量级 |
跑模型先看哪个：一个判断顺序
拿到一个模型和一台机器，按这个顺序检查。第一步看显存：模型文件大小乘以一点三，不超过显存容量，才能顺利上卡。第二步看内存：显存刚好够用或者略欠时，框架会把溢出部分放进内存，这时内存至少要能装下溢出的那块，再加上系统本身的占用。第三步才看硬盘和别的配置。
自查清单
- 模型文件多大？乘以 1.3 后和显存比
- 显存差一点时，内存有没有至少 16GB 可供借用
- 系统内存占用是不是已经过高，别让模型和浏览器抢地盘
- 四位量化的模型文件，通常是原始大小的一半以下
记住顺序：先看显存能不能装下，再看内存能不能兜住。
32GB 内存为什么还跑不动 7B
一个常见困惑：机器装了 32GB 内存，为什么跑一个 70 亿参数的模型还是卡？因为 7B 模型按 16 位精度存放需要 14GB 显存，你的显卡只有 8GB，放不下。放不下的部分挤进内存后，推理时每个字都要在窄通道上来回搬运，速度从秒级掉到分钟级。内存再大也只是仓库大，料理台没变大，出菜速度就上不去。想用内存硬跑也不是不行，只是要有思想准备：那是能跑和好跑的区别。
一张对照表带走
显存和内存的名字只差一个字，角色却像仓库和料理台。判断一台机器能不能跑模型，显存说了算；判断它跑崩了还能不能撑住，内存说了算。想知道显存本身怎么估算够不够，回看什么是显存？跑模型的第一道门槛；想了解喂料速度为什么重要，读什么是显存带宽？速度的第二要素；计算快慢用什么衡量，见什么是 FLOPS？算力的计量单位；训练和推理谁的胃口大，看推理要多少算力？训练和推理的差别。
换个问法再问显存和内存三句
- 把内存加大能不能替代显存？：替代不了。内存带宽只有显存的几分之一，模型参数搬过去后推理速度会慢一个量级，只适合应急。
- 为什么显卡不直接用普通内存？：计算核心需要每秒几百 GB 的喂料速度，普通内存的通道跟不上，所以显存以更高成本换来更宽的通道，直接焊在核心旁边。
- 核显共享的显存算数吗？：核显从内存里划一块当显存用，容量看着够，但走的是内存的慢通道，跑大模型的体验和独立显存差距很大。
