设备的内存预算？模型装得下装不下

厂商宣传端侧 AI 时，常说要「把大模型装进手机、装进汽车」，但模型不是一句话就能装进去的——它是一份占地方的数据文件，装不装得下，先要跟设备的内存对一笔账。这笔账的算法并不神秘：模型的体积由参数量与精度决定，量化可以把它压小，系统本身还要占掉一块，留给上下文与运行的余量再划走一层。把账算明白，一款设备宣传「本地跑模型」时是真有空间还是说说而已，就有判断依据了；算力这一侧的配套，见TOPS 算力一篇，这里只管内存。

先算模型占多大地方

内存账的第一行是模型体积。模型由海量参数组成，每个参数在文件里按精度占几个字节：常用半精度是两个字节，十亿参数就是两个 GB 左右——照这个比例，七十亿参数的模型半精度存放约十四个 GB，已经超过很多手机的内存容量。再看设备的另一头：手机内存常见八到十六个 GB，电脑从八到三十二个 GB 不等，系统与日常应用本身就要占去一大半，真正能腾给模型的往往只有几个 GB。两头一对，结论就出来了：半精度的中等规模模型在多数消费设备上根本放不下，端侧要跑模型，第一步就是想办法把这份文件变小。

量化：把账压下来的杠杆

把模型变小的主力手段是量化：把每个参数的存储精度从两个字节压到一个字节甚至半个字节不到。常见的两档是八位与四位：八位量化把体积砍半，精度损失通常很小；四位量化把体积压到四分之一，十亿参数只占半个 GB 左右，原来的大文件就能塞进普通设备，两档的差别见Q4 与 Q8一篇。代价是精度的损益要看模型的底子：量化前的模型越强，压完保留的能力越完整；压得太狠，理解与推理会明显变钝。所以量化并非免费的压缩，而是在「装得下」与「用得好」之间挪动平衡点，整套档位的选择逻辑见量化档位一篇。有了这一杠杆，内存账的第二行才算落定：设备里放的是量化后的小体积版本，而非原版。

装得下只是及格线

模型文件放进内存，不等于就能顺利跑起来，账上还有几笔要补。一是系统开销：操作系统、常驻应用照常运行，模型挤进去后多任务的空间被压缩，内存小的设备会明显变卡。二是上下文的占用：对话进行中，模型要为已读入的文本保留一份运行状态，上下文越长这份状态越大，长对话的内存压力可能反超模型本体，机制见KV 增长一篇。三是速度的账：模型加载进内存后，每生成一个词都要把参数从内存搬一遍，内存带宽不够，装下了也跑不快——「装得下」与「转得动」是两道门槛。这三笔加起来，意味着设备宣传的内存数字要先打折扣再谈模型：十六个 GB 的机器，能舒服伺候一个量化模型加日常应用，已经是比较宽裕的配置。

端侧的账算给谁听

这笔内存账对使用者的用处有三条。一是看懂宣传的口径：说「本地跑模型」时，问清跑的是什么规模的量化版本，能力与云端大模型差几个档次；二是理解分工：端侧模型负责即时、离线、隐私敏感的小任务，云端大模型负责重活，两边怎么分工的体验差异见本地与云端一篇；三是预估设备的 AI 余量：内存越宽裕、量化技术越省，能装下的模型越强，这也是同一台设备用两三年后 AI 功能还能不能升级的一个变量。想自己动手验证，可以把「十亿参数半精度多大」「四位量化能省多少」这样的问题交给 DeepSeek 或 Kimi 算一遍，再用本文的账目核对它的答案，这笔账从此就是自己的了。

内存预算速查

• 体积账第一行：参数量乘精度字节数，半精度两字节一个参数
• 量化是杠杆：八位砍半、四位压到四分之一，代价是能力有损
• 装下之后还有账：系统开销、上下文状态、内存带宽三道门槛
• 宣传内存先打折：留足系统与应用，才能谈模型的余量
• 端云分工：端侧管即时小任务，云端管重活，各干各的

关于内存预算的常见疑问

• 内存越大，端侧 AI 就越强吗？：内存是必要条件而不是充分条件。装得下只是第一道门槛，还要算力够、内存带宽够、系统调度得好，模型才跑得动、跑得快。内存宽裕但其他环节跟不上的设备，端侧体验未必好。
• 四位量化后的模型还靠谱吗？：日常对话、摘要、简单问答这类任务，四位量化通常够用；复杂推理与长文理解会有可感知的下降。判断的办法是对照任务：你的高频需求落在哪一类，就按哪一类去感受演示效果。
• 为什么有的设备宣传跑模型却没感觉快？：瓶颈常在内存带宽与调度，而不在「装没装下」。模型每生成一个词都要搬参数，带宽不足时速度上不去；同时后台应用多、内存紧张，也会拖慢整体表现。看端侧 AI 的真实水位，速度比能不能跑更有说服力。