推理要多少算力？训练和推理的差别

同一个大模型，训练时要调动成百上千张卡连跑几个月，而你向豆包或 Kimi 提一个问题，几秒就得到回答。中间的差距来自哪？这篇拆解推理的计算量，讲清训练和推理是两件多不一样的事。

训练像盖楼，推理像营业

训练是大模型的施工期：把海量文本喂给模型，反复调整几千亿个参数，直到它学会语言的规律。这个过程要把整个数据集来回过多遍，每一遍都是天文数字量的运算，所以需要集群和几个月的时间。

推理是开业后的营业：参数已经固定，不再改动，每次任务就是按现成的参数把输入算成输出。一次运算量小得多，一张卡甚至一块好点的消费卡就能应付。理解了这个对比，就理解了为什么云端问答服务的边际成本远低于训练成本。

一路回答要花多少计算

有个广为流传的粗略估法：每生成一个字，运算量大约是参数量的两倍。以 70 亿参数的模型为例，生成一个字约一百多亿次运算；你让它写一篇一千字的文章，就是十几万亿次运算，对现代显卡来说是一眨眼的功夫。这个估法只算量级，实际还会受上下文长度和批处理影响，精确数字以所用框架的实测为准。

注意这个估法里藏着两件事：一是运算量随回答长度线性增长，长文比短句贵；二是输入的长上下文也要逐字处理，塞进一万字的资料再提问，开销比直接提问大得多。

为什么推理更吃带宽而不是算力

推理有个反直觉的特点：多数时候瓶颈不在算得多快，而在参数读得多快。生成每个字都要把模型参数基本过一遍，相当于每写一个字就把一本厚书从书架上取下来翻一遍，取书的速度才是关键，这就是显存带宽。所以推理场景下，带宽和显存容量往往比峰值算力更能决定速度，而训练时数据整批整批地算，算力利用率高，更接近卡的理论上限。

训练与推理对照表

• 目的：训练调参数，推理用参数
• 次数：训练把数据来回过许多遍，推理每次只过一遍
• 瓶颈：训练偏算力，推理偏带宽和显存
• 规模：训练用集群，推理单卡可跑
• 成本性质：训练一次性投入巨大，推理按量累积

先分清自己在做哪件事，再谈要多少算力。

想跑得快，先算三笔账

第一笔是模型账：参数量越大，每个字的运算量越大，70B 模型的单字成本是 7B 的十倍。第二笔是精度账：量化到 8 位或 4 位后，运算量和显存占用同步下降，速度上还有额外好处。第三笔是并发账：一个人用和一百个人同时用完全不同，并发一高就要排任务，吞吐量上不去时再快的单卡也得排队。自建服务前把这三笔账算清，比直接堆卡有效。

三笔账各自受什么影响，摆在一起看更清楚。

把训练和推理分开记

训练和推理共用一个模型，却是两种 workload：一个调参一个用参，一个吃算力一个吃带宽，一个烧几百万一次，一个按次几分钱。下次看到「训练用了一万张卡」的新闻，不必推算你本地能不能跑——那是施工的账，不是营业的账。想了解喂料速度为什么是推理的关键，看什么是显存带宽？速度的第二要素；显存怎么估算，回看显存和内存差在哪？跑模型先看哪个；压缩参数节省计算的办法在什么是量化部署？压缩后再上卡，一个例子讲透；不同档位卡的选择见消费级显卡和专业卡有什么区别？

聊聊推理算力的常见疑问

• 推理用的算力能拿来训练吗？：硬件是同一类，但训练需要的算力规模大几个数量级，单卡跑推理的配置去训练大模型，时间上完全不现实。
• 为什么同一段话，两次提问的速度不一样？：输出长度、上下文长度和当时的并发量都会影响速度，长回答和挤满了人的时段都会变慢。
• 量化的模型省的是算力吗？：主要是省显存和带宽，运算量也随精度下降而降低，所以速度往往更快，代价是一点精度损失。