AI 芯片这一年：算力正在往哪走

AI 芯片这一年，讨论重心从「谁家卡跑分高」挪到了「一度电能出多少 token」。转向的原因不在媒体口味，在买单的人换了：过去买卡的是训练团队，看峰值算力；现在很大一部分预算在推理业务手里，看单位成本、供给稳定性和能不能塞进现有机柜。

训练看峰值，推理看账单

训练是一次性投入，周期以周计，卡慢一点可以多跑几天；推理是持续性支出，一天几千万次调用，单次成本差两成，一个月就是一条能看见的账。两种负载对硬件的要求也不同：训练吃互联带宽和集群规模，推理吃显存容量、访存带宽和并发调度。

所以做应用的人盯训练榜单意义有限。同一张卡跑训练能排进前列，跑推理可能因为显存不够而发挥不出来，只能降精度或者切分模型，效果跟着打折。

能效比被摆到台前

功耗成了硬约束。一个机柜的供电和散热有上限，卡再快，塞不进机柜就没有意义。能效比因此从参数表里的一行变成采购时先看的指标，液冷、配电改造这些配套也跟着进了预算表。

传导到使用者的路径是：单位算力成本下降，服务商有降价空间，你的 API 账单才会动。这条链有延迟，通常滞后硬件发布几个季度，不会立刻反映在下个月的账单上。看到新卡发布就预期降价，多半会落空。

供给变多，议价空间跟着变

算力来源比前几年多：公有云按需实例、专门的算力租赁、国产加速卡、厂商自建集群。选择多了，谈价格和谈稳定性的余地都变大，代价是迁移成本——不同卡的软件栈、算子库、精度支持不一样，换一次要重跑一遍适配。

判断值不值得迁移，算三笔账：迁移要多少工时、迁移后单位成本降多少、被单一供应商绑定的风险有多大。前两笔容易算，第三笔常被忽略，直到对方涨价或者资源紧张才想起来。对连续业务来说，第三笔往往才是决定性的。

显存和互联，两个绕不过的门槛

显存容量决定模型能不能装下，显存带宽决定装下之后跑得快不快。很多「卡很强但效果一般」的情况，原因在显存不足，只能降精度或切分，一降精度效果就打折。互联决定多卡协同效率，卡与卡之间传得慢，加卡不一定加速，有时反而更慢。

这解释了为什么同一款模型在不同云上表现不同：硬件型号可能一样，网络拓扑、调度策略、超卖比例不一样。选云不能只看卡型，要看同一区域同等负载下的实测。

四类用途该看什么指标

四行里出错最多的是第二行。加卡不等于加速，扩展效率低于预期说明瓶颈在通信，这时候继续买卡是无效投入，先调拓扑或者换并行策略更省。

哪些说法要打折听

发布会上的对比通常挑对自己有利的口径：比峰值不比能效，比单卡不比集群，比跑分不比真实任务。看这类数字先问三件事：测的什么模型、什么精度、什么并发。三个条件不同的两组数字放在一起比，结论没有意义。

另一类要打折的是「算力过剩」。总量过剩和你要的那一种卡是否充足是两件事，特定型号、特定区域、特定租期，紧张的时候依然紧张。租过卡的人都知道，价格表上的数字和能拿到的货经常不是一回事。

跟你的成本真正相关的两件事

一是常用服务的单位成本有没有往下走。同一个任务，三个月前和现在的单次价格，以及达到同样效果需要调用几次，两个数一起看。单价降了但效果变差、要多调两次，账未必划算。

二是任务能不能换更省的方案。多数业务里，大部分请求是简单任务，用大模型跑是浪费；把简单请求分流到小规格，复杂请求才升级，成本下降通常比换硬件明显，而且当月就能看到。

还有一件常被漏掉：缓存。相同或相似的请求重复率高的业务，加一层结果缓存，省下来的调用量往往超过任何硬件优化。

算力问题速查

• 训练看互联与规模，推理看显存与并发
• 加卡不提速，先查通信，不要继续加卡
• 换供应商前算三笔：工时、降幅、绑定风险
• 单价要和调用次数一起看，单看单价会算错
• 省钱的顺序：分流、缓存、再谈硬件

三则实操问答

国产卡能不能替代，怎么判断？不看宣传看适配：目标模型有没有现成的算子支持、精度损失多大、出问题时能不能拿到技术支持。做法是拿一个真实业务跑通端到端，再比吞吐和成本，跑通之前所有比较都是纸面的。

租卡和买卡怎么选？看利用率曲线。全年大部分时间跑满，买更划算；有明显波峰波谷，租更灵活。介于两者之间的，混合用：基线负载自建，峰值租用，代价是两套环境要维护。

卡没跑满但速度很慢，问题在哪？大概率不在算力，在显存带宽或网络。看两个信号：单卡利用率低而延迟高，通常是访存瓶颈；多卡时吞吐不随卡数增长，通常是通信瓶颈。两种情况的解法完全不同。

算力这条链上，价格、供给、技术路线一年一变，但判断方法稳定：先看自己的任务属于哪一类，再看那一类的瓶颈在哪，最后才谈型号。芯片新闻里的制程与参数可以看，别当成采购依据；价格战带来的降价也要算上返工和迁移；至于各类榜单的名次变化，它反映的是评测口径，不是你的账单。