把 AI 算力国产化当成一个整体来判断,几乎一定会得出错误结论。它至少分成四层:芯片本身、芯片之间的互联、支撑训练的软件栈、把这些装进机房的实际交付。四层的进度完全不同,公开讨论里最容易被混为一谈。这篇只给判断框架和已经能确认的结构性事实,不列份额,也不猜制程节点。
四层拆开看,进度完全不同
芯片层再分两类:训练卡和推理卡。前者的难点在算力密度与卡间互联,后者的难点在成本、功耗与适配广度。同一家公司的两类产品,成熟度经常差着一代。
互联层指卡与卡、机与机之间的数据通道。单卡跑分再高,几百张卡连起来后有效算力取决于互联带宽和拓扑。这一层不像芯片那样容易发布,却直接决定大集群能不能跑起来。
软件层是编译器、算子库、通信库、框架适配,以及调试和性能分析工具。它不产出发布会素材,但决定了开发者迁移要花多少人力。
交付层是整机、液冷、供电、机房改造和运维。很多“算力不够”的问题,实际卡在电力和机房,而不是芯片。
训练和推理,难度差一个量级
训练对互联的要求高得多。上千张卡要协同几个月不出错,任何一张卡掉线都可能让整个任务中断,恢复要靠检查点。精度对齐也更麻烦:换一套硬件,同样的超参数未必收敛到同样的结果。
推理的要求宽松很多。请求可以拆开、可以混部、可以按业务线逐步切量,单次失败只影响一个请求。所以公开可见的部署案例集中在推理侧,这是结构性事实,不是预测。
这个差异对判断很有用。看到“某芯片已用于某业务”,先问是训练还是推理。用在推理上,说明它跨过了可用门槛;离“能训大模型”还有一段距离,两者不是同一件事。
真正的摩擦在软件栈
开发者习惯了一套工具链之后,迁移的成本不是学新语法,而是三件事:算子要重新映射,精度要逐层对齐,性能要重新调优。前两件是正确性问题,第三件是经济性问题。
算子缺失是最常见的阻塞。模型里用到的新算子,如果没有对应实现,就得自己写,还要验证数值一致性。精度对齐更琐碎:同一批输入,两套硬件的输出差异要在可接受范围内,否则下游任务的结果会漂。
性能调优最消耗人力。跑通和跑得快是两件事,中间隔着算子融合、显存布局、通信重叠这些工作。这部分投入往往要按人月算,而且随模型结构变化反复发生。
迁移成本怎么估
| 层级 | 迁移时要做什么 | 主要代价 | 判断标准 |
|---|---|---|---|
| 推理部署 | 换后端、跑精度对齐、压测 | 适配工时、吞吐下降 | 同一批样本输出差异在可接受范围 |
| 模型训练 | 重写并行策略、适配通信库 | 周期长、调参成本高 | 损失曲线能否复现,收敛是否稳定 |
| 算子开发 | 补齐缺失算子并验证 | 人力、正确性测试 | 覆盖率够不够跑通目标模型 |
| 运维体系 | 接监控、故障定位、备件 | 排障时间变长 | 平均恢复时间是否可接受 |
这张表的用法是先估第一行。多数团队的国产化是从推理开始的,如果连推理的精度对齐都过不了,后面三层不必谈。第一行过了,再按业务重要性决定要不要动训练。
哪些说法已经是事实
供给多元化是事实。推理侧已经有不止一种可采购的选择,采购方在谈价时有了第二个报价,这对成本的影响是直接的。
软件栈是摩擦点是事实。这一点从公开的技术分享和开发者讨论里能反复看到,不需要具体数字支撑。
算力供给影响 API 价格是事实。推理算力宽松时,服务商才有降价空间;供给紧张时,降价通常只出现在限时活动里。这条因果链怎么读,一次价格战的拆解给了可对照的框架。
哪些还不能下结论
具体份额不能下结论。按卡数、按算力、按销售额统计,得出的排名完全不同;口径不公开时,任何排名都只是某一方的口径。
良率与制程不能下结论。这类数字通常不在公开材料里,网上流传的版本多数没有来源。
训练侧大规模替代的时间表不能下结论。它取决于软件栈成熟速度和集群稳定性,两者都不是线性推进的。
新芯片发布时往往伴随跑分,跑分和集群实际表现差得远。榜单怎么读、哪些维度容易做文章,排名变化的信号里有对照方法。
看新闻时的四个陷阱
把发布当量产。发布是样品和路线图,量产要看交付和客户侧的实际部署。
把单卡跑分当集群算力。没有互联数据,单卡数字推不出大集群表现,规模越大偏差越大。
把适配完成当性能达标。能跑通只是第一关,吞吐、延迟、稳定性三项都达标才算可用。
把行业试点当规模商用。试点通常有原厂工程师驻场,规模化之后的支持能力是另一回事。硬件这条线本身怎么读,制程、算力与生态有一篇系统拆解,可以补齐判断的输入。
对使用者的实际影响
如果你的业务只是调用 API,芯片路线与你关系不大。你该关心的是价格结构、限流策略和可用性承诺,这些是服务商把底层成本翻译给你之后的结果。
如果要私有化部署,问题就变成软件栈成熟度:目标模型有没有现成适配、缺哪些算子、出问题谁支持。这三个问题的答案,比芯片参数更能决定项目能不能交付。
判断速查
- 先问训练还是推理,两者难度不在一个层级
- 看互联数据,单卡跑分推不出集群表现
- 算迁移成本按人月估,别按“能不能跑通”估
- 份额与制程类数字,没有口径就不采信
- 只调 API 的话,盯价格与可用性,不必追硬件路线
把四层分开之后,很多争论会自动消解:某一层的进展,不能代表整条链路可用。真正值得跟踪的信号是交付量和开发者迁移案例,而不是发布会上的峰值数字。


