什么是分布式训练？大模型是怎么「并行」训出来的

大模型动辄几十亿、上千亿参数，一张显卡的内存根本装不下，这时候就必须把模型拆开、放到很多张卡上一起训练，这就是分布式训练。它要回答的核心问题是：怎样让成百上千张卡协调工作，既训得动，又不让通信开销把速度拖垮。

单卡装不下：分布式训练的起点

训练一个模型，显卡需要同时装下模型参数、中间计算结果和优化器状态，三者相加往往远大于模型本身的体积。参数规模一大，单卡内存就被顶满。分布式训练的思路不是造一张更大的卡，而是把工作拆给多张卡，让它们协作完成一次训练。

这个「拆」字背后有三条主线：按数据拆、按模型拆、按流水线拆。理解这三条主线，就抓住了分布式训练的基本盘。

三种并行：数据、模型、流水线

数据并行最直观：每张卡都放一份完整的模型，各自拿不同的一批数据去算，算完后把梯度汇总、统一更新参数。它适合模型本身能装进单卡、但数据量很大的情况。

模型并行则把模型本身切开，不同层放在不同卡上。它适合模型太大、单卡装不下的情况，代价是卡与卡之间要频繁传递中间结果。

流水线并行把模型按层分段，数据像流水线一样依次流过各段，本质上是对模型并行的一种调度优化，让各张卡尽量不闲着。

真实训练：三种方式叠加使用

现实里的大模型训练很少只用一种并行。通常的做法是叠加：既按数据分到多组，又在每组内部按模型切分，再按流水线调度。一个千亿参数规模的模型，可能需要上千张卡组合使用这些方式，才能在一次可接受的时间里完成训练。

这也是为什么「训练一个大模型要几千张卡、几个月」这句话，包含的不只是算力堆叠，还有大量工程协调。能同时驾驭卡间通信、故障恢复、负载均衡的团队，数量并不多。

难点在通信，不在拆分

把模型拆开并不难，难的是拆开之后各卡之间要频繁同步梯度、传递中间结果。这些通信发生在网络上，而不是卡内部，延迟和带宽都远不如片内计算。卡越多，协调成本越高，通信往往成为真正的瓶颈。

可以用一群人合作写书的例子来理解：分工写不同章节容易，难的是保持风格一致、术语统一，需要不断开会同步；人越多，同步成本越高。这个比喻的边界在于，计算机的同步是精确的，但延迟会累积，最终体现在训练速度上。

分布式训练何时失效：加卡不总等于加速

分布式训练最容易被误解的一点，是以为「加卡就一定能线性提速」。事实并非如此。随着卡数增加，通信开销占比上升，边际加速递减，甚至可能出现「卡加多了反而更慢」的情况。判断一个分布式方案好不好，关键看通信与计算的重叠程度，以及每张卡的实际利用率。

它还解决不了另一个层面的问题：如果单卡根本放不下某个最小计算单元，或者网络带宽严重不足，再巧妙的拆分也受限于硬件。分布式训练放大的是「可并行的那部分工作」，串行的依赖、频繁的全局同步，都是它无法消除的固有成本。

三种并行的对照

分布式训练速查

• 为什么需要：模型加参数远超单卡内存，必须拆开。
• 三种方式：数据并行、模型并行、流水线并行，现实中叠加使用。
• 真正瓶颈：卡间通信，加卡不一定线性提速。
• 判断标准：看通信与计算重叠度、单卡利用率。

对普通人的意义

理解了分布式训练，你就能看懂几个常见说法背后的含义：为什么大模型训练成本高、为什么能训大模型的团队不多、为什么本地部署与云端训练是完全不同的两件事。本地部署大模型指的是把训好的模型搬到自己的机器上跑，和从头训练所需的分布式集群是两个量级的工程。

它也和「大模型为什么按量计费」相关：训练的算力投入最终要分摊到每一次调用上，Token 计费背后的成本，很大一部分就来自这种大规模的并行训练。而这些被训练出来的模型，本质上是大语言模型在参数规模上不断上探的结果。