什么是梯度累积？小显存也能凑大批量

想给大模型一次喂大批量材料，显存却频频报警，这是个人训练最常撞的墙。梯度累积给出的办法是：大批量拆成几批小的喂，每批算出的调整量先攒起来，攒够次数再一起改，小显存也能凑出大批量的效果。Kimi、海螺AI 的早期版本训练里用过类似思路，本文用零钱罐把它讲清。

小推车分批运：累积的思路

训练的每一步，模型先算出一份该怎么改的调整量，再照着改。一次喂大批量，这份调整量估得准，但占的显存也大。梯度累积把大批量切成几个小份：喂第一小份，算出调整量先存着，不急着改；喂第二小份，再存一份；直到规定的小份都喂完，把存着的几份加在一起，一次性改参数。效果上相当于用大批量训练过一回，显存峰值却只按一小份算。

代价在时间。原来一步看完的材料，现在要分几步看完，每步该算的一点没省，只是把改动押后了。所以它是用步数换显存的交易：显存宽裕的人看不上，显存紧张的人离不开。像搬家时用小推车分批运，一趟拉一箱，连拉五趟，东西全到位，只是电梯多跑几回。什么是 warmup？训练为什么要先热身讲的开场节奏，和累积次数同属配置表上的邻居，常常要一起看。

零钱罐：攒起来的一次性投入

换个更生活的比方：零钱罐。每天随手放进几枚硬币，单看都不起眼，攒满一罐再去换整钱。梯度累积就是给该怎么改设了个零钱罐：每批材料对应几枚硬币，罐满一次，才拿它去改一次参数。中间那些零钱没有花掉，只是躺在罐里，等一个统一的出手时机。

它和一次改到底的区别在改动频率：不累积时几乎每批都改一次参数，累积之后改参数的次数变少了，每次改动融汇的信息反而更全。这有点像水库蓄水：涓流先入库，开闸时一次放出的水量，比任何一股涓流都大。判断配置时，看等效批量有没有凑到目标值，比看累积次数本身更有意义。

几个参数各管一段，账要合起来算。

类比失效的地方：罐子不会挑硬币

零钱罐类比有一处对不上：罐子对硬币一视同仁，梯度累积里每批材料的调整量却要按处理器定的份量认真加总，多批少批都会让攒出来的这一大步偏离原意。份量凑得太贴近显存上限，一步走太大，反而容易让训练晃动，这类现象在什么时候不该微调？先想清楚再动手那篇讲的风险清单里也排得上号。

还有一处：零钱罐攒的是同一种钱，累积攒的调整量却来自不同批材料，材料之间分布差异大时，合并成一步并不总是划算。什么是数据配比？训练材料怎么搭配那篇讲过的搭配问题，在这里会再次露面。显存实在紧，它是救命稻草；显存宽裕时，直接上大批量往往更省心。

梯度累积速查表

• 核心思路：小批的调整量先攒后改，凑出大批量效果
• 换来的是：显存峰值降到一小批的水平
• 付出的是：步数变多，其中多步只算不改
• 常用判断：显存真装不下大批量时再请它出场

聊聊梯度累积的常见疑问

• 累积几次效果等于多大的批量？：处理器规定的小份乘上累积次数，就是等效批量；次数凑到目标批量即可，再往上只是白耗时。
• 它会让训练变慢吗？：单步省了改动、多步才改一次，总计算量不减，快慢取决于显存瓶颈有没有被真正解开。
• 小显存机器必须用它吗？：不是非它不可，但如果不改小批量又不累积，每一步的调整量会估得很飘，训练容易事倍功半。

一句话记住：显存装不下就攒，装得下就直喂，梯度累积是缓兵之计，用步数换空间，不是免费的午餐。判断该不该用它，只看一句实话：你的显存装不装得下想喂的批量。什么是训练轮次？epoch 多了好不好那篇的耗时账，也要和这里的步数账合起来算，两笔账一起看才不亏。