什么是训练不稳定？loss 突然飞了是怎么回事

夜骑过弯，车把突然抖起来，手心沁汗——训练里也有这种瞬间：损失曲线本来贴地走得好好的，突然一个踉跄冲上天花板，随后半天恢复不过来。这种现象叫训练不稳定，多半出在调整幅度、材料突变或数值越界上。DeepSeek、智谱清言的训练复盘里，它是最常被翻出来的一页。本文用骑行过弯的场景，把它的来路讲清。

曲线为什么会飞：三个来路

最常见的原因是步子太大：调整幅度给得猛，模型一步跨过陷阱，落在更差的位置，后面的步骤一直往回追。第二个原因是材料突变：某个区间突然混进特别难或特别怪的数据，模型被带得晃了一下。第三个是数值细节：累加的数字太大溢出，一步算错，满盘跟着歪。

三个来路的排查顺序有讲究：先看是不是某一步的事故——时间点突变；再看是不是某个区间的材料——渐变后被拉爆；最后才怀疑数值细节。顺序反了，容易在细枝末节里空转。

三个来路的表现不同，排查的先后顺序也不同。

三个来路有个共同点：都发生在某一个时间点，而不是慢慢变坏。什么是 warmup？训练为什么要先热身那篇讲的开场缓坡，就是为了避开第一种；什么是数据配比？训练材料怎么搭配那篇讲的配比，盯的是第二种。

骑行过弯：车把抖的那一刻

骑行过弯的比方很贴：速度越快，车把越敏感，一点小扰动被放大成全身的晃动；减速入弯，车身反而稳。训练里的速度就是调整幅度，车速一超，材料里的任何小疙瘩都会被放大成曲线上的尖峰。老骑手过弯前先捏刹车，训练里对应的动作是把幅度调小、把爬坡拉长。

过弯的比方还能提醒一点：车把抖有时是胎压问题，不是速度问题。训练里偶发的曲线抖动，也未必是幅度给的锅——某个数据文件坏了一块、某个随机种子踩了坑，都可能是真凶。

抖动之后的恢复也像：车把晃了，先停稳再走，别边晃边加速。曲线飞了，第一反应是从上一个稳定点的存档重来，而不是眼睁睁看它跑完。什么是断点续训？训练中断后从存档继续那篇讲的读档，这时候就是救命绳。

训练不稳定排查速查表

• 看时间点：突变常是某一步出事，渐进变坏多是配方
• 先降速：调整幅度调小，多数尖峰能压回去
• 查材料：回看尖峰前后进了什么批号的数据
• 兜底：稳定点勤存档，飞了就读档重来

类比失效的地方：抖动不一定是路不平

骑行类比有一处对不上：路面的坑是外因，骑手能绕；训练里的不稳定还常常来自内因——数值精度、累加顺序这些看不见的细节，配方看着没问题，曲线照样飞，光盯着路面找坑找不出名堂。

还有一处：骑手的紧张看得见，模型的异常却藏在数值里。别指望肉眼从曲线上认出所有前兆，日志里的范数字段才是仪表盘。什么是训练日志？看懂训练过程的第一手记录那篇讲的记录，关键时刻就是排障的地图。

换个问法再问训练不稳定三句

• 曲线飞了还能救回来吗？：多数能。从最近的稳定存档读档，调小幅度再来一遍；救不回来的，多半是尖峰前的材料或配置有硬伤。
• 多大的抖动算正常？：小幅锯齿是常态，翻了数倍、久久不落才算飞；盯着区间看，别被单点吓到。
• 把幅度调小就万事大吉吗？：换来稳，也换来慢；幅度过小，训练进度会慢到令人心慌，要在稳和快之间找平衡。

曲线飞了先降温，再查配方：减幅度、查材料、读存档，三招按顺序来。训练是长跑，抖一下不可怕，可怕的是边抖边踩油门——稳住了再加速，比冲一波再回炉划算得多。抖动最能教育人的地方，是它逼出一个习惯：稳定点勤存档、材料边界记清楚，这些平时的功夫，出事时才显出价值。