什么是课程学习？从易到难的训练顺序

同一批训练材料，从头到尾平铺直叙地喂是一种办法，先易后难、循序渐进地喂是另一种，后者叫课程学习。大模型参数多、训练长，起步阶段喂太硬的材料，就像让初一学生直接看微积分。智谱清言、腾讯元宝背后的通用模型训练，大多会安排这类顺序，本文用健身房加杠铃的场景讲清它。

先加减后微积分：顺序的价值

课程学习的核心主张是：训练早期先喂简单、模式清晰的材料，让模型先把基本框架搭起来；中后期再逐步加入复杂、刁钻的材料。简单材料帮他学会什么样的对应关系是稳的，复杂材料再在这个地基上雕细节。反过来一上来就啃硬骨头，模型容易被噪声和困难样本带得忽左忽右，前期进度看着快，框架却是歪的。

这个主张有教学法的影子：人学新东西都从样例开始，没见过几个正例，直接讲反例反而糊涂。模型也一样——早期多见清晰可辨的模式，后期遇到含混的情况才知道从哪里偏离。它和什么是数据配比？训练材料怎么搭配那篇讲的分量是两条轴：一个管放什么，一个管按什么顺序放。

顺序还能省时间。前期材料简单，模型学得快，损失曲线掉得利索，团队看着有信心；等框架搭起来了，难材料不再是劝退，而是水到渠成的加码。反过来一上来就难，曲线平得像死水，跑几百步看不出对错，连排查都要多花工夫。

健身递增加重：从空杆到正式组

健身房里的老规矩：新手先从空杆开始找动作感觉，再加片，一点点加到你做不了的重量。课程学习就是这个加片过程。开头的空杆阶段用的是短句、常见搭配、句式规整的材料，模型用它们练语言的基本盘；后面加的片是长难句、专业文本、多轮对话，重量上去，肌肉才长。空杆不是偷懒，是让动作不变形。

加重也不是均匀的：常见节奏是前快后慢，开头几个轮次加片幅度大，后面越来越缓，像老手到最后只加最小的杠铃片。这份进度表要和总训练长度一起规划，课排到一半发现总时长不够，比重量加猛了更难收拾。

空杆、加片、节奏三件事，先分清再排课表。

加重也得讲节奏：一次加太猛，动作变形受伤；长期不加，力量停滞。什么是训练轮次？epoch 多了好不好那篇讲的轮次和这里的顺序配合着看：轮次管读几遍，顺序管先读哪堆，两个旋钮拧对，材料才不浪费。

课程学习速查表

• 思路：早期简单材料打底，后期逐步加难
• 适合：训练长、材料难度跨度大的任务
• 收益点：框架稳、前段进度快、后期上限高
• 注意：难度递进要平滑，别一次拉满

类比失效的地方：课程表不是万灵药

健身类比有一处对不上：人的肌肉疲劳是实打实的，休息一晚就恢复；模型的疲劳看的是损失曲线的走势，加难的时机不对，曲线会告诉你它还没准备好。举铁的重量是客观的，材料的难度却难以精确标定——多长的句子算难、多少专业词算难，没有统一尺子，只能按经验粗分。

还有一处失效：健身的重量只能加，课程学习有时需要回退——发现某类难材料拖累了整体，得把它的比例调回去甚至暂时撤掉。什么时候不该微调？先想清楚再动手那篇讲的先想清楚再动手，放在这里就是：没想清楚难度阶梯，别急着排课表。

关于课程学习，问得最多的三个

• 先易后难一定比随机顺序好吗？：多数长训练场景下是，但差距没有传说中神；材料难度差异不大时，顺序的收益会明显变薄。
• 难度怎么排？：没有硬标准，常看句子长度、专业词密度、任务复杂度这几个粗指标，先分两三档，跑起来再细调。
• 短训练也需要吗？：几百步的小训练感觉不明显，它主要是长跑的策略；短平快任务把配比和轮次调好更实惠。

顺序的价值，要等模型遇到难材料时才兑现。开头那几口空杆看起来没分量，却决定了后面加片时动作走不走形；跳过打底直接上重量，前几十步的踉跄会一直留在模型的习惯里。排课表前先问一句：这批材料里，哪些是空杆，哪些是正式组。