大模型训练数据的安排有两件事:各类数据占多少,先学什么后学什么。课程学习和数据配比差在哪?一个管顺序,一个管比例,动的是两套不同的旋钮。配方决定模型见过多少种东西,火候决定它按什么节奏吸收,两者常被混为一谈,其实可以分开调。
结论先说:定比例是配方,排顺序是火候
只想调数据构成,不动训练流程,选数据配比:代码占多少、对话占多少、知识占多少,配比一定,全程采样比例不变。想让模型按从易到难的节奏学习,选课程学习:把数据按难度或类型分段,训练前期喂基础的,后期喂复杂的。
成本上配比便宜,改采样权重就行;课程学习要设计分段和切换时机,实验周期长。新旧数据的讲究常和课程学习一起用,因为时间本身就构成一种天然顺序。
一个动比例一个动先后
数据配比的旋钮是各类数据的占比。比如想强化推理,就把带完整推导的样本占比从一成提到三成,其他类等比压缩。全程都按这个比例采样,模型自始至终泡在同一个配方里。它的效果是全局的、缓慢渗透的。占比的调整要看数据集的体量,一万条的样本提一成是一千条,量太小可能连信号都盖不住噪声。
课程学习的旋钮是时间轴。同一批数学数据,先喂计算题建立基本运算感,再喂证明题练逻辑链。难点在于难度标签本身不可靠,多数时候只能用代理指标粗分几档。并行方案定了之后,这种时间轴上的设计才好落地,否则通信模式一变,训练节奏全乱。分段切换的时机也要留观察窗口,切太早模型基础没牢,切太晚复杂样本又吃腻了。
两个旋钮调的东西不一样,按四件事分开看。
| 对比项 | 数据配比 | 课程学习 |
|---|---|---|
| 动的旋钮 | 各类数据的占比,比如推理样本从一成提到三成 | 时间轴上的先后,先计算题后证明题 |
| 生效范围 | 全程同一比例采样,效果全局、缓慢渗透 | 按难度分段,前期喂基础、后期喂复杂 |
| 调整成本 | 便宜,改采样权重就行 | 要设计分段和切换时机,实验周期长 |
| 主要难点 | 占比要看数据集体量,量小信号盖不住噪声 | 难度标签不可靠,只能用代理指标粗分几档 |
对收敛过程的影响
配比影响的是最终能力分布。配比偏科,模型就在偏科的方向上强,其他方向悄悄变弱,而且这种偏移是累积的,训练越久越明显。监控办法是各类测试集分开看,别只盯综合分。综合分是个平滑器,一类涨两类跌,总分可能纹丝不动,问题就这么被藏住了。
课程学习影响的是收敛路径。顺序合理,前期损失降得快,后期提升更稳;顺序生硬,比如一上来就喂超难样本,模型可能长时间卡在高原,甚至早期就过拟合到错误模式。偏好阶段的数据安排同样有这个问题,优选样本和劣选样本的呈现顺序,会影响拉大差距的效率。
实操中的常见组合
落地时两者通常一起上:先用配比定骨架,再用课程排节奏。比如通用对话六成、领域知识三成、代码一成的骨架下,领域知识内部按由浅入深分三段,前期占该类的三成,后期占七成。这样既有稳定的全局构成,又有渐进的学习曲线。写实验方案时把两个旋钮的当前值记在同一张表上,复盘时谁起了作用一目了然。
常见的错误是两头一起频繁改。配比每周调、课程每月换,模型被来回拉扯,最后说不清是哪种安排起了作用。通义千问和秘塔AI搜索背后的团队都强调实验纪律:一次只动一个旋钮,跑完再动下一个。合成数据与真实数据的配比,是这条纪律最常应用的战场。
速查表:配比是配方,全程比例不变;课程是火候,按时间轴分段;一次只动一个旋钮。综合分会骗人,分类指标才说实话。
顺序与比例问得最多的三个
- 难度标签不可靠怎么办?用代理指标粗分几档即可,比如按长度、按知识层级,课程的价值在节奏不在精确。
- 配比要一次定死吗?不必,但改动要有据,每次调整对应一个明确的短板假设,别凭感觉微调。
- 小任务值得搞课程吗?多数不值得,数据量小的任务配比影响更直接,课程带来的效果常被噪声淹没。


