语料配比是怎么调出来的？反复试验的配方

大模型训练的语料配比没有标准答案，只能反复试。代码占多少、数学占多少、中文占多少，每类数据的比例都直接影响模型的能力形状。研发团队的做法是小规模实验、看指标、调配方、再放大，一轮轮逼近合理组合，这就是配比调整的日常。

配方是怎么试出来的

配比实验的基本循环分四步。进来的是一个候选配方，各类数据的比例设定。发生的是小规模训练，用缩小的模型和数据量跑一轮。出去的是评估结果：各能力项的表现，和配方一一对应。拿到结果就分析哪类数据加多了、哪类加少了，改出下一版配方。

每轮实验的记录要结构化。配方参数、数据版本、评估结果存进同一张表，才能横向比较多轮差异。只靠记忆和聊天记录，试到第十轮就说不清前九轮改过什么。

这个循环的关键是控制变量。一次只动一类数据的比例，其他保持不动，才能把表现变化归因到具体调整上。语料质量打分在这一步先跑完，让进配方的都是同质材料，否则比例变化混着质量变化，归因就失效了。

小规模实验先行

没人敢拿全量数据试配方，成本不允许。通常的做法是缩小版验证：模型参数量缩小，数据量缩小，但保持配比结构不变。缩小版能反映大方向，比如数学数据加到某个比例后推理能力见顶，这个趋势在全量上大概率成立。

缩小实验的模型选择也有讲究。用太小的模型，某些能力差异根本显现不出来，实验等于白做；用接近目标规模的模型，实验成本又逼近正式训练。通常选能显现目标能力差异的最小规模。

缩小版用多大的模型，直接决定这轮实验值不值得做。

缩小实验也有边界。有些效应只在规模变大后才出现，比如某类数据在小时没作用，大了反而挤占其他能力。微调成本的账里，给这类规模效应留出验证预算，是成熟团队的习惯。

观察哪些指标

配比实验看的是能力组合指标，不是一个总分。代码能力、数学推理、中文表达、知识问答分开评估，各自随配比变化曲线。理想的配方是各项都在可用线以上，而不是某一项冒尖其他塌陷。

评估集本身也要防污染。如果评估集的数据形态和某类训练数据高度重合，该类能力的表现会被高估。评估集和训练集的隔离检查，应该作为配比实验的前置步骤。

还要看负向信号。某类数据加量后，如果模型在该类任务上变好、在相邻任务上明显变差，说明发生了能力挤占。中文语料的加量就常遇到这类问题，表达变地道了，知识密度却可能被稀释。

放大到全量的操作边界

配方定稿后放大到全量，有三件事要做。一是分阶段扩，每扩一档验证一次，别一次性拉满。二是盯训练稳定性，配比变化可能诱发梯度爆炸之类的波动。三是留对照，保留一版旧配方的模型做 A/B，防止新配方在评估集上好看、真实体验下滑。

实践中还有一条经验：配比是滚动调整的。业务需求变了、新数据源来了，配方都要跟着改。ModelScope 和 WPS AI 背后的团队都把配比当作长期运营项。对普通团队的启发是：把每轮配比和评估结果记录成档案，下一轮配方从档案里长出来，而不是每次凭感觉重来。

速查表：配比循环=定配方、小规模训、看分项指标、改配方；一次只动一类；放大分阶段并留旧版对照；配比是滚动运营项。

关于语料配比的三个常问问题

• 存在通用最佳配比吗？不存在，配比取决于目标能力形状，代码模型和对话模型的最优配方本就不同。
• 缩小实验的结论能直接放大吗？大方向可以，规模效应要警惕，某些数据的作用只在数据量上去后才显现。
• 配比多久调一次？跟着业务走，需求或数据源有变就重新评估，稳定的业务按季度复盘也够。