指令数据的质量怎么判断？多样与覆盖

大模型指令微调的效果，很大程度上不取决于单条指令写得多漂亮，而取决于整个集合的多样性与覆盖面。一万条同格式的「请概括这篇文章」，抵不了一千条覆盖十种任务类型、难度有梯度的混合集。本文按机制层思路，讲清判断指令数据质量的一套流程：从去重开始，到盘点分布，再到补缺口。

去重：先清掉近重模板

第一步是去重与近重清理。进来的是原始指令集，先做完全重复的删除，再做模板级近重清理——把指令抽象成「动词加对象加约束」的结构，结构高度相似的只留代表。出去的是一份不膨胀的底料。近重不清，模型会把大量训练步数花在反复学同一个句式上，表现为评估集上该句式超常、别处平庸。

盘点：把家底画成直方图

第二步是分布盘点。把指令按任务类型、长度、领域、难度多个维度做统计，画出直方图。进来的是一份去重后的集合，出去的是一张「我们有什么」的清单。这一步的关键是诚实：很多团队盘点完才发现，七成指令集中在摘要和问答两类，代码、推理、长文写作几乎空白。盘点的维度不在多，在于能指导行动：长度分布用来定截断策略，领域分布用来定补采优先级，难度分布用来看梯度是否合理。

缺口：对照目标找空白

第三步是缺口识别。拿盘点结果对照目标能力清单，圈出占比过低或完全缺失的格子。进来的是一张分布图和目标清单，出去的是一份补采计划。缺知识问答就扩百科与教材类来源，缺多轮能力就构造对话剧本，缺长文就收长文档。缺口不一定是缺数据，也可能是缺某种问法——同一个「翻译」任务，可以有直译、意译、带术语表、口语化等不同表述。

补采：定向补再回盘

第四步是定向补采与过滤。按补采计划补进来的新指令，仍要过质量关：表述是否清晰、答案是否正确、是否带错误内容。合格部分掺回主集，再重新盘点，看缺口是否填上。这一步常要跑两三轮，因为补进来的新指令可能又带新的偏斜，比如补了一堆代码题结果把叙述类挤没了。辅助手段上，可以请通义千问或 DeepSeek 帮忙做指令扩写和分类打标，但生成结果必须再过一轮校验，生成端带来的问题在合成数据是怎么筛的里有专门讨论。

四步走下来，每一步的进料和产出可以并排看。

覆盖还有一层含义是人群与场景：不同专业背景的人会怎么提问，也是覆盖面的一部分。判断指令数据好不好，最终要落到模型行为上。指令里混入标注员口味分歧的，训练出的偏好也会分裂，人类偏好为什么会有分歧解释了源头；只优化单条「像不像好答案」而不管整体分布，容易触发奖励作弊那类问题。

模型出题模型做的自循环扩量，见自我训练是怎么回事；数据喂入前的洗牌，见训练数据的顺序有影响吗。还有一个隐性指标常被忘：指令的答案长度分布，如果九成答案都在两百字内，模型会默认所有回答都该短，长文任务直接垮。

• 去重：删完全重复，再按抽象结构清近重
• 盘点：任务类型、长度、领域、难度多维画直方图
• 缺口：对照目标能力清单，圈出占比过低的格子
• 补采：定向补来源，过质量关后掺回再盘点
• 核心：质量是集合属性，不是单条属性

指令数据质量快问快答三则

• 指令条数越多越好吗？：不是，近重太多反而浪费步数，先看去重后的有效规模和分布再谈数量。
• 怎么发现覆盖有缺口？：把任务类型直方图和目标清单并排看，空白格和细条就是缺口，别凭感觉。
• 多样性会稀释单类效果吗？：会，所以配比要反复试验，某类任务掉分就上调它的占比。