「自己标的数据一定更好」错在哪？

一说大模型微调的数据质量，很多人脱口而出：自己标的肯定比公开的强。「自己标的数据一定更好」错在哪？在于默认了自建等于高质量，忽视了标注规范、人员水平和质检流程才是质量的来源。正确说法是：自建数据只是具备了更好的条件，质量高低全看流程；流程缺位，自建数据可能比筛过的公开集更糟。

错在哪：把来源当质量

同样一批问题，规范清晰、双人标注、按比例抽检的自建集，质量确实高；指南模糊、单人快标、无人复核的自建集，错漏率可能高得看不见。数据的质量在流程里，不在谁标的这个标签上。

同样一批问题，流程齐不齐，差别在这三处。

自建的隐性短板

自建团队的口径容易自成一体，标出来的答案带内部习惯，模型学到的也是这套习惯，换批用户就可能不适配。单人长期标注还会产生系统性偏差，自己很难发现。这些短板，成熟公开集反而没有，因为它们按通用场景设计，还经过多方检验。

质量到底由什么决定

自建数据要配三件套：书面规范、双人标注加仲裁、按比例抽检且可追溯到人。规范要具体到答案多长、举不举例、术语怎么统一，模糊地带最养偏差。起步阶段可以把公开集当基线，自建集做小样本对照，用效果说话。对照思路可以读自建数据集和公开数据集差在哪？。

怎么验收自建质量

抽一成样本做交叉复核，算标注一致率，一致率低就回炉修规范，不是催标注员加速。再用平行问题测模型，看自建数据带来的提升是否稳定。讯飞星火、通义千问在公开分享中都把标注规范当作数据质量的第一道闸门。迭代方法可以参考主动学习和被动标注有什么区别？，常见幻觉预期的讨论见「微调后就不会幻觉了」错在哪？。

一致率不达标怎么办

一致率不达标，先别催进度。第一件事是把分歧样本摊开看：分歧集中在哪类问题、争执点是什么。多数情况不是标注员不认真，而是规范没覆盖到这类情形，或者示例给得不够，急着推进，只会把模糊口径带进模型。

第二件事是补规范、补示例。把分歧案例的讨论结果写回规范，配正反例，然后让同一批人重标分歧样本，看一致率是否回升。规范修订后要全员同步，不能只通知参与讨论的几个人，口头同步最不靠谱，规范要落到文档。

第三件事才是换人。如果修订后一致率仍低，考虑换人或调整分工，让擅长这类判断的人标这类数据。但这一步要谨慎，人的更替会带来新的口径差异，能修规范解决的，不要用人事调整解决。

整个过程留档：分歧案例、规范修订记录、重标结果。下次招新人，这套记录就是现成的培训教材，比口头传授高效得多，记录的价值会随时间显现。

最后说个反例警示：把一致率当唯一指标也会跑偏。为了凑一致率，规范可能被定得过于僵化，标注员照着死规则执行，数据整齐但偏离真实场景，模型学到的是规则不是判断。一致率和业务合理性要一起看，前者保稳定，后者保有用，缺了哪个都会出问题。验收时抽几条标注结果问业务方，比看一致率数字更能发现僵化。

自查清单：自建数据先查三件套：书面规范、双人加仲裁、抽检可追溯；再看一致率，低就修规范；最后用平行问题验效果。

关于「自己标的数据一定更好」再多问三句

• 一个人标的数据完全不能用吗？：不是不能用，是要配抽检和规范，单人标到一定量就必须交叉复核。
• 规范要写多细？：细到新人半天能上手、两个人标同一条一致率过九成，才算够细。
• 自建和公开能混着用吗？：可以，公开集打底、自建集补场景，但要分别记录来源，方便回溯问题。