模型不知道什么叫「划痕」。它见过的是一万张被框出划痕位置的图，从这些框里归纳出边缘、反光、纹理的组合规律。让图片带上这种框的过程就是标注，AI 的能力上限，很大一部分在这个环节就被定死了。下面讲四类标注各自的风险、一致性怎么量、预标注省下的钱从哪儿欠回来，以及标注再好也补不上的那个窟窿。
模型学的是标签里的规律，标签错了照学
训练时标签就是标准答案。模型不会质疑它，只会把「这张图对应这个标签」的映射记住。标错的比例低，影响是噪声，靠数据量能摊薄；标错有系统性——某一类总被标成另一类——模型就会稳定地学错，而且训练损失看起来很漂亮。
这也是标签噪声比一般的数据错误更难查的原因：它不报错，只是让模型的上限悄悄降下来，等你发现效果不对，往往已经标了几万条。
四类标注，四种出错方式
标注类型不同，质量风险的形状也不同，用同一套验收标准去管，必然有漏：
| 标注类型 | 产出形态 | 主要质量风险 | 怎么控 |
|---|---|---|---|
| 分类 | 整条数据一个标签 | 边界样例定义不清，同类样本被判成两类 | 手册里给正例也给反例，边界样例单列讨论 |
| 框选与分割 | 坐标框或多边形 | 遮挡、小目标漏标，框的松紧标准不一 | 定 IoU 阈值，抽检按目标尺寸分层 |
| 实体抽取 | 文本片段与类型 | 实体边界切分歧义，嵌套实体漏标 | 明确最长匹配还是最短匹配，写清嵌套规则 |
| 偏好排序 | 两个回答谁更好 | 标注员口味差异、位置偏差、偏好长回答 | 双盲，随机交换左右，单设「差不多」选项 |
最后一行最容易被当成简单活。实际上它最难：分类标注有客观答案可对，偏好标注连「正确答案」都不存在，两个都合格但风格不同的回答，谁更好取决于标注员心里的标准。大模型的表达风格，很大程度上是被这批标注的口味塑出来的。
规范写得含糊，一致性就没了
「标出所有敏感内容」这句话没法执行，因为「敏感」的边界在每个人心里不一样。可执行的规范要写到能判断的程度：给五个正例、五个反例、三个边界样例，并说明边界样例为什么这么判。
规范还要版本化。标了两千条之后发现某条规则要改，前面那批要么重标，要么记下版本号分开用。混在一起训练，模型学到的是两套互相矛盾的规则，效果比只用一批更差。
一致性怎么量，分歧怎么收
抽百分之五到十的样本做双盲标注，两个人独立标，再算一致率。一致率低不一定是标注员不认真，更常见的原因是规范没写清——某个类别的分歧集中出现，说明那个类别的定义本身有问题，该改的是规范，不是换人。
分歧样本不要简单投票了事。把分歧集中的样本拿出来逐条讨论，讨论结论回写进规范，这是提升一致性最有效的一步，也是最常被跳过的一步。跳过的代价是同一类分歧在下一批里重复出现。
预标注省下的钱，从偏差里欠回来
先用一个模型跑一遍，人工只做修改，速度能快不少。风险是确认偏差：标注员看到框已经画好了，倾向于微调而不是删掉重画，模型的错误就这样被原样保留，再喂回下一轮训练。
控制办法是混入一定比例的空白样本让人从零标，用两者的差异估计预标注的漏检率。另外，预标注模型的能力上限会成为新数据集的上限，这一点在迭代几轮之后会变得很明显——模型教出来的数据，再教出下一代模型，退化是渐进的。
合成数据是另一条路。它能补上稀有场景，成本低，但分布和真实数据有差距，用多了模型会学到合成器的痕迹。想判断一份数据是不是合成的，可以参考合成数据那篇里的线索。
你其实一直在做标注
登录时点的那些「请选出包含红绿灯的图片」，是在给自动驾驶贡献框选数据。给回答点的赞和踩，是在贡献偏好数据。写评价时选的星级，是在贡献分类标签。
大模型的对齐训练大量依赖这类人类反馈。你点的那一下进入了某份偏好数据集，影响的是下一版模型更倾向于哪种回答风格。这也是隐私设置值得看一眼的原因——有些平台会把交互数据用于改进模型，有些不会，条款里通常写着。
标得再好，也补不上采样的窟窿
标注质量解决的是「标得准不准」，采样解决的是「有没有覆盖到」。产线质检的模型只见过白天的照片，夜班的产品它一次都没见过，标得再准也没用。这类问题和训练数据的构成有关，和标注环节无关。
还有一层是标注体系本身的限制。分类体系只有十二类，现实里出现的第十三类只能被硬塞进最像的那一类。模型不会说「这个不属于任何一类」，它只会在十二个选项里挑一个，而且给出不低的置信度。
最后一条：标注决定的是上限，不是结果。同样的标注，特征、结构、训练策略不同，最后效果能差出一大截。把效果不好全归到数据上，和把效果好全归到模型上，都是误判。
速查：验收一批标注时看什么
- 规范有没有边界样例，版本号是否对得上
- 双盲抽样的一致率，分歧集中在哪个类别
- 有没有混入空白样本，用来估预标注的漏检
- 采样覆盖了哪些时段、地域、设备，漏了哪块
