语料质量是怎么打分的？过滤器的规则

大模型训练用的语料，质量打分靠规则和模型两道关。规则关用人工定义的条件筛掉明显垃圾，模型关用分类器判断这段文本像不像好材料。两关串起来，海量语料被分成可用、待定、丢弃三档，喂给训练的比例由此确定。

打分规则分几层

第一层是硬规则，判断快、零争议。乱码、空模板、纯导航页、信息量过短的段落，直接判负。第二层是启发式规则，用可量化特征粗筛，比如重复词比例、符号密度、平均句长，落在异常区间的进待定。第三层是模型打分，前两层的幸存者交给分类器，输出一个质量分或档位。

三层之外还有一层人工复核，通常只抽百分之一到五。它的作用不是提效，是校准：规则关和模型关合起来的误判方向，靠人工抽样发现并回流成新规则。

分层的意义在于省钱。硬规则每秒能跑几万条，模型推理每秒只有几百条，能早拦的绝不晚拦。数据去重的两档方法通常排在打分之前，让模型关处理的是去重后的集合，判断更稳。

规则过滤做第一道

规则关的规则从坏样本里总结。拿一批人工确认的低质文本，统计共性：是不是都堆叠无意义符号，是不是都短得没有信息量，是不是都套用固定营销模板。共性提炼成规则，反过来扫全量，这是规则关最常用的构建方式。

规则还要防对抗。知道规则后，垃圾内容的制造者会针对性变形，比如把广告拆成短段落规避长度检测。所以规则要按季度复盘，看新一批坏样本是否绕过了旧规则。

规则关的边界要守住：只拦有把握的。宁可放过一些疑似垃圾，也不误伤有特色的文本。课程学习里从易到难的顺序提示，先用严格规则保底，再让模型关处理模糊地带，比一上来就混判更稳。

模型打分做第二道

模型关的训练数据是人工标注的质量分级样本。进来的是待判文本，发生的是分类器推理，出去的是高、中、低档位或连续分数。这套思路和奖励模型的两两比较同源，都是把人类判断蒸馏成可复用的自动判断。

分类器本身的质量是这关的天花板。标注噪声大，分类器学到的是矛盾标准，打分必然漂移。所以模型关上线前通常先做标注质检，一致性不达标就回头补数据，这一步不能省。

阈值怎么定

阈值不是算出来的，是试出来的。先按经验值切一版，抽样人工检查各档位的误判率，再按误判分布调整。高分档误判多，说明阈值偏松；低分档混进好文本，说明规则关太激进。

阈值定了也不是一劳永逸。数据源变化、业务目标调整，都可能让原有切分失效。成熟的团队把阈值当成配置项管理，每次调整记录依据，而不是写死在脚本里。

定好的阈值还要按来源分设。百科类和论坛类的质量分布完全不同，一刀切必然一边误伤一边放水。各档位留多少进训练，属于语料配比的决策范围，打分体系只负责把材料分好类。秘塔AI搜索和纳米AI在资料整理上的表现差异，部分就来自这套阈值与配比的不同。

速查表：质量打分三层=硬规则、启发式规则、模型分类器；顺序先去重再打分；阈值按来源分设；误判率靠抽样人工校准。

换个问法再问语料质量打分三句

• 质量分是统一标准吗？不是，同一段文本在不同用途下档位不同，打分体系通常按用途分别标定。
• 模型打分会把长文本默认高分吗？会，长度偏置很常见，训练分类器时要控制长度这个变量的影响。
• 小团队用得起模型关吗？先用硬规则和启发式两层就能拿到大部分收益，模型关可以等规模上来再补。