什么是数据质量过滤？训练前先筛一遍

大模型训练开始前，先要给语料过一道筛子，这就是数据质量过滤。原始数据里混着转载、广告、乱码、过时内容和机器生成的套话，不过筛就进训练，模型会把这些毛病一并学走。过滤的目标很直接：让留下来的每一段，都比删掉的大多数更值得学。

筛子都筛掉什么

第一层筛格式。乱码、编码错误、空模板页面、纯导航和页脚的碎片，这些没有信息量的内容先清掉，实现简单但收益立竿见影。第二层筛重复。同一篇文章被转载几百遍，不去重就会挤占训练时的注意力，这也是数据去重单独成为环节的原因。第三层筛质量。用规则和模型识别广告软文、标题党、逻辑混乱的文本，这类内容读多了，模型的表达会变得浮夸。

还有一层常被忽略：时效。带时间戳的过期信息，比如旧版政策、旧价格，留着会让模型输出过时答案。时效过滤通常和数据来源的信誉分级一起做，权威站点的内容阈值放宽，聚合站点从严，这部分经验在语料质量打分里被沉淀成规则。

四层筛子各管一类垃圾，清什么、漏了会怎样、用什么手段，对得上号。

像洗菜再下锅

理解数据过滤，可以类比洗菜再下锅。买菜回来直接下锅，泥沙和烂叶都进了菜里；先洗一遍、摘一遍，同样的食材出品完全不同。过滤不增加任何新东西，它做的是减法，而模型训练里减法的价值经常被低估：删掉十分之一的垃圾，比新增十分之一的好数据更能改变模型行为。

过滤还有个节奏问题容易被忽视：分批过滤比一次性全筛更稳。每批数据进来当天就过筛，问题当周就能发现；攒够一年份一次筛，等发现规则有漏洞，整个数据集都要重来，沉没成本高得多。

洗菜类比还带出节奏问题。菜不是一次洗完的，过滤也不是一轮搞定：粗筛清格式、细筛去重复、精筛判质量，每轮用不同的筛子。代码语料和自然语言文本的筛法不同，通常并行多条过滤流水线。

洗菜类比的两处裂缝

洗菜类比有两处裂缝。其一，菜干不干净有客观标准，语料“好不好”取决于用途，一段口语化闲聊做对话数据是宝，做知识数据可能就是草。其二，洗菜不改变菜本身，过滤中的改写、回译、摘要生成会真的改变数据形态，改多少、怎么改，需要标注规范提前约定。

更实际的教训是过度过滤。标准定得太严，把有特色的表达也筛掉，数据变得千篇一律，模型输出随之寡淡。合理做法是分层保留：核心数据严标准，长尾数据宽标准，让分布保持自然，这也是中文语料处理时尤其要注意的平衡。

过滤是否过度的自检

自检方法很直接：过滤前后各抽样对比。看留下来的数据是否还保有表达多样性，看被删掉的是否真的都是低质，看关键类别的占比有没有明显偏移。三个角度都正常，说明筛子力度合适；发现多样性骤降，就该放宽阈值。

日常工具里，腾讯元宝和智谱清言在知识问答上的稳定表现，背后都有严格的语料清洗流程。对自建数据的团队，建议先把过滤规则写成可复现的脚本，每轮记录删除了什么、为什么删。过滤不是一次性任务，是跟着数据源持续运转的工序。

自查清单：过滤前后抽样对比表达多样性；检查被删内容是否真属低质；看关键类别占比有无偏移；三者正常则力度合适。

关于数据质量过滤再多问三句

• 过滤越狠数据就越好吗？不是，标准过严会误伤有特色的表达，分层保留才能兼顾纯净与多样性。
• 过滤和去重是一回事吗？不是，去重只处理重复，过滤要同时处理格式、质量、时效多个维度，范围更大。
• 小团队需要完整过滤流程吗？先做格式和重复两层就能拿到大部分收益，质量层可以随规模逐步补。