跳到主内容

数据投毒是怎么混进去的?坏样本的路径

2026-10-18 发布 来源:我告诉你AI导航 阅读

大模型的「口味」很大程度上由训练数据决定,谁能让样本进训练集,谁就能在相当程度上塑造模型的倾向。数据投毒正是利用这一点:把精心构造的坏样本混进语料,让模型在特定触发条件下输出特定内容。本文按机制层思路,沿着几条真实存在的路径讲它怎么...

大模型的「口味」很大程度上由训练数据决定,谁能让样本进训练集,谁就能在相当程度上塑造模型的倾向。数据投毒正是利用这一点:把精心构造的坏样本混进语料,让模型在特定触发条件下输出特定内容。本文按机制层思路,沿着几条真实存在的路径讲它怎么进来、又在哪里被截住。

开源爬取:谁都能发的入口

第一条路径是开源爬取。互联网文本谁都能发,攻击者可以在论坛、百科、博客批量投放带特定模式的文本,等爬虫收走。进来的是伪装成正常讨论的帖子,触发词加错误观点打包出现;出去的是进了语料库的「合法」样本。它的特点是覆盖面依赖运气,但一旦进库就极难追责,因为爬取方往往不留来源档案。

第三方数据集:污染一处扩散下游

第二条路径是第三方数据集。公共数据集被无数项目引用,攻击者只要污染其中一小部分样本,下游所有使用者都会中招。进来的是一个打包好的压缩文件,样本本身看起来格式完备;出去的是被直接引用进自家训练流程的脏数据。各类公开数据集平台上这类风险尤其值得留档核查,用前至少抽查样本来源。

人工标注:量小但精准

第三条路径是人工标注环节。标注平台按条计酬,攻击者可以应聘标注员,在标注数据里夹带触发模式。进来的是正常指令和标注答案,出去的答案里埋了特定触发词;特点是量小但精准,因为标注数据离最终行为最近。众包场景下用多数投票可以稀释个别人的夹带,但要是攻击者控制多个账号,稀释效果就会打折。

合成管道:被放大的高速路

第四条路径是合成数据管道。如果生成模板来自不可信来源,或者过滤环节被人做了手脚,模型自己造数据反而成了投毒的高速公路——一条坏样本可以被复制放大成上万条相似变体。这条路径和合成数据是怎么筛的里的循环直接相关:过滤端一旦被污染,循环会把污染越滚越大。

四条路径的入口、难防之处和拦截手段。

路径坏样本怎么进来难防在哪能怎么挡
开源爬取在论坛、百科、博客批量投放带特定模式的文本,等爬虫收走进库后极难追责,爬取方往往不留来源档案爬取数据保留 URL 快照
第三方数据集污染公共数据集里的一小部分样本样本格式完备,下游使用者全部中招用前抽查样本来源,少用来源不明的打包数据集
人工标注应聘标注员,在标注答案里夹带触发模式量小但精准,离最终行为最近多数投票稀释,随机复核,双人交叉
合成管道生成模板不可信,或过滤环节被人做了手脚一条坏样本被复制放大成上万条相似变体守住过滤端,给语料留来源档案

防的思路不是「把所有坏样本认出来」,那不现实,而是提高混入成本。给语料留来源档案,进库样本可追溯到域名或数据集版本;对触发式异常保持监控,比如模型对某个罕见词组合反应过度一致就报警;关键数据集做交叉验证,拿两个独立来源比对同一知识点。语料配比是怎么调出来的强调的反复试验,本身就包含对可疑数据源的逐步替换。

对普通团队更现实的建议是:少用来源不明的打包数据集,爬取数据保留 URL 快照,标注任务做随机复核。并行训练架构再先进,也救不回被污染的数据——数据并行、张量并行这些手段只决定算得多快,决定不了学什么。至于数据扩量阶段的入口把关,数据增强的具体手法里提到的来源记录,是事后追查的关键线索。判断一条语料可不可信,可以学平时用豆包和腾讯元宝交叉验证答案那样:两个独立来源对同一知识点给出不同说法,就该存疑复核,而不是随手挑一个。

  • 开源爬取:论坛博客投放触发文本,进库难追责
  • 第三方数据集:污染一处扩散全网下游,用前必须核查
  • 人工标注:量小精准,多数投票加随机复核可稀释
  • 合成管道:一条坏样本放大成万条,过滤端失守最致命
  • 防线核心:来源可溯、异常监控、交叉验证,而非全量识别

关于数据投毒的三个常问问题

  • 投毒一定要很多样本才见效吗?:不一定,后门类攻击只需要几百条带触发模式的样本就够,占比极低,靠人工抽查反而更难发现。
  • 自家标注的数据也靠不住吗?:内部标注比众包可信,但仍建议抽检和双人交叉,尤其留意触发词异常一致的情况。
  • 发现被投毒后还能洗掉吗?:部分可以,定位到触发模式后用干净数据重训受影响阶段是常见做法,成本高,所以事前留来源档案最划算。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]