跳到主内容

数据增强的具体手法有哪些?改写与回译

2026-10-18 发布 来源:我告诉你AI导航 阅读

大模型训练里常遇到一个尴尬:语料就那么多,模型翻来覆去背,遇到没见过的说法就发懵。数据增强就是来解决这个问题的——它把一条原始句子改写成意思相同、字面不同的多个版本,等于让模型从不同角度反复看同一件事。本文按机制层的讲法,把常见手法...

大模型训练里常遇到一个尴尬:语料就那么多,模型翻来覆去背,遇到没见过的说法就发懵。数据增强就是来解决这个问题的——它把一条原始句子改写成意思相同、字面不同的多个版本,等于让模型从不同角度反复看同一件事。本文按机制层的讲法,把常见手法拆开,看每种手法进来什么、发生什么、出去什么。

同义替换:换词不换骨

最常见的一类是同义替换,思路是把原句里若干词换成同义词或近义词。进来的是原句,替换后主干不变、措辞不同,出去的句子含义保持一致。它的软肋是容易换错:专业词一旦被换成泛化词,意思就偏了,所以它只适合通用语料,法律条文、代码这类样本基本用不了。

改写:让模型换个说法

第二类是改写,也是当前大模型流程里用得最多的一类。做法是把原文交给一个生成能力强的模型,让它用不同的句式和详略程度重写,同时保留原意。进来的是原句加一条「保持原意、只换表达」的指令,出去的是风格不同的新句子。生成端可以用 DeepSeek 或通义千问这类通用助手,改写完再拿原句和新句做一次相似度比对,掉得太低的直接丢掉。

回译:绕一趟翻译再回来

第三类叫回译,思路更像绕个圈子验证自己。把中文句子先译成英文,再从英文译回中文,得到的译文往往和原句字面不同、含义接近,正好是一条新样本。进来的是单语文本,出去的是经过两次翻译往返的新表达。它有个隐藏好处:往返中损失的往往是无关紧要的语气词,留下的多是硬信息,所以回译数据常被用来做通用语料的扩量。

加噪兜底与组合边界

第四类是加噪与扰动,属于轻量兜底。随机删词、随机交换语序、插入无关短句,让模型别过度依赖某个确切词序。进来的句子被轻微破坏,出去的版本略有残缺。这类手法对短文本任务有点效果,但用多了会让模型学到错误的语序习惯,比例一般压得比较低。把几类手法串起来,一条样本的旅程通常是:先过规则过滤去掉格式坏损的,再过改写或回译生成多个候选,最后用分类器或相似度模型打分,只保留高分的那几个。

四种手法的进出和边界,逐项对下来是这样。

手法进来什么出去什么边界在哪
同义替换原句主干不变、措辞不同,含义保持一致只适合通用语料,法律条文和代码基本用不了
改写原句加一条「保持原意、只换表达」的指令风格不同的新句子要拿原句和新句做相似度比对,掉得太低的直接丢掉
回译单语文本两次翻译往返后的新表达损失的多是语气词,留下硬信息,适合通用语料扩量
加噪与扰动被轻微破坏的句子略有残缺的版本用多了会学到错误的语序习惯,比例压得比较低

扩量之后的语料怎么分配比例,语料配比是怎么调出来的会讲反复试验那套流程;过滤环节可以看合成数据是怎么筛的一文里的循环设计。增强完的数据还有一个容易忘的副作用:如果生成源本身有偏好,增强只会把这种偏好复制多份,所以团队通常会人工抽看一批增强样本,确认没有把错误说法改得更理直气壮。

顺带一提,混进增强流程的也不总是善意样本。数据投毒是怎么混进去的讲的就是坏样本如何借类似的渠道进到训练集,做增强时留一份来源记录,事后才追得回来。至于不是所有样本都值得在同一种力度下学习,课程学习为什么有效给了另一种视角。

  • 同义替换:换词不换骨,通用语料可用,专业语料慎用
  • 改写:模型重述原意,当前最主流,需配相似度过滤
  • 回译:绕一次翻译往返,留硬信息去语气词,适合扩量
  • 加噪:删词换序的轻兜底,比例压低防学坏语序
  • 共性:增强只放大量,不创造新知识,过滤环节不能省

换个问法再问数据增强三句

  • 改写和回译该用哪个?:追求风格多样选改写,追求字面差异稳妥选回译,实际项目常两个一起跑再合并。
  • 增强比例越高越好吗?:不是,增强样本超过一定比例后模型会把「被改过的说法」当成主分布,原版真实语料反而见得少了。
  • 怎么发现增强改坏了原意?:留一批人审样本,再配原句与新句的双向相似度阈值,两头都掉分的直接丢回重做。

反馈页面信息

请描述需要更正的地方,页面标题和网址会自动附上。

也可以发邮件至 [email protected]