训练大模型最常卡在数据上:真实数据不够、标注太贵、或者涉及隐私不能直接用。合成数据就是在这种缺口里「造」出来的训练素材——用算法或模型生成、而非从现实直接采集的数据。它既能补充稀缺样本,也埋着「以假学假」的风险,理解它的适用边界比记住定义更重要。
合成数据在解决什么
结论前置:合成数据的本质,是用算力换数据。当真实数据要么拿不到、要么太贵、要么不能用时,让模型自己生成一批「像那么回事」的样本,用来训练、测试或补齐缺口。它解决的从来都是「数量与可得性」的问题,至于质量,则要另看——这是后面风险部分要讲的。它最常出现在三类场景:样本稀缺、隐私受限、成本失控。
什么时候该用它
合成数据并非万能,用对场景才有效。下表按「现实痛点」列出它真正能帮上忙的地方。
| 场景 | 现实痛点 | 合成数据补什么 |
|---|---|---|
| 罕见故障 | 现实中很少发生、样本太少 | 批量生成异常样本让模型见过 |
| 隐私受限 | 真实数据含个人信息不能直接用 | 生成不含真人的替身数据 |
| 标注太贵 | 人工标注成本超出预算 | 生成时顺带产出标签 |
| 极端事故 | 现实中难以安全复现 | 模拟生成危险或罕见场景 |
这几类场景的共同点,是「真实数据难以为继」。合成数据在这里的价值是补空白,是大语言模型训练管线里的一种常规补料手段,而非替代真实数据的方案。
它带来的实际提升
可控是它最实在的好处:需要多少条、什么类型、什么分布,都能按需生成,不必等采集。成本上,生成一万条合成样本的代价,通常远低于人工标注一万条真实样本。覆盖上,它能补上真实数据里的长尾空白,让模型见过更多罕见情况。这些提升都集中在「数量、速度、长尾覆盖」三个维度,是数据稀缺场景下的实在好处。
三个绕不开的风险
第一是「以假学假」:模型从合成数据里学到的东西,可能带着生成模型自身的偏见和错误,学得越多、错得越稳。第二是分布偏差:合成数据和真实数据「长得像」却不等价,直接混用可能让模型在真实场景反而变差。第三是自我循环:用 AI 生成的数据再训练 AI,一代代下去可能发生退化,就像反复复印一份文件,几轮之后细节越来越糊。这三条里,自我循环最隐蔽,也最值得警惕。
合成数据做不到什么
合成数据最做不到的,是「凭空变出真实世界」。它的上限取决于生成它的模型:如果生成模型本身没见过的规律,合成数据也造不出来。它无法确保生成样本真实反映了用户分布、无法替代真实数据里的「意外」与噪声,也无法自动纠正自己带进来的偏差。像视频延展这种依赖真实连贯语义的生成,合成样本一旦失真,续出来的片段就会不自然。当任务高度依赖真实世界的细微变化时,合成数据补得再多,也可能在关键处失真。
一条稳妥的使用原则
业界的普遍经验是:合成数据适合补充,很难完全替代真实数据。更稳的做法,是把合成数据当「补充样本」用,并持续用一小批真实数据做验证,看模型在真实分布上有没有退化。像抽卡生成的视频素材这类批量产物,同样要掂量「生成次数」与「可用率」之间的账,别只看数量。对运镜词这类需要真实语义标注的任务,合成数据更要小心,一旦语义标签错了,补进去就是错样本。合成数据是「用算力换数据」的思路,它缓解了数据稀缺,也提醒我们:数据不只是数量,更关键的是它有没有反映真实世界。
速查:合成数据要点
- 定义:用算法或模型生成、非现实采集的数据。
- 适用:样本稀缺、隐私受限、标注太贵、极端场景。
- 三大风险:以假学假、分布偏差、自我循环。
- 原则:补充可用,替代要慎,用真实数据验证。


