什么是扩散模型？AI 是怎么「从噪声里画出图」的

想让 AI 画一张「猫坐在窗台上」，它做的不是从图库里搜索拼贴，而是从一团随机噪声出发，经过几十步逐步「去噪」，一点点把画面「擦」出来。这套机制叫扩散模型，是当下主流文生图和不少视频生成工具的基础，你每天见到的很多生成式画面都跑在它上面。

训练先学加噪，再学去噪

扩散模型的训练分两个方向。正向过程是人为破坏：拿一张清晰图片，按一定步数反复往上面加噪声，直到它变成一张完全看不出内容的雪花屏，这一路会留下「第几步长什么样」的中间状态。反向过程才是模型要学的东西：给定一张带噪的图，预测它上一步更干净的样子，也就是学会「去噪」。去噪网络的参数更新同样依赖反向传播，把去噪误差一层层传回去。两段合起来，模型就掌握了一条从噪声回到清晰画面的路径。

从纯噪声出发的生成流程

真正生成时，模型拿到的是随机采样出来的一团噪声，然后沿学到的路径一步步去噪。每一步只去掉一点点噪声，跑完几十步后才得到完整图像。文字提示的作用是在每一步里给去噪方向加约束，告诉模型「往猫的方向去」，而不是往别的物体去。参考图和遮罩也是同一种思路：把额外条件喂进每一轮去噪，引导最终画面。还有一种引导方式是给几个示例，让模型照着风格或格式来，思路和少样本学习相通。步数越多，画面通常越细腻，代价是耗时更长。

为什么它画得比早期方法好

和早期的生成对抗网络（GAN）相比，扩散模型的训练目标更平滑，不容易出现两个网络「一个太强一个学不动」的失衡，整体更稳。同时它的可控性更强，文字、参考图、局部遮罩都能参与引导；多步去噪也让细节层次更自然。这三个特点，让扩散模型在图像质量上逐步成为主流，也顺理成章地进入了视频生成领域。

慢，是它最主要的代价

扩散模型的生成是串行的一步接一步，几十步就是几十次前向计算，速度明显慢于一次前向就出图的方案。为了让用户「几秒出图」，产品普遍用「蒸馏」等技术把步数压缩到个位数，用一点画质换速度。你看到的秒级出图，背后就是这类优化的结果。在需要实时反馈的场景里，这个速度代价仍然是要认真权衡的。

「从噪声里擦出图」这个比喻的边界

这个比喻好懂，但它会掩盖一件关键事实：模型并不知道自己在画「猫」。它学的是像素之间的统计规律，是「什么样的噪声模式对应什么样的清晰纹理」，不是对「猫」这个概念的理解。所以它可能画出六根手指、把文字写错，或在你换一个不常见的组合时露出破绽。换句话说，扩散模型拟合的是分布，不是语义。理解了这一点，你就知道为什么它在「没见过」的组合上容易翻车，也知道为什么生成结果需要人来做最终把关。

这套机制还延伸到了哪些任务

扩散模型不只画图。视频风格迁移把实拍画面转成动画质感，智能重构图把横屏自动改成竖屏，智能抠像在不搭绿幕时也能换背景——这些图像与视频编辑任务里，相当一部分背后都有扩散模型或多步生成的思想。它们的共同点是：先理解「噪声」与「内容」之间的映射，再把这种映射用到新的输入上。若想弄清这些应用的具体做法，可以点进对应条目看流程。

速查：扩散模型一句话

• 正向：给清晰图反复加噪，直到变成雪花屏。
• 反向：学会从带噪图预测更干净的上一步。
• 生成：从纯噪声出发，去噪几十步得到成图。
• 代价：步数多、速度慢，常用蒸馏压缩步数换速度。