2021 年 1 月 5 日，OpenAI 一天发表两篇论文：一篇是后来被广泛引用的 CLIP，另一篇演示了一个能按文字描述画图的模型，名字借了超现实主义画家达利与电影机器人瓦力的各一半，拼成 DALL·E。论文里最出圈的一组图，来自一句提示：「牛油果形状的扶手椅」。AI 文生图的大众热潮，公认从这篇论文起步。这篇按公开材料讲清楚：那组图考的是什么能力，论文怎么搭的，热潮是怎么滚起来的。
牛油果扶手椅考的是什么题
论文公开演示的提示句是「an armchair in the shape of an avocado」，即牛油果形状的扶手椅。为什么偏偏是它？按论文口径，这道题考察的是组合泛化：训练数据里几乎不存在「牛油果」与「扶手椅」搭配成一件家具的图片，模型要出图，等于要把两个概念各自的属性当场拼接出一个从未见过的新物体。论文报告的模型约有 120 亿参数，沿用 GPT 系列的自回归路线（GPT-3 的发布见GPT-3 发布一篇），把文字与图像统一编码成 token 序列后一起训练，训练数据为公开收集的图文对，具体规模以论文为准。
同一天的第二篇论文
同日公开的 CLIP 走另一条路：用数亿图文对做对比学习，把图与文映射进同一个向量空间，训出来的模型能按自然语言给图片做零样本分类。两篇论文是一对搭档——DALL·E 负责画，CLIP 在论文里承担了对生成结果做排序打分的角色。此后几年，图文对比学习成了多模态模型的通用底座之一，多模态 token 怎么算账见多模态 token一篇。
| 模型 | 训练方式 | 公开验证的能力 | 论文里的分工 |
|---|---|---|---|
| DALL·E | 沿用 GPT 系列的自回归路线，文字与图像统一编码成 token 序列 | 组合泛化，拼出训练数据里没有的新物体 | 负责按文字描述画图 |
| CLIP | 数亿图文对做对比学习，映射进同一个向量空间 | 按自然语言给图片做零样本分类 | 对生成结果做排序打分 |
从论文到产品的公开线
把节点排成速查表：
2021 年 1 月，DALL·E 与 CLIP 论文同日公开；2022 年 4 月，DALL·E 2 发布，画质跃升，采取排队封闭试用；2022 年 7 月起，DALL·E 2 按公开公告开放公测；2022 年 8 月，Stable Diffusion 开源权重，文生图竞赛全面展开；2023 年 10 月，DALL·E 3 并入 ChatGPT，对话式出图上线。
产品线上的关键人物之一是时任 OpenAI CTO 的米拉·穆拉蒂，DALL·E 到 ChatGPT 发布期间的产品节点在她的公开履历里有完整记录，见米拉·穆拉蒂一篇。对 2021 年的 OpenAI 来说，这两篇论文等于第一次把「按话说图」完整演示给了行业。
热潮是怎么滚起来的
2021 年论文发布时，公众看到的只是精选图集；真正的出圈发生在此后两年间：2022 年 DALL·E 2 的画质让社交平台刷屏，同年 Stable Diffusion 把生成能力开源到人人可跑（见Stable Diffusion 开源一篇），年底 ChatGPT 上线（见ChatGPT 上线一篇）又把「提示词」这个词普及给了所有人。「牛油果扶手椅」留下的是一个方法论：要检验模型是否真的理解语言，就给它两个从没一起出现过的概念，看它能不能拼出新的东西。今天你让豆包画一张「长着猫耳朵的台灯」、让智谱清言给文案配一幅图，玩的正是这道 2021 年考题的延长线。
关于DALL·E的三问三答
- 牛油果扶手椅考的是什么？组合泛化：训练数据里没有两种概念组合的图片，模型要靠分别理解两者并当场拼接出图，论文用它验证了这一点。
- DALL·E 的名字怎么来的？按 OpenAI 的公开说法，取超现实主义画家达利（Dalí）与电影机器人瓦力（WALL·E）的各一半。
- 模型本身当年公开了吗？没有。2021 年只发论文与精选图集，模型不开放，真正人人可本地出图要等 2022 年开源模型出现。
