今天你拿手机对着一张菜单拍照，AI 应用几秒钟就能报出菜名、估出辣度，这种「看图说话」的能力在三年前还是论文里的演示。大模型学会看图这件事，公开记录里的路线相当清楚：先用图文配对数据把图像和文字放进同一个空间，再把现成的视觉模块和语言模型拼起来，最后走向端到端的原生训练。这篇按公开论文与公告，把这三步的来龙去脉捋一遍。
先从图文对齐说起
起步的第一块基石是 2021 年 1 月 OpenAI 公开的 CLIP：用四亿对图文数据训练一个模型，让「一张猫的照片」和「一只猫的文字描述」在同一个向量空间里彼此靠近。按论文口径，训练后的模型在公开图像分类基准上展现出可观的零样本能力——没专门学过的类别也能认。CLIP 本身不会说话，它解决的是「图和文能不能对上」这个前提问题。这一步的意义在事后看很清楚：语言要描述图像，先得有共同的坐标系。当时语言模型这条线刚被 GPT-3 推到聚光灯下（见GPT-3 发布一篇），视觉与语言两路人马汇合的条件开始齐备。
2022 到 2023 年的拼接式方案
接下来的公开节点是 DeepMind 的 Flamingo：2022 年上半年发表论文，公开口径约八百亿参数，把一个视觉编码器和一个语言模型用专门的连接模块绑在一起，能对着图像或视频生成连贯的描述与问答，少量样本就能适应新任务。2023 年 1 月，Salesforce 的 BLIP-2 论文给出了更省钱的拼接法：视觉编码器和语言模型全部冻结不动，中间只训练一个轻量的桥接模块，公开说法是训练成本远低于从头训练，具体数字以论文为准。同年开源社区跟进，LLaVA 等项目把拼接方案做到个人实验室也能复现的程度。这些方案有一个共同的工程标签：拼接式——视觉是视觉，语言是语言，中间架一座桥。
| 方案 | 公开时间 | 做法 | 工程特点 |
|---|---|---|---|
| Flamingo | 2022 年上半年 | 视觉编码器与语言模型用专门的连接模块绑在一起 | 约八百亿参数，少量样本就能适应新任务 |
| BLIP-2 | 2023 年 1 月 | 视觉编码器与语言模型全部冻结，中间只训练轻量桥接模块 | 训练成本远低于从头训练 |
| LLaVA | 2023 年 | 把拼接方案做到个人实验室也能复现 | 开源社区跟进 |
把这段起步期排成速查表：
2021 年 1 月，CLIP 论文公开，图文对齐成为共同底座；2022 年，Flamingo 论文公开，视觉语言对话成形；2023 年 1 月，BLIP-2 公开，冻结件加桥接的省钱路线确立；2023 年 3 月，GPT-4 公告提及图像输入能力；2023 年 9 月，ChatGPT 向用户开放图像理解；2023 年 12 月，Gemini 以原生多模态训练为卖点发布。
GPT-4V 把能力带进产品
拼接式研究的积累在 2023 年等来了大众时刻。2023 年 3 月 14 日，OpenAI 公布 GPT-4，公告里明确提到模型接受图像输入，研究报告里附了推理谜题、梗图理解等演示；同年 9 月 25 日，ChatGPT 面向用户开放图像与语音能力，看图说话从论文演示变成了普通用户的日常功能。产品的公开影响立竿见影：无障碍场景里帮视障用户描述照片、办公场景里读表格截图，这些用例都在 OpenAI 的公开示例与各方报道里有记录。国内应用跟进得很快，今天你在豆包里拍题讲解、在腾讯元宝里传图问答，用的就是这一代能力。
从拼接走向端到端
拼接方案立了功，但公开讨论里它的边界也逐渐清楚：视觉信息经过桥接模块时可能丢失细节，两个冻结的部件之间靠小模块勉强沟通，训练再多也改不了底座。2023 年 12 月谷歌发布 Gemini 时，公开口径主打「原生多模态」——从预训练起就让多种数据一起进来，而不是训完语言模型再外挂视觉。此后各家新一代模型的公开介绍里，原生联合训练成了常见表述。图像进来后被切成什么、怎么变成模型能读的输入，见多模态 token一篇；输入分辨率对效果的影响，见视觉分辨率一篇。
起步期留下的两个习惯
回头看这三年，多模态起步期给行业留下两笔遗产。其一是方法论：视觉和语言不必各自为政，一个统一的模型可以同时处理多种输入——这条思路后来成为默认做法，也延伸到语音、视频方向。其二是节奏：研究先行、产品跟进的顺序再次重演，CLIP 到 GPT-4V 隔了两年多，而 GPT-4V 到各家产品全面铺开只用了很短时间。AI 应用的能力清单里，「会看图」从加分项变成了标配，你让 Kimi 读一份带图表的报告、让 DeepSeek 解释一张截图，这些如今寻常的用法，放在 2022 年都是需要专门论文来演示的新鲜事。起步期结束的标志，是大家不再专门讨论「多模态」——因为它已经是模型的出厂设置。
关于多模态大模型的常见疑问
- 多模态大模型最早能看懂图的是哪一个？公开文献里通常把 Flamingo 视为视觉语言对话的早期代表，更早的 CLIP 解决图文对齐但不生成文字，谱系细节以公开论文为准。
- 拼接式和原生多模态差在哪？拼接式是训好的视觉模块加训好的语言模型，中间只训桥接件；原生多模态从预训练就让多种数据一起参与，公开介绍里的主要差别在训练阶段。
- GPT-4V 是什么时候向普通用户开放的？按 OpenAI 公告，2023 年 9 月 25 日 ChatGPT 开放图像与语音能力，此前 3 月的 GPT-4 公告已提及图像输入。
