什么是图文对训练？看图学文的方法

Kimi 能看懂你发的风景照并写出一段文案，这份「眼力」并非凭空而来，来自一种朴素而有效的训练方式：图文对训练。一句话概括，就是拿海量「一张图配一段描述」的数据，让模型反复对照着学，直到图和文在它心里连成一体。

教材长什么样

一条典型数据就是图和文的配对：一张街景照片，配一句「傍晚的十字路口，行人打着伞等红灯」。互联网上有数不清的天然配对——网页里的插图和标题、商品图和介绍、视频截图和字幕。把几十亿条这样的配对喂给模型，它逐渐学会两件事：图里有什么，对应的文字大概长什么样；反过来，一句话该对应什么样的画面。理解类模型靠它学会看图，画图模型也靠同源的思路学会文生图，只是方向相反而已。

类比：看图说话题海，以及它失灵的地方

把它比成看图说话的题海战术很贴切：题目够多，套路自然熟。但题海类比有一处失灵：学生做完题有老师讲评，模型却主要靠统计规律自我校正——配对数据里难免有张冠李戴的标注，图是 A 城市、配文却是 B 城市的介绍，模型照单全收时就把错误也学了去。所以数据清洗、配对筛选在这类训练里占了很大工作量，「题海」的质量比数量更金贵，脏题刷得越多，错得越固化。

训练时具体发生什么

以理解类模型为例：图片先经过编码变成图像 token，文字同样变成 token，两组信号在跨模态对齐的机制下互相预测、互相校准——给图猜文，给文猜图，猜错就调参数，几十亿轮下来对应关系越磨越准。画图那条线则不同：文字先进提示词编码器，再指挥逐步去噪的生成过程，细节见去噪步数一文。两条线原料相同、用法相反。

这套方法管出了什么本事

它的产出很具体：认得常见物体、读得出图里的大字、能把截图内容转成文字摘要。你用豆包或腾讯元宝传图提问时得到的回答，根基就是这批配对数据。它的边界也清楚：训练里少见的东西——冷门商标、方言招牌、潦草的手写字——表现就会打折扣；图文对里没教过的推理，比如从设计图纸推算尺寸，单靠这条路学不全，还得靠后续的指令微调补课。

练出来的本事和它的边界，并排摆在一起看：

顺带说说怎么判断一个模型「题海刷得好不好」。三个可观察的信号：看图认字多的截图，认得全不全；给一张少见的图，是胡编还是老实说没把握；描述画面时位置关系对不对——左三右二这类细节最能暴露配对数据的质量。反过来，作为使用者也有对应技巧：重要截图先裁剪聚焦，杂乱背景会稀释要点；描述类问题一次问一件事，多轮追问比一口气堆问题更稳。它还解释了一个常见现象：同一张梗图，老模型看不出的笑点，新模型能讲明白——题海里补进了新题而已。题海的边界就是模型的边界，知道它从哪学的，就知道该往哪问。

速记卡

• 原料：图 + 配文，数十亿条起步
• 做法：互相预测，猜错调参
• 产出：认物、读字、看图说话
• 短板：罕见内容、复杂推理，题海里没练过

一句话带走：模型的眼力是题海泡出来的，题海里没有的题，它多半不会做。

图文对训练快问快答三则

• 图文对一定要人工标注吗？：大头来自互联网天然配对，人工标注用于清洗和构建高质量子集，量少但作用关键。
• 视频也能这样训练吗？：可以，把视频帧和字幕、旁白配对即可，但要额外考虑时间上的连贯，思路延伸到了帧率约束那类问题上。
• 配对越多就一定越强吗？：数量的边际回报递减，脏数据多了反而帮倒忙，方向对、质量高才是硬道理。