AI 看一张图容易,看一组图才是真考验:找出两张图的三处不同、判断先后顺序、把商品图和效果图对应起来。多图理解的关键,是让模型建立图与图之间关系。
图与图怎么关联:共享的表征空间
多图模型把每张图编码进同一个表征空间:一张图变成一组特征向量,两张图的特征放在同一坐标系里,相似与差异可以直接比较。模型在训练时见过大量图组——前后对比、连拍序列、拼图组合——学会了「图之间的关系」本身也是一种模式:位置相邻的可能相关,特征接近的可能同物。
编码共享带来一个实用性质:同一物体出现在两张图里,模型能通过特征相似性把它们对上,这就是「这是同一个人吗」这类问题的机制基础。
指代与对比:多图问题的两类问法
对比类问题问差异:找出不同、比较质量、判断哪张更清晰,模型要做的是特征对齐再逐区域比较。指代类问题问映射:第一张图里的杯子在第二张哪里、这张图的角色换到那张场景会怎样,模型要先锁定参照物再跨图检索。两类问法的难度分布不同,指代类对定位与关联的要求都更高。
豆包、通义千问、智谱清言的对话里都能同时贴几张图提问,返回质量的差异主要就出在关联建模的深度上。
顺序敏感吗:图序对结果的影响
多数情况下敏感。标了「前」「后」的对比问题,交换图序答案跟着翻;不带序数词的开放问题影响较小。这提醒使用者一个技巧:时间序列、步骤序列的图组,按顺序上传并在问题里点明「按上传顺序」,模型会利用这个先验。
还有一个实用准备动作:上传前给图改名或在消息里编号。模型对「第一张」「第二张」的追踪主要靠序列位置,你在文字里写的编号和实际上传顺序一致,指代就稳;不一致,它可能按自己的排列理解问题,答案整体错位。多图混贴不同主题时更要把分组说明白,比如「前三张是方案 A,后两张是方案 B」,跨组比较才不会张冠李戴。
四类图组关系,对上方式和提问要点都不同。
| 图组关系 | 模型靠什么对上 | 提问要点 |
|---|---|---|
| 同物异拍 | 特征相似性,同一物体的特征在同一坐标系里能对上 | 直接问「这是同一个人吗」,不必多铺垫 |
| 前后对比 | 序列位置,标了前后的对比一交换图序答案就翻 | 点明「前」「后」,不要交换上传顺序 |
| 时间或步骤序列 | 序列位置先验,靠「第一张」「第二张」追踪 | 按时间顺序上传并点明「按上传顺序」 |
| 混合主题分组 | 分组说明,跨组比较要靠文字讲清哪几张是一组 | 「前三张是方案 A,后两张是方案 B」 |
上传后先让模型复述每张图内容,确认它认对了再进入正式提问。
跨图关联和单图结构是两套功夫:单图里先要分清栏与块,见版面分析是怎么分栏的;图内表格要与另一张图对照,结构先恢复,见表格识别是怎么恢复结构的;多图怎么编成一个序列进模型,见图文交织输入是怎么排的;连起来的图组就是视频的骨架,见视频问答的上下文是怎么组织的。
类比与失效:像看连环画但页序会重排
你看连环画能自动脑补页与页之间的剧情衔接。失效点在于人对「同一主角」的追踪靠面孔和衣着,模型靠特征相似度:画风突变、光线剧变时特征漂移,它可能把两个角色认成一个,或把一个角色认成两个。
一句话带走:多图问题先想清楚图与图是什么关系——同物异拍、前后对比还是并列选项,关系说清楚了,答案准一半。
多图提问速查表
- 对比类:说明比较维度,如清晰度、构图;
- 指代类:明确序号与参照物;
- 序列类:按时间顺序上传并点明顺序;
- 关系混杂:一次只问一种关系,拆开问更准。
一句话:图组关系说在前,模型就不会瞎配对。
关于多图理解,问得最多的三个
- 它有张数上限吗?:有,受上下文预算限制,通常个位数到十几张,超了后传的图会被压缩或忽略。
- 为什么它分不清两张相似的脸?:特征空间里距离太近,差异小于编码粒度,裁出脸部特写再比对会好很多。
- 多图和视频理解是一回事吗?:并不完全一样,视频带时间轴和音频,多图只是空间并列,前者多了时序约束。


