什么是多模态评测？看图听音的考试

看图听音也能考试——大模型的考场正从文字扩展到图片、图表、语音、视频，这就是多模态评测。即梦AI 处理图像、文心一言看图说话的表现如何，都要靠这类考试给出说法。

看图听音考什么

常见考块四类：图表阅读，给一张柱状图或折线图，问趋势与数值；图像理解，识别物体、场景、文字与空间关系；图文结合，看图写作或按图回答；语音与视频，听懂录音内容、看懂视频里发生了什么。打个比方，像把笔试改成现场实操——不光听你讲，还要看你认不认得现场的东西。类比失效之处：现场实操人人看到同一个现场，而模型的「看」是它自己的感知方式，和人眼所见并不相同，评测题目因此要格外防歧义。

四个考块给的材料不同，要模型交的东西也不同：

图和字混在一起考的难点

难点有三：一是题面歧义，图片里多处信息都可能被解读，出题时要能锁定唯一答案；二是图文对不齐，模型看懂了图却读漏了题干的限定条件，或反之；三是感知错觉，模型可能「脑补」图里没有的东西，答得头头是道但与图无关。好题目的标准是：答案严格依赖图里的信息，光靠文字猜不出来。

打分怎么定标准

封闭题按对错判，和数学考卷的思路相通，见什么是数学评测？对错分明，看完就会判断；开放题按维度评——描述准不准、要素全不全、有没有幻觉——常请人工或模型评审，评审自身带偏向时结果会失真，校准思路与裁判偏好的治理是一路的。维度的划分也有讲究，描述准确性和信息完整度分开统计，才能定位失分原因。幻觉率是多模态最被看重的一项，看图编造细节比答错更伤信任。防脑补是出题的必修课：答案若能靠常识猜出来，这道图题就白出了。图文对不齐的坑在真实使用里最常见：你贴了图，它答的却是题干没问的。四个考块权重不必相同，看榜时先看你常用的那块占比多少。同一张图多问几次，看答案稳不稳，是比分数更直接的体感。厂商演示图通常挑得漂亮，自己的图才是试金石。语音与视频块的计算开销大，覆盖它们的基准相对少，选型时别因缺项而误判。

分数之外还要看什么

看图答题的分高，不等于实际用着顺：你自己的图片类型（手写单据、设计稿、截图）和题库里的图差多远，直接决定体验。多模态能力接入多步任务后怎么干活，是 Agent 考卷的事，见什么是 Agent 评测？多步任务的考卷；中文图片里的文字识别与理解，则与中文考卷相关，见什么是中文评测？中文题库的特点；行业专属的图类任务（如特定行业的单据样式）归领域考卷，见什么是领域评测？行业专属考卷，通俗版解释；新版模型在旧图题上还稳不稳，则要用回归题集来验，见什么是回归测试集？版本之间比，新手版入门。

多模态评测速查表

• 考块：图表、图像、图文结合、语音视频。
• 好题标准：答案严格依赖图面信息。
• 读分：看图类分布与你的使用场景差多远。

选型前，拿你自己的图先试一轮。

分数之外，亲眼看它答一次最有底：截一张你常处理的图发给它，答案靠不靠谱，一眼便知。评测分数划范围，上手体验定取舍。

关于多模态评测再多问三句

• 模型真的「看懂」图了吗？：它的感知方式和人不同，高分说明任务完成得好，不必纠结它是否和人看到的一模一样。
• 语音评测和图文评测能一起考吗？：可以，不少基准把多模态各块合并出卷，分块公布成绩。
• 自己拍照出的题能考出真实水平吗？：能反映一部分，但单题偶然性大，多试几种类型更靠谱。