让 AI 读一张截图里的小字,它有时会认错甚至跳过,根源在图像理解的分辨率瓶颈:整张图要压进有限的 token 预算,细节在压缩里悄悄丢了。
分辨率瓶颈从哪来:切图与预算分配
视觉编码器的输入尺寸是固定的:图进来先缩放到预设分辨率,比如几百乘几百,再切成小块逐块编码。缩放这一步就是信息损失的闸口——原图两千像素宽,压到几百像素,四倍以上的缩比把小字的笔画糊成几像素宽,后面模型再聪明,读到的已经是模糊版本。
token 预算是另一道闸。语言模型的上下文有限,一张图占的额度越多,能同时处理的图就越少、文本空间就越小。切图策略是折中方案:整图先给一份低清全局视图,再切成高分辨率块补细节,块数按重要性分配。Kimi、腾讯元宝读长截图时提供的「高清模式」,动的就是这套分配。
| 闸口 | 损失怎么发生 | 看到的表现 |
|---|---|---|
| 输入缩放 | 原图先缩到预设分辨率再切块 | 两千像素宽压到几百,小字笔画糊成几像素 |
| token 预算 | 单图占的额度越多,能同时处理的图越少 | 多图同发时单图分辨率被挤 |
| 切图策略 | 全局低清视图加高分辨率块补细节 | 块数按重要性分配,次要区域仍然糊 |
小字为什么看不清:下采样丢信息
小字的笔画在原图里可能只有两三像素宽,下采样后不足一像素,混进背景色里彻底消失。文字识别依赖笔画结构,结构没了,模型只能按上下文猜——猜常见词准确率高,猜编号、金额这类无规律内容就露馅。这不是模型不努力,是信息在进模型之前就没带进来。
同理,密集小目标、细线图表、远景人脸,都是分辨率瓶颈的重灾区。豆包的图片问答对这类内容也时常提示「建议裁剪后重试」,背后的逻辑相同。
预算的账还可以算得更细:同样一张图,文字任务和找物任务对分辨率的要求不同。读字要保笔画,需要高分辨率;认物体只要轮廓和颜色,低清就够。聪明的分配是按任务动态给预算,静态一视同仁的分配总有一头不满意,这正是各家「高清模式」仍在迭代的原因。
补救的思路:高分辨率分支与二次裁剪
模型侧的补救是加高分辨率分支:全局视图管布局,局部块按原分辨率编码管细节,两者拼接后一起理解,代价是算力翻倍。使用者侧的补救更直接:把目标区域裁出来单独发,等效于手动提高有效分辨率,成本为零且立竿见影。
分辨率与相邻机制互相牵动:多图预算挤占单图分辨率,见多图理解是怎么关联的;视频帧数与每帧清晰度互相拉扯,见视频问答的上下文是怎么组织的;音频侧的对应问题是混音内容被淹没,见语音降噪是怎么分离人声的;语言侧的混杂内容处理,见中英夹杂的语音是怎么处理的。
类比与失效:像看缩略图但放大有上限
把模型看图理解成看缩略图找文件:整体一目了然,文件名小字看不清,得点开放大。失效点在于软件的缩略图可以无限放大看原图,模型没有原图——缩放丢掉的信息它拿不回来,所谓高清模式也只是提前规划好了该放大哪里。
一句话带走:重要细节别指望模型自己看清,裁剪、分批发、点明区域,三招都比换模型管用。
读图清晰度自查清单
- 目标文字在整图里是否过小;
- 是否已把关键区域裁剪单独发;
- 多图同发是否挤占了单图预算;
- 编号金额类内容是否需要人工复核。
一句话:分辨率瓶颈是预算瓶颈,细节要花钱买注意力。
分辨率瓶颈快问快答三则
- 图片越大识别越准吗?:超过模型上限后反而被压得更狠,适配输入尺寸的原图比超大盘更划算。
- 为什么它能读清照片里的招牌?:招牌通常占画面比例大、笔画粗,编码后结构保留完整,属于瓶颈之外的安全区。
- 高清模式一定更好吗?:细节任务更好,整体理解任务差别不大,还多花算力,按需开。


