视觉定位是怎么画出框的？坐标输出

AI 看图指物的能力叫视觉定位：你说「把桌上那只绿杯子框出来」，它返回一串坐标，画面上多出一个框。从一句话到一个框，中间有三步。

从文字到框的流程：理解、匹配、回归

第一步理解指代。模型把「桌上那只绿杯子」解析成属性组合：位置在桌上、颜色是绿、类别是杯子，这一步靠的是大模型的语义理解能力，短语里的「那只」这类限定词也在解析范围内。

第二步匹配区域。视觉编码器把图片切成小块并算出各自的特征，与文字属性逐一比对，找到同时满足所有属性的区域。第三步回归坐标：把匹配到的区域边界换算成四个数字——左上角和右下角的位置，进来的是图文对，出去的是坐标框。

坐标怎么读：归一化与像素两种口径

输出坐标有两种常见写法。像素坐标直接给 0 到图宽高的数值，直观但要先知道图多大；归一化坐标把位置压到 0 到 1000 或 0 到 1 的区间，与图尺寸无关，换算一次就能适配任意分辨率。用坐标做裁剪、标注、跳转之前，先搞清楚拿到的是哪种口径，这是最常见的翻车点。

Kimi、豆包这类能看图的产品，定位结果常以结构化形式返回，配合工具调用可以自动完成裁剪和打标，腾讯元宝的图片问答里框选追问也是同一个机制的界面化呈现。

定不准的常见原因：小目标与模糊指代

小目标是头号难题：一张全景图里的人物可能只占几十个像素，切块编码时信息被稀释，框就容易飘。模糊指代排第二：「那个东西」「左边第二个」这类表述缺少可靠锚点，模型只能猜。遮挡与堆叠排第三：杯子叠着放，框给谁都说不好。

改善手段从输入侧下手最有效：把图裁近一点、把话说具体一点，比换模型见效快。定位只是起点，圈出来之后要读懂整页结构，接得上版面分析是怎么分栏的；表格里的单元格定位则是另一套线与逻辑，见表格识别是怎么恢复结构的；多图场景下跨图指认，看多图理解是怎么关联的；问句上下文怎么排布，见视频问答的上下文是怎么组织的。

坐标系之外还有一个容易被忽视的细节：框的置信度。不少模型的返回里带一个分数，表示它对这次定位有多大把握，低分结果的框八成是猜的，接自动化流程时应该设一道门槛，低于阈值就转人工或追问。另一类做法是让模型先描述目标再定位，描述里漏掉的属性往往就是定位失败的原因，等于给指代做了一次预检。

类比与失效：像找物游戏但答案是数字

找物游戏里你按提示在画面里扫视，最后用手指点出来；视觉定位做的事一样，只是手指变成了四个数字。失效点在于人的找物靠常识纠错，模型靠统计匹配，出现训练里少见的组合——比如「戴着帽子的鱼」——它会一本正经框错。

一句话带走：指代越具体、目标越显眼，框越稳；反过来就要靠裁剪和追问来补救。

定位自查清单

• 坐标是像素口径还是归一化口径；
• 指代里有没有颜色、位置等可靠属性；
• 目标在整图里占比是否过小；
• 多个同类物时是否需要序数词消歧。

一句话：先把话说清楚，再怪模型框不准。

视觉定位快问快答三则

• 它能一次框出所有目标吗？：多数模型支持开放式列举，但密集小目标容易漏，按类别分次提问召回更全。
• 框和分割有什么区别？：框是矩形边界，分割要沿轮廓逐像素描边，定位便宜快速，精细抠图要上分割。
• 为什么它对歪着的文字框得准？：文字目标小而特征强，模型在文档场景训练充分，比一般物体定位更稳。