OmniParser

访问官网

OmniParser是微软研究院开源的屏幕解析模块可将UI截图转为可交互图标和语义描述配合GPT-4V等VLM构建跨平台GUI智能代理在WindowsAgentArena基准测试中表现最佳

分类： AI开发与模型开发框架与开源 #开发框架 #开发框架与开源 #视觉语言模型 #微软研究院 #GUI代理 #屏幕解析

OmniParser 解决什么问题？

当前大视觉语言模型（如 GPT-4V）虽然能理解屏幕截图，但直接让它们精确操作 GUI 界面仍面临挑战——模型很难可靠地识别截图中哪些区域可以点击，也难以准确将操作意图关联到具体的屏幕位置。OmniParser 正是为此而生：它充当屏幕截图和 VLM 之间的翻译层，把一张 UI 截图变成模型能精确理解的结构化信息。

这个思路的独特之处在于，OmniParser 完全不依赖网页的 HTML/DOM 结构或安卓的 View Hierarchy 等底层元数据，仅凭视觉输入就能完成解析。这意味着它可以跨 Windows、macOS、Linux、Android 乃至任何有图形界面的系统运行。

技术架构怎么玩？

OmniParser 由两个微调模型组成流水线：检测模型负责定位截图中所有可交互的图标和按钮区域；描述模型负责为每个检测到的元素生成功能语义描述，告诉后续的 VLM 这个按钮是做什么的。

微软团队为此专门构建了两个训练数据集：从流行网页标注的可交互图标检测数据集，以及将每个 UI 元素与其功能关联的图标描述数据集。最终输出的结构化元素可以直接喂给 GPT-4V 等模型，大幅提升其生成精确操作动作的能力。

实测表现如何？

根据微软公布的基准测试结果，OmniParser 在多个评测中表现突出。在 ScreenSpot 上，搭配 GPT-4V 后性能显著提升；在 Mind2Web 上，OmniParser+GPT-4V 甚至超过了使用 HTML 额外信息的纯 GPT-4V 代理。在专门为 Windows 代理设计的 WindowsAgentArena 基准上，OmniParser 达到了当时最佳成绩。

更重要的是，它证明了即使搭配 Phi-3.5-V 和 Llama-3.2-V 等较新的开源模型也能工作良好，说明 OmniParser 是一个通用插件而非特定模型的专属工具。

适合谁用？

OmniParser 主要面向三类开发者：研究 GUI 自动化代理的学术界和工业界研究人员；希望构建跨平台 RPA 或 AI 操作助手的工程师；对视觉语言模型应用感兴趣的学习者。需要注意，它是研究项目而非商业产品，部署需要一定的机器学习工程能力。微软已将代码托管在 GitHub 上并公开了训练流程，V2 版本也已发布。