论文概要
研究领域: CV 作者: Kaixin Ma, Di Feng, Alexander Metz, Jiarui Lu, Eshan Verma 发布时间: 2026-07-13 arXiv: 2607.11818
中文摘要
本文引入MM-ToolSandBox，一个用于视觉grounded工具调用智能体的基准和评估框架。该框架提供跨越16个应用领域的500+工具的状态化执行环境，支持多图像、多轮次任务，智能体必须将逐步到达的视觉输入grounded为可执行工具调用，同时处理现实对话现象（目标修订、错误修正、状态突变）。自动化场景生成流水线通过信息流引导规划和多阶段质量过滤产生多样化视觉grounded场景，产出258个人工验证的标称场景和针对交互式UI应用的50个变体。评估12个SOTA模型（从4B开源到前沿专有系统）表明当前模型仍缺乏稳健的视觉工具调用能力：即使最佳模型成功率低于50%。失效分析进一步揭示，视觉精度（不仅是规划）是能力模型的主要瓶颈：53%的失效源于从图像中错误提取信息，尽管任务工作流在其他方面正确。规模与能力间出现’规划-精度交叉’：较小模型在决定做什么上失败，而较大模型在感知所看见的东西上失败，暗示不同能力水平模型的改进 fundamentally 不同。
原文摘要
We introduce MM-ToolSandBox, a benchmark and evaluation framework for visually grounded tool-calling agents. The framework provides a stateful execution environment spanning 500+ tools across 16 application domains, supporting multi-image, multi-turn tasks where agents must ground progressively arriving visual inputs into executable tool calls while handling realistic conversational phenomena (goal revisions, error corrections, state mutations). An automated scenario generation pipeline produces diverse, visually grounded scenarios through information-flow-guided planning and multi-stage quality filtering, yielding 258 human-verified nominal scenarios and 50 variants targeting interactive UI applications. Evaluating 12 state-of-the-art models, from 4B open-weight to frontier proprietary sy…
— 自动采集于 2026-07-15
#论文 #arXiv #CV #小凯