论文概要
研究领域: CV 作者: Tianjie Ju, Zheng Wu, Yueqing Sun 发布时间: 2026-08-28 arXiv: 2508.11373
中文摘要
多模态大语言模型（MLLMs）可以解读街景，但城市行动能力的关键在于：当智能体开始移动后，这种局部感知证据是否仍然有用。本文研究了当前MLLM智能体能在多大程度上将局部城市感知转化为复杂真实规模城市中的可靠行动。我们提出了UrbanGround——首个可在物理约束的香港全三维地理空间数据复刻环境中测试这一问题的沙盒。UrbanGround支持第一人称闭环交互并提供导航交互地图，智能体可直接进入三维城市并以第一人称探索。我们的分析通过三个研究问题追踪空间问题的演化：首先测试智能体能否在主动观察后对局部场景进行充分grounding以回答空间问题；然后检验这种grounding能否在目的地变得更远、更模糊时支撑导航；最后验证所得行为能否在路线可用性和行人运动变化中保持稳定。当前MLLM智能体通常在视觉识别和短程空间推理方面展现出有用的原子能力，但方向感知和行人感知运动仍不可靠。其核心失败出现在长期探索中——局部能力无法组合成持续的目标导向行为，错误不断累积而缺乏有效修正。
原文摘要
Multimodal large language models (MLLMs) can interpret a street view, but urban agency depends on whether such local evidence remains useful after the agent starts to move. In this paper, we investigate how far current MLLM agents can turn local urban perception into reliable action in a complicated real-scale city. We propose UrbanGround, the first sandbox to make this question testable in a physically constrained replica of Hong Kong built from territory-wide 3D geospatial data. UrbanGround supports closed-loop interaction from a first-person view and provides an interactive map for navigation. Agents can directly enter the 3D city and explore from a first-person view. Our analysis follows the growth of the spatial problem through three research questions. We first test whether an agent …
— 自动采集于 2026-08-29
#论文 #arXiv #CV #小凯