手里有地图还在暴力搜索——ScrambleToolBench 揭穿 Agent 推理的”信念惯性”

一个让人哭笑不得的实验场景

想象你给一个智能体一个终端、一堆工具，和一个任务：用这些工具把文件从 A 搬到 B。工具的名字被故意打乱了——tool_3 可能实际上是”复制文件”，tool_7 可能是”删除文件”，语义标签全部撕掉。智能体只能通过试错来发现每个工具到底干什么。

这已经够难了。但 ScrambleToolBench（arXiv:2608.02358）加了一个更狠的设计：在智能体好不容易摸清工具行为之后，环境会突然变——mapping drift（映射漂移）。 tool_3 原来是复制，现在变成了移动。tool_7 原来是删除，现在变成了重命名。规则变了，智能体需要发现这个变化并重新适应。

你猜怎么着？智能体发现不了。

更糟的是：给它更多推理时间（test-time reasoning），它不是去推理”为什么之前能用的步骤现在不行了”，而是更卖力地暴力搜索——把所有工具再试一遍。 手里明明有一张自己刚画的工具地图，地图上写着”下一步该用 tool_3″，但它不用地图，它选择把所有工具都再试一遍。

论文的核心设计

Vernon Toh 等人（新加坡科技设计大学）的这篇论文针对的是当前 Agent 评测的一个盲区。现有的工具使用 benchmark（比如 ToolBench、API-Bank）都有一个隐含假设：工具的语义 schema 是公开的。也就是说，agent 一开始就知道 search_engine(query) 是搜索，calculator(expression) 是计算。这让 agent 可以依赖”先验知识”而不是”自主发现”。

但真实世界不是这样。你接手一个陌生代码库，函数名是 fn_3 和 fn_7，没有文档，你只能调用看输出。你接手一个陌生 API，端点叫 /api/v2/resource，没有 OpenAPI 文档，你只能试。真实世界的工具使用，大量是”语义未知、靠交互发现”的场景。

ScrambleToolBench 把这个场景做成了 benchmark：

1. 去除语义线索：工具名是 tool_0 到 tool_N，没有描述，agent 必须通过调用发现行为。 2. 连续任务课程：不是一次性任务，而是一连串任务，前面的工具行为在后面还要用到。 3. 动态挑战： – Mapping Drift（映射漂移）：工具行为中途改变。 – Stochastic Action Failures（随机失败）：同样的调用有时成功有时失败。 – Temporal Execution Windows（时间窗口）：某些工具只在特定时间可用。

三个让人意外的发现

发现一：初次发现 ≠ 鲁棒适应

智能体在第一阶段的”工具发现”上表现得还不错——通过试错，它能摸清大部分工具的行为。但这个成功不能迁移到”环境变化后的适应”上。当 mapping drift 发生时，智能体不是去推理”哪里变了”，而是直接把旧地图扔了，重新开始暴力搜索。

这就像一个人好不容易学会了用一台咖啡机，咖啡机厂家换了个按钮布局，他不是去对比”哪些按钮变了”，而是把所有按钮都按一遍重新学。学习能力强，适应能力弱。

发现二：Test-time reasoning 放大暴力搜索

这是论文最反直觉的发现。你可能会想：给智能体更多推理时间（比如让它在行动前多想几步），它应该能更好地推理出”为什么之前能用的步骤现在不行了”。

完全不是。 增加 test-time reasoning 的效果是：智能体更卖力地暴力搜索，而不是更聪明地推理。它不是去 trace 一个 cycle（”tool_3 → tool_5 → tool_3，这是个循环，说明 tool_3 的行为可能变了”），而是把所有工具都试一遍，试完再试一遍。

这就像一个人在迷宫里，给他更多时间，他不是去推理”这条路我走过，换一条”，而是更卖力地把所有死胡同都再走一遍。更多推理时间放大的是蛮力，不是洞察。

发现三：Persistent memory 减少错误累积，但不解决结构推断

给智能体一个持久记忆（让它能记住之前的调用历史和发现），能减少”错误累积”——避免它重复犯同一个错。但持久记忆不能让智能体更好地推断结构性变化。它还是发现不了”tool_3 的行为变了”这个事实，还是会暴力搜索。

这告诉我们：记忆和推理是两回事。 记忆能让你不重复犯错，但不能让你从记忆里推断出”规则变了”。后者需要的是演绎推理——cycle tracing、假设检验、反事实推理——这些是当前 LLM agent 的弱项。

一个类比：信念惯性 vs 演绎恢复

论文用了一个词叫 belief inertia（信念惯性）——智能体倾向于坚持旧信念，即使环境已经变了。这和人类的”确认偏误”很像，但有一个关键区别：人类在发现矛盾时，会去推理”哪里变了”。智能体在发现矛盾时，会去暴力搜索。

用论文的原话：”When faced with structural changes such as mapping drift, agents fail to use deductive strategies such as cycle tracing, and instead exhibit belief inertia or fall back to exhaustive search. Increasing test-time reasoning only amplifies this expensive brute-force search rather than enabling deductive recovery.”

“deductive recovery”（演绎恢复） 这个概念很关键。它指的是：当环境反馈和预期不符时，智能体应该去推理”为什么不符”，而不是重新试一遍所有可能。这是 agent 推理的一个核心能力，也是当前 LLM 的一个核心缺陷。

这就像一个程序员调试代码。新手程序员看到 bug，会到处加 print、改改试试。资深程序员看到 bug，会先推理”最可能在哪里出问题”，然后针对性地验证。前者的策略是暴力搜索，后者的策略是演绎恢复。 当前 LLM agent 在面对环境变化时，表现得更像新手程序员。

为什么这很重要

这篇论文戳中了 Agent 领域的一个软肋。当前 agent 的卖点之一是”自主智能”——给它一个任务，它自己想办法。但这个”自主”在工具语义已知的情况下是容易的：agent 知道 search() 是搜索，知道 calculate() 是计算，它只需要规划调用顺序。

真正的自主智能是在工具语义未知、环境会变化的情况下还能适应。ScrambleToolBench 证明，当前 SOTA 模型在这个场景下表现很差。不是”差一点”，是”有地图还在暴力搜索”这种差。

这和最近一系列论文指向同一个问题：

– Looping Is Not Reliability（2025）：正确性不是吸收态，16% 的正确补丁在第二轮被改回去——agent 不会”保持正确”。 – Regression Tax（2025）：技能库让 agent 变差，59% 增益被回归抵消——agent 不会”正确使用工具”。 – ScrambleToolBench（这篇）：agent 有地图还在暴力搜索——agent 不会”从环境反馈中推断结构变化”。

三篇论文共同指向：当前 agent 的核心瓶颈不是工具数量、不是上下文长度、不是推理时间——是推理质量。 给它更多工具、更长上下文、更多推理时间，它不是不会用，是会用错方向——放大蛮力而不是放大洞察。

评测盲区定律的又一例

这篇论文也是”评测盲区定律”的新例证。现有 agent benchmark（ToolBench、API-Bank、WebArena）都假设工具语义已知、环境静态。在这个假设下，agent 表现得很好。但一旦去掉这个假设——工具语义未知、环境动态——agent 的表现断崖式下跌。

测什么就优化什么，不测的就是问题藏身处。 现有 benchmark 不测”语义未知下的工具发现”，不测”环境变化后的适应”，所以 agent 也不学这些。ScrambleToolBench 填了这个盲区，也暴露了这个盲区有多大。

诚实评价

论文不是没有局限。ScrambleToolBench 的”终端环境”是合成的，不是真实 API。真实世界的工具行为更复杂、更连续，不是”tool_3 是复制”这种离散行为。合成环境的好处是可控、可复现，但坏处是可能高估或低估真实场景的难度。

另外，论文只测了几个 SOTA 模型（GPT-4、Claude 等），没有测开源模型。开源模型在这个场景下表现如何，论文没说。”信念惯性”这个概念的机制解释也偏弱——论文描述了现象，但没有深入解释为什么 LLM 会倾向于暴力搜索而不是演绎恢复。是预训练数据的问题？是 RLHF 的问题？是注意力模式的问题？论文停在”现象描述”这一层。

但作为一个”问题发现”论文，它做得很扎实。去除语义线索、引入 mapping drift、stochastic failure、temporal window 这四个动态挑战的组合设计很精巧，”test-time reasoning 放大暴力搜索”这个发现反直觉且重要。

结语

这篇论文给我最深的印象是这个意象：智能体手里有一张自己刚画的地图，地图上写着”下一步该用 tool_3″。但它不用地图，它选择把所有工具都再试一遍。

这不是”不会用工具”的问题，是”不会用自己已经知道的东西”的问题。这个区分很重要，因为修法不一样。不会用工具就加工具、加 schema、加文档。不会用自己已经知道的东西，就要动推理架构——让 agent 能从环境反馈中推断结构变化，而不是把反馈当成”再试一遍”的信号。

当前 LLM agent 的核心瓶颈不在工具侧，在推理侧。给它更多工具、更长上下文、更多推理时间，它会用这些资源更卖力地暴力搜索，而不是更聪明地演绎恢复。放大蛮力 vs 放大洞察——这是 agent 推理质量的核心问题，也是 ScrambleToolBench 给这个领域的一记警钟。

—

论文链接： ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step