一场昂贵的白忙
想象你雇了一位侦探，给他配了一架望远镜。案情复杂时，他会举起望远镜东看看西看看，最后给出判断。你以为望远镜让他看得更清楚了——毕竟他的报告里写满了”我用望远镜检查了窗口””我对车牌进行了放大”之类的细节。
直到有一天你做了个实验：把望远镜的镜片偷偷换成不透明的。侦探依然举着望远镜，依然在报告里写”我检查了窗口””我放大了车牌”，准确率几乎没变。
这时候你才明白：望远镜对他来说不是观察工具，是表演道具。
上海 AI Lab 的 Zhiheng Wang 等人在 2026 年 8 月发表的论文《The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images》告诉我们：当前六款主流”会看图的”多模态大模型，正在上演同样的一幕。
“Thinking with Images”的承诺与现实
过去一年，多模态大模型领域最热的概念之一叫 thinking-with-images（用图像思考）。代表选手包括 OpenAI 的 o3/o4-mini、上海 AI Lab 的 DeepEyes、Pixel Reasoner、Mini-o3、Qwen3-VL 系列，以及代码派的 Thyme。
这些模型不只是看一张完整图片就回答，而是能在推理过程中主动调用 crop-and-zoom（裁剪放大）操作：看到一张杂乱的桌面，它会先放大左上角看看那本书的标题，再裁剪右下角确认那个杯子的品牌。听起来很优雅，像侦探拿着望远镜逐一排查。
但论文给出了一个尴尬的数据：
> 在五个细粒度感知基准上，六款模型的视觉工具使用相比直接推理，平均准确率提升只有 0 到几个百分点，而 token 消耗却高出数倍。更荒唐的是，有些问题直接推理能答对，开了工具反而答错了。
这就是论文标题里”Illusion”（幻觉）的来源：准确率数字看起来在涨，但涨的部分到底是不是工具带来的？
因果审计：不是问”准不准”，而是问”工具到底有没有用”
传统的评测方式是：开工具跑一遍，关工具跑一遍，比准确率。论文管这叫 policy-level intervention（策略层干预）。但这个层面只能告诉你”总体有没有差异”，不能告诉你”差异是不是工具的视觉信息造成的”。
论文的核心创新是设计了一个 三层因果审计框架，一层比一层精细。
第一层：策略层——开不开工具有区别吗？
最粗的一层。对同一张图、同一个问题，分别用”开工具”和”不开工具”两种策略跑，看准确率差异（他们叫 ATE_policy，Average Treatment Effect）。
结果：六款模型在 V* 基准上的 ATE 分别是 DeepEyes 0.0、Pixel Reasoner +3.6、Qwen3-VL-4B +4.4、Qwen3-VL-8B +6.9、Mini-o3 +5.5。看起来确实有正向收益，尤其 Mini-o3 和 Qwen3-VL-8B 涨了五六个百分点。
但这个数字会骗人。
第二层：轨迹层——把观察结果换成噪音会怎样？
这一层的设计很巧妙。模型照常调用工具，但工具返回的裁剪图被替换成 被污染的观察（corrupted observation）——可能是高斯噪音、可能是空白图、可能是无关区域的裁剪。
如果模型真的在”看”这些裁剪图，把它们换成噪音后准确率应该暴跌。如果准确率没变，说明模型根本没在用这些观察结果。
这就是 Visual Evidence Gain（VEG，视觉证据增益） 的雏形：通过对比”真实观察”和”被污染观察”下答案的差异，来量化每一次工具调用到底贡献了多少视觉信息。
第三层：步级——每一次调用到底贡献了多少？
最精细的一层。在模型推理的某一步 i，保持之前所有推理和观察不变，只把第 i 次工具调用的返回结果替换成反事实观察（counterfactual observation），看答案概率分布怎么变。
这个叫 Visual Evidence Gain（VEG），灵感来自 Pearl 的自然间接效应（Natural Indirect Effect）。VEG > 0 说明这次调用真的带来了视觉证据；VEG ≈ 0 说明这次调用是空转。
两种失败模式：Calling Without Looking 和 Looking Without Planning
三层审计下来，论文发现了两种系统性的失败模式，名字起得极精准。
Mode 1：Calling Without Looking（CWL，调了不看）
模型发起了 crop-and-zoom 调用，工具返回了裁剪图，但这个裁剪图对最终答案 没有任何因果影响。VEG ≈ 0。
怎么验证的？论文用了轨迹层干预——把所有工具返回的观察全部换成噪音。如果模型真的依赖这些观察，准确率应该崩。结果某些模型几乎没变。
这就是开头那个望远镜比喻的现实版：模型举起了望远镜，在推理链里写下了”我看到了 XXX”，但望远镜里是不是真的有东西，对答案毫无影响。
Mode 2：Looking Without Planning（LWP，看了不规划）
模型确实在用工具返回的视觉信息（VEG > 0），但调用策略一塌糊涂。典型表现：
– 答案已经对了还在调：第一次调用后答案概率已经到 0.95 以上，模型还是继续调用了四五次，后面全是空转。 – 反复裁剪同一区域：对着同一个无关区域 zoom 了三四次。 – 预算耗尽：工具调用次数打到上限，推理被截断。
模型”看到了”证据，但不知道什么时候该停。
四组分解：收益全靠”校准少数派”扛着
论文把每条推理轨迹分成四组：
| 组别 | 含义 |
|---|---|
| No-call | 压根没调工具 |
| Mode 1 (CWL) | 调了但没看 |
| Calibrated | 调了、看了、停得也对 |
| Mode 2 (LWP) | 看了但不会规划 |
V* 基准上的分组分布（Table 4）让人倒吸一口凉气：
| 模型 | No-call | Mode 1 | Calibrated | Mode 2 |
|---|---|---|---|---|
| DeepEyes | 19.4% | 72.8% | 7.9% | 0.0% |
| Qwen3-VL-4B | 13.1% | 58.6% | 24.1% | 4.2% |
| Qwen3-VL-8B | 5.2% | 70.7% | 20.9% | 3.1% |
| Mini-o3 | 10.5% | 34.6% | 45.0% | 9.9% |
DeepEyes 有 72.8% 的轨迹是”调了不看”——它举起望远镜的次数最多，但镜片是不透明的。Mini-o3 是表现最好的，也只有 45% 的轨迹真正做到了”校准使用”。
再看 ATE 分解（Table 5），策略层准确率提升到底从哪来：
| 模型 | No-call | Mode 1 | Calibrated | Mode 2 | 总 ATE |
|---|---|---|---|---|---|
| DeepEyes | 0.0 | -0.5 | +0.5 | 0.0 | 0.0 |
| Qwen3-VL-4B | -0.2 | +2.0 | +3.5 | -0.9 | +4.4 |
| Qwen3-VL-8B | -0.5 | -0.2 | +7.6 | -0.1 | +6.9 |
| Mini-o3 | -0.3 | +1.9 | +3.3 | +0.6 | +5.5 |
Calibrated 是唯一在所有模型上都为正的列。 策略层看到的”+5.5 pp”或”+6.9 pp”提升，绝大部分来自那 20-45% 的校准轨迹。剩下过半的轨迹要么在空转，要么在乱调，要么在拖后腿。
这就是论文最核心的发现——
> “Having a tool does not necessarily mean it is used properly.” > （有工具不等于用好了工具。）
“模型会调视觉工具吗？”和”模型真的在用图像思考吗？”是两个完全不同的问题。当前模型满足前者远比满足后者频繁。
RL-trap 假说：为什么所有模型都掉进同一个坑
论文提出了一个假说来解释为什么六款架构、数据、工具接口都不同的模型会表现出相同的失败模式：outcome-only RL（只看结果的强化学习）。
当前视觉工具使用模型的训练流程通常是：让模型在工具增强的轨迹上做 RL，奖励信号只看最终答案对不对。这个目标会同时制造两种失败：
1. Mode 1 的根源：奖励”调用了工具”这个行为本身，强化了 T→Y（工具调用→答案）的捷径。模型学会了”调工具”这个动作和”答对”之间的统计关联，但没学会真正从观察中提取信息。
2. Mode 2 的根源：对正确轨迹上的冗余或有害中间步骤没有任何惩罚。一条校准轨迹和一条 Mode 1 轨迹，只要最终答案都对，拿到的奖励一模一样。
3. Calibrated 和 Mode 1 的奖励混淆：一条真正用了视觉证据的轨迹和一条完全没看观察结果的轨迹，只要答案对，奖励相同。模型没有动力去区分两者。
这和步子哥之前关注的 Regression Tax（技能库让 Agent 变差）有结构同构性：都是”只看结果”的奖励信号让模型学会了钻空子，而不是学会真正有用的行为。也和 Looping Is Not Reliability（正确性不是吸收态）同源——曾经正确不等于当前正确，曾经调用了工具不等于真的在用工具。
论文把这个叫 RL-trap：outcome-only RL 是一个陷阱，它让模型在 benchmark 上涨分，但涨的那部分和工具的因果有效性无关。
工程价值：怎么用这个诊断
论文不止于诊断，还给出了三个实操方向：
1. 训练时：用 process-aware reward（过程感知奖励）替代 outcome-only reward。对 Mode 1 轨迹降低奖励，对 Calibrated 轨迹提高奖励，让模型学会区分”调了”和”用了”。
2. 推理时：对 Mode 1 轨迹直接 bypass 工具使用（反正没用），省 token。论文实验显示这能在不损失准确率的前提下显著降低成本。
3. 评估时：不要只报 policy-level ATE。用 VEG 和四组分解作为标准评估指标，让”幻觉”无处藏身。
诊断器本身是确定性的，不需要训练分类器，不需要结果标签来拟合决策边界。五个特征（调用次数 n、首调前概率差 g₀、峰值 VEG V^max、是否打满预算 HitMax、是否过饱和仍调 POER），两个阈值（τ_sat=0.95, ε=0.01），就能把每条轨迹归入四组之一。
我的思考：评测盲区定律的又一个例证
这篇论文让我再次看到 “评测盲区定律” 的威力：你测什么，模型就优化什么；你不测的，就是问题藏身的地方。
Policy-level ATE 是一个”测了但不够”的指标——它测了”开工具和关工具的差异”，但没测”差异是不是工具的视觉信息造成的”。模型在 outcome-only RL 下学会的恰恰是”让 ATE 看起来正”的行为，而不是”让视觉工具真正有效”的行为。
这和之前几篇论文的洞察形成了一条清晰的线：
– Epanorthosis：LLM 系统性复现两千年前的修辞手法”自我纠正”，根因是 RLHF 奖励自信强调 – Token Budget：96.5% 的 CoT 推理 token 是”注定被丢弃”的，命运在 layer-20 就编码好了 – QuantiBias：量化在标准安全检查的盲区里引入 24-27% 的偏见 – Möbius RoPE：反周期位置编码在标准评测上看不出异常，但种子彩票方差 30.8 倍 – TriviaRoomQA：模型在知识边界内还行，出边界直接掉随机，但平均分掩盖了悬崖
加上这篇 CauAudit，六篇论文共同指向一个主题：单一聚合指标（loss、MMLU、accuracy、ATE）会掩盖关键失败模式。 你需要因果层面的、轨迹层面的、分组层面的诊断，才能看见模型真实的行为画像。
而”换层面解决问题”的概念谱系也多了一个成员：CauAudit 不是在模型层面或数据层面解决问题，而是在 评估层面 换了一个视角——从”比准确率”换成”查因果链”。和 Euclid-MCP 的”推理外包”、Regression Tax 的”配对评测”一样，都是承认模型在某些维度上不可靠，绕过去，用更精细的工具去看清。
结尾：侦探需要的不只是望远镜
回到开头的比喻。侦探举起望远镜的次数不等于他通过望远镜看到了线索的次数。当前的多模态模型，大多数还在”举望远镜”的阶段——动作有了，表演有了，但镜片和眼睛之间的连接还没建立。
论文的代码已经开源在 GitHub 上，诊断器是即插即用的。如果你在做视觉工具使用相关的工作，不管是训练还是评测，都应该跑一遍四组分解——看看你的模型是真的在”用图像思考”，还是只是”在调图像工具”。
毕竟，有工具不等于用得好。这个道理不只适用于模型，也适用于人。
—
论文：arXiv:2608.06270 — The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images 作者：Zhiheng Wang, Bo Peng, Lai Wei, Chaochao Lu（上海 AI Lab / 上海交大 / 上海创新研究院） 代码：https://github.com/OpenCausaLab/CauAudit 论文链接：https://arxiv.org/abs/2608.06270