鲁棒性的幻觉：整体准确率没变，不代表每个问题都稳了
你正在用GPT-5.5做一道多选题。题目很清楚，答案也很明确，模型答对了。
现在你在题目前面加上一段1万个字符的”乱码”——纯粹是随机字符拼凑的伪词，和题目毫无关系。再问一遍。
模型还是答对了。你松了口气：不错，模型对无关上下文是鲁棒的。
但如果你把每个问题都这样测一遍，然后逐题对比呢？
整体准确率几乎没变——但具体到每一道题，有相当一部分答案翻了。 原本对的变错了，原本错的变对了。两边的数量大致抵消，所以在汇总数字上看起来风平浪静。
这就是2026年7月Georgia Tech和Stanford联合发表的研究《The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context》揭示的现象。作者把它叫做”鲁棒性的幻觉”。
一、实验设计：简单到只有三步
1. 选4个benchmark：MMLU-Pro、GPQA-Diamond、Humanity’s Last Exam、SimpleQA Verified 2. 每个benchmark随机抽500道题 3. 在题目前面加上1万个token的”伪词上下文”（用随机字符拼出来的无意义词），再问一遍
伪词的构造方式：随机组合字符，形成像”qxlwbrt”、”zkpmnf”这样的”词”。它们没有任何语义，但符合英语的token化模式。
测试的模型包括：gpt-5.5、gpt-5.4、gpt-4.1、DeepSeek-V4-Pro、Grok-4.20-NR、Mistral-Large-3、gpt-oss-120b、gemini-3.1-fl。
二、整体看：几乎没变化
先看汇总数字。加上伪词上下文后，准确率变化幅度：
– gpt-5.5：±0.9% – gpt-5.4：±2.1% – 其他模型：大多在±2%以内
这个级别的波动和采样噪声差不多。如果只看整体准确率，结论就是”模型对无关上下文很鲁棒”。
这也是大多数现有评估的结论。
三、逐题看：翻车了
但作者没有止步于汇总数字。他们做了逐题对比：同一道题，加上下文前 vs 不加，答案变没变？
结果令人震惊：
即使上下文是完全无意义的伪词，也有相当比例的题目答案发生了翻转。 有些原本答对的变错了，有些原本答错的变对了。两个方向的翻转同时存在，数量大致相当，所以在汇总层面互相抵消。
作者定义了两个指标来量化这种现象：
– INS（Instability，不稳定性）：答案发生翻转的题目比例 – WTD（Word-Token Distance，词元距离）：答案变化的幅度
INS告诉你”多少题翻了”，WTD告诉你”翻得有多远”。
关键发现：INS在所有模型和所有benchmark上都不为零。即使是最强的gpt-5.5，面对纯随机伪词，也有一小部分题目的答案发生了变化。
四、为什么”乱码”也能影响答案？
这是最反直觉的部分。伪词没有任何语义，模型为什么会因为前面加了一段乱码就改变答案？
作者没有给出确定答案，但讨论了几个可能机制：
1. 注意力分布的偏移。 Transformer的注意力机制会对所有输入token分配权重。即使伪词没有语义，它们占据了注意力预算，导致模型对问题本身的注意力减少。就像你在考试时旁边有人不停翻纸——声音没有意义，但分散了你的注意力。
2. 位置编码的影响。 加上上下文后，问题本身的位置编码发生了变化。模型对”第100个位置的词”和”第10100个位置的词”可能有不同的处理方式，即使内容完全相同。
3. 归一化效应。 长上下文会改变softmax的分布。即使每个伪词的注意力权重很小，几万个小权重累加起来，也足以改变最终logit的相对大小。
4. 训练分布的不匹配。 模型在训练时见到的输入大多是”有意义的长上下文”。纯随机伪词是一种分布外输入，模型的行为可能不稳定。
五、更关键的发现：翻转是双向的
这是整篇论文最重要的洞察之一。
答案翻转不是单向的——不是”加了上下文就变差”。它是双向的：
– 有些题原本答对，加了上下文后答错了（退化） – 有些题原本答错，加了上下文后答对了（改善）
这两类数量大致相当，所以整体准确率几乎不变。
为什么会”改善”？一种解释是：对于某些难题，额外的上下文（即使是乱码）改变了模型的推理路径，恰好绕过了原本的错误模式。就像一个人卡在某个思路上，被打断一下反而能换条路想。
但这不是好事。因为这种”改善”是随机的、不可控的、不可解释的。你不知道哪些题会改善、哪些会退化。在关键应用中，你不能依赖”也许乱码会帮上忙”。
六、翻转是模型特异的
作者还发现：不同模型翻转的题目几乎不重叠。
gpt-5.5翻转的题，gpt-5.4不一定翻转；Claude翻转的题，GPT不一定翻转。这意味着不稳定性不是题目本身的属性，而是模型特有的脆弱点。
这带来一个实际启示：多模型集成（ensemble）可以显著降低这种不稳定性。 如果多个模型独立翻转，多数投票可以抵消大部分错误。但前提是模型之间足够独立——考虑到前面One-Word Census揭示的模型收敛趋势，这个前提越来越难满足。
七、什么因素会调节不稳定性？
作者系统地测试了几个变量：
1. 上下文类型：伪词 < 真实但无关的文本 < 半相关文本。越"像有意义文本"的上下文，引起的翻转越多。
2. 上下文长度：从1k到10k token，越长翻转越多。但不是线性增长，在某个长度后趋于饱和。
3. 测试时计算（test-time compute）：开启推理模式（reasoning）的模型，不稳定性显著降低。推理token给了模型”重新审视”的机会，部分抵消了上下文的干扰。
4. 模型发展阶段：越新的模型整体越稳定，但并非免疫。gpt-5.5的INS比gpt-4.1低，但仍然不为零。
八、为什么这很重要？
这篇论文的警示意义在于三个方面：
1. 评估方法的盲区。 现有benchmark几乎都看汇总准确率。如果汇总数字没变，就认为模型”鲁棒”。但这种判断会漏掉逐题层面的剧烈不稳定。一个在整体上看起来99%准确的模型，可能在1%的题目上有不可预测的翻转——而这1%可能恰恰是最关键的应用场景。
2. 部署中的尾部风险。 在真实场景中，模型几乎总是面对长上下文——代码库、对话历史、检索结果。如果每一长上下文都有小概率引起答案翻转，那么在数千次调用中，翻转几乎必然发生。而且你不知道会发生在哪一次。
3. Agent系统的级联效应。 Agent是多步推理的。每一步的小概率翻转，在多步累积后会指数放大。一步错了，后续全错。这就是为什么Agent系统比单次问答更脆弱——每一步的”小幻觉”会累积成”大灾难”。
九、作者的建议：逐题评估
作者呼吁社区采用逐题稳定性评估作为标准评估流程的一部分。具体来说：
– 对同一道题，在多种上下文条件下多次测试 – 报告答案翻转率（INS），而不只是平均准确率 – 关注翻转的分布，而不只是均值
他们开源了代码和数据（https://github.com/SALT-NLP/illusion-of-robustness），希望其他研究者能在此基础上扩展。
十、一个更深的思考
这篇论文让我想到统计学里的辛普森悖论：整体趋势和分组趋势可能完全相反。在这里也是——整体准确率稳定，掩盖了逐题层面的剧烈波动。
这种现象在AI安全研究中有更深的含义。我们越来越依赖汇总指标来评估模型能力，但汇总指标天然会掩盖分布的细节。一个”平均表现优秀”的模型，可能在特定输入上有致命的弱点——而这种弱点只有在逐题分析时才会暴露。
鲁棒性不是一个数字，而是一个分布。 只看数字，你会产生幻觉。
—
论文链接：https://arxiv.org/abs/2607.12963 HTML全文：https://arxiv.org/html/2607.12963 代码与数据：https://github.com/SALT-NLP/illusion-of-robustness