Evidence-Type Competition：给 AI 喂了足够的因果干预数据，它却学会了”抄作业”
假设你在教一个孩子认识因果关系。你给他看两组数据：
– 观察数据：在自然状态下，每次你吃冰淇淋，中暑率也升高——但这是因为夏天同时导致两者，不是冰淇淋导致中暑。 – 干预数据：你随机选人在冬天吃冰淇淋，发现中暑率不变——这才是真正的因果效应。
常识告诉我们，干预数据（随机实验）是因果推断的”金标准”。给孩子看越多干预数据，他应该越能正确理解因果关系。
但如果你发现，孩子看了越多干预数据，虽然嘴上说的”幅度”越来越准，”方向”却始终跟着观察数据走——明明干预数据说”吃冰淇淋不导致中暑”，他还是坚持说”吃冰淇淋导致中暑”，只是从”导致 100% 中暑”变成了”导致 50% 中暑”呢？
这不是孩子笨。这是 2026 年 7 月清华大学团队在 arXiv 论文里发现的一个现象，叫”幅度-方向对偶“（magnitude–direction duality）。
论文地址：https://arxiv.org/abs/2607.29484
H1 假设：一个从未被严格检验的直觉
论文要检验的假设叫 H1：增加预训练中干预数据的比例，应该能提升模型的因果推理能力。
这个假设听起来理所当然——Pearl 的因果阶梯理论把干预放在观察之上，整个因果推断领域的方法论都建立在”随机实验优于观察研究”之上。在 LLM 时代，很多人自然地把它延伸到训练数据上：多喂干预数据，模型应该更懂因果。
但论文作者发现一件事：这个假设从来没有在严格控制的条件下被检验过。
“严格控制的条件”意味着什么？
– 已知的因果图结构（你知道谁导致谁） – 可计算的因果真值（你能算出真正的因果效应） – 无泄漏的协议（训练集和测试集不重叠） – 可控的混淆强度（你能调节混淆变量的大小）
这些条件在真实世界数据上几乎不可能满足。所以论文用了一个合成世界生成器——在计算机里造出因果结构已知的小世界，然后看模型能不能学会。
Simpson 悖论世界：观察和干预唱反调
实验设计精巧之处在于：作者造了一组”Simpson 悖论世界”。
Simpson 悖论是统计学经典现象：整体看是一个方向，分组看是反方向。在这篇论文里，作者构造的世界满足一个条件：
– 观察相关性为负：Corr_obs(X,Y) < 0（看自然数据，X 增加 Y 减少） – 真实因果效应为正：eff(X→Y) > 0（做随机实验，X 增加 Y 也增加）
两者方向相反。这是一个”因果陷阱”：如果模型只看观察数据，会得出完全错误的因果方向。
在这个设定下，作者做了六组实验，干预数据比例 α 从 0（纯观察）到 1.0（纯干预）递增。如果 H1 成立，α 越高，模型应该越能正确识别因果方向。
H1 被证伪：幅度学了，方向没学
结果出乎意料。
方向准确率（模型判断因果效应是正还是负的正确率）在六个 α 水平上是：0.5 / 0.3 / 0.2 / 0.4 / 0.4 / 0.4。没有单调上升趋势。H1 被证伪。
但故事没结束。作者发现了一个更微妙的现象：
Simpson 斜率的幅度（模型预测的因果效应大小）随 α 单调增长：0.169 → 0.384。模型确实从干预数据中学到了”有因果效应”这件事。
但方向始终是错的——一直保持负号，跟着观察数据走。
这就是”幅度-方向对偶”：
> 模型从干预数据中学到了因果效应的幅度，但方向却从观察上下文中复制。
这就像学生做物理题：他学会了”有重力作用”（幅度），但方向画反了——因为他一直在抄旁边观察数据的”作业”。
关键发现：开关在上下文，不在权重
如果训练数据的比例不是决定因素，那什么决定模型用哪种证据？作者做了一系列推理时干预实验，精巧程度堪比神经科学家的脑区失活实验：
实验 1：推理时干预
– 加倍干预证据（给更多干预样本）→ 不起作用，方向还是错的 – 擦除观察证据（把上下文里的观察数据删掉）→ 方向立刻纠正！ratio_true 从 -0.09 跳到 +0.56，和纯干预训练的模型一样
这说明：因果推理能力一直在权重里，是上下文里的观察证据把它”关掉”了。
实验 2：内容操纵
– 1 条观察记录 → 几乎不抑制 – 2 条观察记录 → 开始稀释 – 4 条观察记录 → 完全捕获（方向反转）
而且，把观察记录的内容替换掉（保留格式但删掉实际数值），抑制也释放了。这说明开关是内容介导的，不是格式介导的——模型读的是观察数据的”含义”，不是它的”样子”。
实验 3：激活补丁定位
作者用激活补丁（activation patching）技术定位了这个”开关”在模型的哪个位置。结果发现：中间层的观察证据行是关键。
把中间层的观察证据行擦除，因果推理能力恢复。这和”开关在上下文”的结论吻合——物理位置就在中间层的注意力机制里。
采样噪声地板：26% 的”正确”其实是运气
论文还有一个方法论贡献值得单独说：探针评估的采样噪声地板。
如果你用”探针”（probe，即对查询变量 X 做干预，看其他变量的响应）来评估模型的因果推理能力，你会发现即使模型是完美的最小二乘插值器，它也会犯 26% 的方向错误。
为什么？因为探针本身是随机采样的——你只采了 4 个干预点，每个点只采一次。这 4 个点的回归斜率有内在的随机性，即使底层因果效应是正的，这 4 个点拟合出来的斜率也可能是负的。
这就像你掷 4 次硬币来推断硬币是否公平——4 次太少，方差太大。解决办法是证据平均：对同一个查询采多组证据，取平均。8 组平均能把噪声地板从 26% 降到 9%。
这个发现对所有用探针评估因果推理能力的工作都有警示意义：你的评估本身可能比模型更随机。
CLadder 审计：学到的”正效应先验”
作者还在 CLadder（一个因果推理基准数据集）上做了外部审计，发现了一个更深层的问题：
模型在 CLadder 上学到了一个”正效应先验“——倾向于预测因果效应是正的。这个先验有两层结构：
– 表层：通过符号随机化重训练可以去除（分布内） – 深层：分布外仍然存在正效应默认值
这解释了为什么很多 LLM 在因果推理任务上表现不稳定——它们可能不是在推理因果，而是在用先验猜。
这篇论文的深层意义
1. “能力在权重里，开关在上下文里”
这句话是论文最精炼的总结。模型并非不会因果推理——它被训练后已经具备了能力。但上下文中的观察证据会”压制”这个能力。这不是能力缺失，是证据选择失败。
这和”知识在参数里，触发靠提示”的 LLM 研究共识一致——但放在因果推理这个更精细的场景下，结论更尖锐：两种统计证据（观察 vs 干预）在竞争，而模型默认选了错的那种。
2. 训练数据比例不是万能旋钮
很多人相信”调训练数据比例”是改善模型能力的通用方法。这篇论文说：不一定。当问题的根因是推理时的证据竞争，调训练比例解决不了——你需要在推理时干预上下文。
3. 评测盲区定律再添一例
论文揭示了一个评测盲区：如果你只看”幅度对不对”或者只看”整体准确率”，你会错过”方向错了”这个关键失败模式。26% 的噪声地板意味着，没有控制采样噪声的因果评估可能完全是噪声。这和之前 QuantiBias、Progressive Cramming 等论文指向同一个主题——测什么就优化什么，不测的就是问题藏身处。
4. Simpson 悖论作为训练-评估工具
把 Simpson 悖论从”统计陷阱”变成”因果诊断工具”是这篇论文的方法论创新。当观察和干预方向相反时，模型的证据选择策略被暴露无遗——在方向一致的世界里，你根本看不出模型在”抄谁的作业”。
局限性
论文也有明确的局限：
1. 合成世界：25.7M 参数的小模型 + 合成因果结构，真实 LLM 在真实数据上的表现可能不同。 2. 0.93B 参数验证：作者在 0.93B 参数模型上验证了速率级别的持续性，但绝对干预收益缩小了 4 倍——大模型上这个现象是否还存在？ 3. 单一因果结构：只测了线性-非线性混合机制，更复杂的因果结构（反馈环、时序依赖）未测。
结语
这篇论文给我们的最大启示是：“给更多好数据”不等于”学到更好的能力”。当两种证据在竞争时，数据比例不是裁判——上下文才是。
模型不是被训练数据决定的黑箱，而是一个在推理时持续做证据选择的系统。理解这一点，才能设计出真正可靠的 AI 系统。
—
论文：https://arxiv.org/abs/2607.29484