你问一个 LLM：”法国现任国王是谁？”
它自信地回答：”路易十九。”
错了。但不是那种”答错了”的错——是那种”这个问题根本不该答”的错。法国没有国王了。问题本身建立在一个假前提上。
现在你问另一个问题：”2+2 等于几？”
它回答：”5。”
这也是错了。但这次是”答错了”的错——问题本身是合理的，只是答案不对。
这两种错误看起来都是”模型给了个错误回答”，但它们的性质完全不同。一种是答案错了，一种是问题错了。伦敦城市大学的 Benedikt Wagner 在 2026 年 7 月的论文《Two Axes of LLM Abstention》中证明：这两种错误是正交的两个轴，而现有的拒答机制把它们混为一谈。
—
一根尺子量两个东西
当前主流的”选择性回答”（selective answering）做法很简单：设一个置信度阈值，低于阈值就拒答。好像一根温度计——温度高了就报警。
但 Wagner 发现，这根”温度计”量的是两个不同的东西：
– 答案正确性（answer correctness）：这个问题我能答对吗？ – 问题可答性（question answerability）：这个问题本身该不该答？
论文定义了三类问题： – C（correct-answerable）：可答且答对了 – W（wrong-answerable）：可答但答错了 – U（unanswerable）：不可答（假前提、无解等）
理想情况下，模型应该对 W 和 U 都拒答。但 Wagner 在 5 个指令微调模型（2B-14B，来自 3 个模型家族）上发现了一个令人不安的事实：
模型的输出置信度对”问题可答性”几乎是瞎的。
具体数字： – 输出置信度预测可答性：AUROC 0.54-0.67（几乎等于随机猜） – 隐藏状态线性探针预测可答性：AUROC 0.97-0.99 – 规模趋势：完全没有。14B 不比 2B 更能区分可答/不可答问题。
更诡异的是：即使你训练一个专门的方向来区分 C 和 W（答对 vs 答错），这个方向也几乎无法区分它们。也就是说，”答得对不对”和”问题该不该答”在模型的表示空间里是纠缠在一起的——你拉出一个方向想分开它们，结果发现它们根本不在同一条线上。
CREPE 数据集：真实用户问题的考验
你可能会想：也许这些”不可答”问题是人工构造的，模型没见过所以分不清。Wagner 用 CREPE 数据集打消了这个想法。
CREPE 里的问题都是真实用户提出的问题，其中一部分带有假前提。比如”那个以《纽约时报》畅销书榜第一名的小说《XXX》的作者是谁？”——如果这本小说根本没上过畅销书榜，这个问题就是不可答的。
在 CREPE 上： – 训练过的输出读出（output readout）：几乎等于随机猜 – 模型自评（P(IK)、P(True)、直接前提检查）：最好也只有 0.67 AUROC – 内部线性读出（hidden state probe）：0.69-0.77
0.67 是什么概念？你抛硬币都有 0.5。模型自己判断”这个问题该不该答”的能力，只比抛硬币好一点点。
57% 的误报率：好心办坏事
知道了模型分不清，那如果直接让模型”检查前提”会怎样？
Wagner 做了一个实验：在回答前先让模型检查问题有没有假前提。结果：
模型对 57% 的合理问题也提出了质疑。
它分不清哪些问题有假前提、哪些没有，所以干脆对所有问题都怀疑。就像一个过度敏感的烟雾报警器——做饭和着火都报警，最后你只能把它拆了。
但 Wagner 发现了一个修复方案：用隐藏状态的线性探针来路由。先让探针判断”这个问题可答吗”，只有探针说”不可答”时才触发前提检查。这样做的结果：
挑战精度（challenge precision）提高了 3 倍。
也就是说，隐藏状态里其实有”问题可答性”的信息（AUROC 0.97-0.99），但模型自己不会用——你得从外面接一个探针进去读。
双预算认证：把拒答变成工程问题
论文最精彩的部分是把拒答形式化为”三类选择性接受”（three-class selective acceptance），并给两个独立的预算：
– α_U = 0.15：不可答问题被错误回答的比例不超过 15% – α_W = 0.50：可答问题被答错的比例不超过 50% – δ = 0.10：置信度 90% 的统计保证
用精确的二项分布界（binomial bounds）来认证，在一个与训练/调阈值独立的测试集上验证。
这个框架的妙处在于：它承认两种错误有不同的代价，应该分别控制。就像工厂的质量控制——你不会把”产品功能失效”和”发错货”混在一个不良率里，因为它们的成因和修复方式完全不同。
规模的不对称
认证结果暴露了一个”规模依赖的不对称”：
– 不可答预算：5 个模型中有 4 个通过了认证 – 错误答案预算：受限于模型本身的准确率
在 8B 模型上，因子化的双阈值策略同时通过了两个预算。但在更小的模型上，错误答案预算卡在模型能力上限——你没法通过更好的拒答策略来弥补模型本身不够强。
这给了一个实际的启示：小模型的 abstention 上限是模型能力，大模型的 abstention 上限是检测能力。规模到了一定程度，瓶颈从”答得对不对”转移到”知不知道该不该答”。
这篇论文的深层贡献
这篇论文做了一件少见的事：它指出一个被广泛使用的框架（单阈值置信度拒答）在概念上就是错的，不是调参能修的。
不是”阈值不够好”，是”用一根尺子量两个正交的东西”这个思路本身有问题。
这让我想起 Co-Failure Ceiling 那篇论文的思路——不是”组合策略不够好”，是”用 ρ 来衡量多样性”这个指标本身是错的。两篇论文都在说同一件事：在概念层面找错了维度，工程优化再精细也救不了。
Wagner 的因子化框架把”拒答”从一个模糊的”什么时候不说话”问题，变成了两个清晰的工程问题：怎么控制不可答问题的误答率，怎么控制可答问题的错误率。前者靠检测（隐藏状态探针），后者靠能力（模型本身）。两件事可以独立优化、独立认证。
这比”调一个置信度阈值”无聊得多，但它对应了模型真实的失败结构。好的工程往往就是这样——先把概念分对，再谈优化。
—
论文：Two Axes of LLM Abstention: Answer Correctness and Question Answerability 作者：Benedikt J. Wagner（City St George’s, University of London） 日期：2026 年 7 月 9 日
#LLM #Abstention #MeasurementValidity #AI安全 #模型对齐