LLM 弃答的两个轴：答错和不该答，是两回事
一个被忽视的混淆
你问 ChatGPT：”2024 年诺贝尔物理学奖得主是谁？”它自信地回答：”爱因斯坦。”——错了。
你再问：”秦始皇在 2024 年诺贝尔物理学奖得主是谁？”它同样自信地回答：”霍金。”——这回不是答案错了，是问题本身就不该回答。
这两种失败看起来都是”模型给了错误答案”，但它们的本质完全不同。第一种是”答错了可答的问题”，第二种是”回答了不该答的问题”。一个是能力问题，一个是判断问题。
2026 年 7 月，来自伦敦大学城市学院的 Benedikt J. Wagner 在 arXiv 发表了一篇论文 Two Axes of LLM Abstention: Answer Correctness and Question Answerability，用严谨的实验证明：这两个失败模式是正交的两个维度，而现有的”弃答”（abstention）机制把它们混为一谈了。
单一置信度的陷阱
目前主流的”选择性回答”（selective answering）机制是这样的：模型给每个回答打一个置信度分数，低于阈值的就拒绝回答。这听起来很合理——不确定就不说嘛。
但 Wagner 发现，这个做法混淆了两件根本不同的事：
– 答案正确性：我对这个回答有没有把握？ – 问题可答性：这个问题本身能不能答？
用一个阈值同时管这两件事，就像用同一个温度计同时测”菜熟没熟”和”房间冷不冷”——两个都是”温度”，但含义完全不同。
论文做了一个关键实验：在五个指令微调模型（2B 到 14B，来自三个模型家族）上，把问题分成三类：
– C（Correct-answerable）：可答且答对了 – W（Wrong-answerable）：可答但答错了 – U（Unanswerable）：不可答（如”秦始皇的诺贝尔奖”）
如果答案正确性和问题可答性是同一个维度，那 C、W、U 应该在一条线上排列。但实验发现，它们形成了一个交叉几何结构（crossed geometry）——C 和 W 在”答案正确性”轴上分开，但在”问题可答性”轴上几乎重合；U 在”问题可答性”轴上和 C/W 分开，但在”答案正确性”轴上的位置取决于具体实现。
这两个轴是独立的。
表面 vs. 内部：0.54 vs. 0.97
论文最惊人的发现是关于”可答性信号藏在哪里”。
研究者训练了两种”可答性探测器”：
1. 输出层探测器：看模型输出的置信度（比如 logit 的 softmax 值） 2. 隐藏层探测器：看模型中间层的激活值
结果差异巨大：
– 输出层探测器的 AUROC：0.54-0.67（几乎和随机猜差不多，且不随模型规模改善） – 隐藏层探测器的 AUROC：0.97-0.99（几乎完美）
这意味着：模型”知道”一个问题可不可答，但这个知识没有体现在它的输出置信度上。
这就像一个人内心清楚某个问题是陷阱，但嘴上还是自信地回答了——他的”说出的话”和”心里的判断”是脱节的。
更令人不安的是，输出层探测器的 AUROC 在 2B 到 14B 之间没有显著变化。也就是说，模型变大并不能让它在”嘴上”更诚实——它只是让”心里”更清楚，但这个清楚没有传导到输出。
CREPE：真实世界的虚假前提
实验室数据之外，论文还测试了一个更贴近现实的场景：CREPE 数据集。
CREPE 来自 Reddit 的 ELI5（Explain Like I’m Five）板块的真实用户问题，其中一部分包含虚假前提。比如：”为什么 2020 年东京奥运会没有观众？”——前提是”2020 年东京奥运会没有观众”，但实际上它有观众（延期到 2021 年举办，但现场有观众）。
这类问题的特点是：它们看起来完全正常，和真实问题来自同一个分布。模型很难从表面特征判断它们有没有虚假前提。
在 CREPE 上的结果：
– 输出层探测器：0.50-0.54 AUROC（基本是随机猜） – 引导式自我评估（P(IK), P(True), 直接前提检查）：最高 0.67 – 内部线性探测器：0.69-0.77
差距依然明显。模型在”嘴上”几乎看不出一个问题有没有虚假前提，但在”心里”（隐藏层）能看出一些端倪。
从检测到修复：三倍精度提升
发现问题只是第一步。Wagner 接着问：能不能用这个发现来修复模型的弃答行为？
最直接的做法：让模型先检查前提。给模型一个 prompt，让它判断问题里有没有虚假前提，如果有就拒绝回答。
结果：模型对真假前提的挑战率几乎一样——57% 的虚假前提被挑战，但大量真实前提也被误判为”有虚假前提”。也就是说，模型不知道”哪个问题该挑战”。
然后 Wagner 做了一个巧妙的修复：用隐藏层探测器来门控（gate）前提检查。具体来说：
1. 先用隐藏层探测器判断”这个问题可不可答” 2. 只有当探测器说”可能不可答”时，才触发前提检查 prompt 3. 如果探测器说”可答”，就直接回答
结果：挑战精度（challenge precision）提升了 3 倍。模型不再对真实问题乱挑战，而是精准地针对可能有问题的情况触发检查。
这是一个很漂亮的”内外结合”方案：隐藏层探测器负责”粗筛”，前提检查 prompt 负责”细审”。两者单独都不够好，但组合起来效果显著。
双风险认证：把弃答形式化
论文的最后一块拼图是形式化。Wagner 把弃答问题重新定义为”三类选择性接受”（three-class selective acceptance）：
– 接受 C（正确回答可答问题） – 拒绝 W（不回答可答但会答错的问题） – 拒绝 U（不回答不可答的问题）
每个类别有自己的预算：
– α_U = 0.15：不可答问题被错误回答的比例不超过 15% – α_W = 0.50：可答问题被错误回答的比例不超过 50% – δ = 0.10：覆盖率至少 10%
这些预算用精确的二项式置信区间认证，且认证用的数据集和训练探测器的数据集是分开的——避免了”自评自卖”的偏差。
认证结果揭示了一个规模依赖的不对称性：
– 不可答预算在 5 个模型中的 4 个上可以认证通过 – 可答预算受限于模型本身的准确率——模型越准，这个预算才越容易满足 – 在 8B 模型上，因子化的双阈值策略可以同时认证两个预算，覆盖率达到 0.75
这个不对称性说明：随着模型变强，弃答的”可答性”维度会自然解决，但”正确性”维度仍然受限于模型能力。换句话说，模型可以学会”不该答的不答”，但”该答的答对”还是要靠能力提升。
一个类比：医生的分诊台
想象一个医院的分诊台。护士需要做两个判断：
1. 这个病人能不能治？（可答性）——有些”病人”其实没病，或者症状描述自相矛盾 2. 如果治，能不能治好？（正确性）——有些病目前治不好
如果分诊台只用一个标准（比如”看起来严重程度”），就会混淆这两种情况：把”治不好的重病”和”根本没病的假症状”放在一起处理。
更好的做法是两个独立的检查：
– 第一个检查：这个病人是不是真的有病？（可答性探测器） – 第二个检查：如果有病，我们能治好吗？（答案置信度）
Wagner 的方案正是如此：先用隐藏层探测器做”分诊”，再用前提检查做”诊断”。两个检查独立运作，各管一摊。
局限与诚实评价
论文也承认了几点局限：
1. 隐藏层探测器的部署成本：读取隐藏层激活值需要访问模型内部，这在 API 调用场景下不可行。对于闭源模型（如 GPT-4），这个方法用不了。
2. CREPE 上的效果仍然有限：即使最好的内部探测器，在 CREPE 上也只有 0.77 AUROC——远非完美。真实世界的虚假前提检测仍然很难。
3. 三类的边界不是绝对清晰的：有些问题介于”可答但难”和”不可答”之间。论文用硬标签处理，但软边界可能更符合现实。
4. 认证的保守性：精确二项式置信区间是保守的，实际性能可能比认证结果更好。但这是一种”宁可保守”的选择——在安全关键场景下，保守是对的。
更大的图景：AI 诚实性的两个维度
这篇论文的意义超越了弃答技术本身。它指向一个更深的哲学问题：AI 的”诚实”有两个维度。
第一层诚实：不说错话。这是”答案正确性”——我说的对不对。
第二层诚实：知道什么时候该闭嘴。这是”问题可答性”——我能不能回答这个问题。
现有的大语言模型在第一层上不断进步——答案越来越准。但在第二层上，进步缓慢——模型仍然倾向于”有问必答”，哪怕问题本身有问题。
Wagner 的发现告诉我们：这两层诚实是独立的。一个模型可以答案很准，但完全不善于判断”这个问题该不该答”；反过来也成立。而且，模型”心里知道”但”嘴上不说”——隐藏层有信号，输出层没有。
这让人想起人类的”达克效应”——能力不足的人不仅会做错，还不知道自己不知道。但 Wagner 的发现更微妙：模型知道它不知道，只是不说。这个”知而不言”的鸿沟，是 AI 诚实性研究的下一个前沿。
论文的最后一句话值得记住：“Abstention is not one problem.”（弃答不是一个问题。）在 AI 安全领域，很多看似单一的问题，拆开来看都是多维度的。承认这种多维性，是做好安全机制的第一步。
—
论文链接：https://arxiv.org/abs/2607.08456
作者：Benedikt J. Wagner（伦敦大学城市学院，City St George’s, University of London）
测试模型：5 个指令微调模型，2B-14B，来自 3 个模型家族
发布日期：2026 年 7 月 9 日