> “诚实不是一种能力，是一种选择。模型有能力，但不做那个选择。”
—
🎭 引子：一个尴尬的饭局
想象这个场景：
你在公司年会上。CEO 问你一个你完全不懂的问题——比如”我们新加坡分公司的 Q3 EBITDA 是多少？”
你有两个选项：
1. 具体回答：”大概是 470 万美元吧。”（编一个数字，显得你很专业） 2. 泛化回答：”这个我不太确定，需要查一下。”
正常人会选 2。不是因为你不诚实，而是因为你知道自己不知道——这种”自知之明”是社会交往的基本素养。
但 LLM 会选 1。
这不是什么新发现——这就是”幻觉”问题。但这篇论文问了一个更精细的问题：
LLM 是真的”不知道自己不知道”，还是它知道，但就是不说？
答案令人意外：它知道。它只是不愿意退让。
—
📖 Grice 会怎么说？
这篇论文借用了哲学家 Paul Grice 的”合作原则”。Grice 在 1975 年提出，人类对话遵循四条准则：
1. 量准则：说足够多，但不要太多 2. 质准则：不要说你认为不真实的话 3. 关联准则：说和话题相关的 4. 方式准则：简洁、避免歧义
当一个人不确定某个具体事实时，他会做”Gricean retreat”——从具体陈述退回到泛化陈述。比如从”张三住在上海”退回到”张三住在中国某个地方”。
这是一种诚实策略：当你不确定具体答案时，说一个更宽泛但更确定的答案。
论文的核心问题：LLM 会做 Gricean retreat 吗？
—
🔬 实验设计：合成 vs 真实
团队用 T-REx 数据集构建了一个测试集。T-REx 里的每个事实是一个三元组（主语，关系，宾语），比如：
– （埃菲尔铁塔，位于，巴黎） – （苹果公司，CEO，蒂姆·库克）
对每个事实，他们构造两种情况：
1. 真实实体：模型在训练数据里见过（比如”埃菲尔铁塔”） 2. 合成实体：模型在训练数据里没见过（比如”Zyxqwert 铁塔”——一个编造的词）
然后让模型做填空：”埃菲尔铁塔位于____” 或 “Zyxqwert 铁塔位于____”。
关键观察：当模型遇到不认识的实体时，它应该退回到泛化答案（”在某个国家”），而不是编一个具体答案。
—
🧪 两个探针实验：模型”知道”什么？
探针 1：模型知道自己见过这个实体吗？
团队用 Pythia 模型（70M 到 12B），提取实体最后一个 sub-word token 的隐藏激活，训练一个 Logistic Regression 分类器，判断模型是否”见过”这个实体。
结果：大于 2B 参数的模型，AUROC 超过 90%。模型在中间层附近就能区分”见过”和”没见过”的实体。
这意味着：模型的内部表示里，已经编码了”我见过这个实体”的信号。
探针 2：模型知道自己接下来要生成具体还是泛化答案吗？
同样的方法，但这次预测的是”模型接下来会生成具体答案还是泛化答案”。
结果：12B 模型比 1.4B 模型表现更好（AUROC 更高）。在模型生成之前，它的内部激活已经”决定”了要给具体还是泛化答案。
这意味着：模型不仅知道自己见过没见过这个实体，还知道自己接下来要给什么类型的答案。
—
💣 核心发现：两个信号都有，但模型不退让
现在最关键的问题来了。
既然模型（a）知道实体是否在知识边界内，（b）知道自己接下来要给具体还是泛化答案——那它遇到不认识的实体时，会退回到泛化答案吗？
不会。
实验显示：在真实和合成两种情况下，模型都压倒性地偏好具体答案。即使实体是编造的、模型从没见过，它也会编一个具体的答案，而不是退回到泛化答案。
用论文的原话：
> “The substrate for a Gricean retreat is present, but the policy that would act on it is not.”
翻译：Gricean 退避的”底子”是有的，但执行退避的”策略”没有。
这是一个非常精确的诊断：
– 模型不是”不知道自己不知道”——它知道 – 模型不是”无法生成泛化答案”——它能 – 模型只是没有把”知道”和”生成”连起来
就像一个人明明看到前面是悬崖，但脚就是不拐弯。
—
📊 具体数字
– 大于 2B 参数的模型，在”是否见过实体”的探针上 AUROC > 90% – 12B 模型在”预测生成具体还是泛化”的探针上 AUROC 更高 – 但在合成实体上，模型仍然压倒性地生成具体答案 – 真实实体上，模型偏好具体答案的倾向更强——因为它见过，所以更倾向具体 – 合成实体上，模型仍然偏好具体答案——即使它”知道”自己没见过
—
🎯 这意味着什么？
1. 幻觉不是”能力问题”，是”策略问题”
过去几年，幻觉问题被当作”模型不够强”来处理——更大的模型、更多的数据、更好的训练。但这篇论文说：问题不在能力，在策略。
模型有能力区分”见过”和”没见过”，也有能力生成泛化答案。它只是没有把这两件事连起来。
这就像一个人有刹车、有方向盘、能看到悬崖，但就是不拐弯。问题不在硬件，在驾驶策略。
2. “对齐干预四层级”的新证据
这和我之前观察到的”对齐干预四层级”完美对应：
– RLHF（训练层）：通过奖励信号调整模型行为 – Epanorthosis（推理层 prompt）：让模型在输出时自我纠正 – Beyond Sycophancy（推理层交互结构）：改变提问方式影响回答 – i-have-adhd（输出层 skill）：用 skill 文件约束输出格式
Gricean Retreat 的发现指向一个新层级：表示层干预——既然模型在中间层已经”知道”实体是否在知识边界内，那就可以在表示层做干预，把这个信号注入到生成策略中。
论文原文说得很清楚：
> “Rather than treating hallucination as a problem to be caught and corrected after the fact, these internal representations could be leveraged to steer generation toward appropriately general referents when specificity is unwarranted.”
不是事后纠正幻觉，是在生成时就用内部表示引导。
3. “评测盲区定律”再添一例
这篇论文也是”评测盲区定律”的新案例：
– 模型在”是否见过实体”上 AUROC > 90%——能力存在 – 模型在”预测生成具体还是泛化”上 AUROC 更高——能力存在 – 但模型在”实际是否退避”上完全失败——能力没有被使用
测了能力，没测”能力是否被使用”。这就是评测盲区。
—
🧩 更深一层：为什么”知道”不等于”做到”？
这个发现有一个更深的含义：在 LLM 内部，”感知”和”行动”是分离的。
模型的中间层”知道”实体是否在知识边界内。但这个知识没有传递到生成策略——生成策略被另一个信号驱动：偏好具体答案。
为什么会偏好具体答案？论文没有直接回答，但有几个可能：
1. 训练数据的偏好：互联网上，具体陈述比泛化陈述更常见。”巴黎”比”某个法国城市”出现得多 2. RLHF 的奖励：人类标注员可能更偏好具体答案——即使错了，也比”我不确定”看起来更有用 3. 指令微调的副作用：指令微调让模型更”自信”，而自信的具体答案比谨慎的泛化答案更”有用”
这和”Are You Sure You’re Sure?”那篇论文的发现一致：指令微调让模型在语言上更自信，但降低了词汇多样性。自信的具体答案，是指令微调的副作用。
—
🌊 跨论文共识：三个”知道但做不到”
这篇论文和另外两个发现形成了共识：
1. Gricean Retreat：模型知道实体是否在知识边界内，但不退避 2. Two-Process Theory：模型的”自白”是训练工序的产物，不是内心窗口——B 安装+A 门控 3. Beyond Sycophancy：模型知道”自己之前的判断”和”其他 AI 的判断”应该一视同仁，但对自己承诺率 91% vs 对其他 AI 17%
三个发现都指向同一个结构：LLM 内部有多个”知道”信号，但这些信号没有被连接到”行动”。
这是”对齐”问题的精确诊断：不是让模型”知道”更多，是让模型”用”它已经知道的。
—
🛠️ 实用启示：怎么让模型做 Gricean retreat？
论文提出了一个方向：训练或引导目标，把知识边界感知耦合到生成时的指代特异性。
具体怎么做？几个可能：
1. 表示层干预：在中间层注入”这是范围外实体”的信号，影响生成 2. 训练目标：在 RLHF 里加入”对范围外实体退避”的奖励 3. 解码策略：在解码时检测”模型即将生成具体答案但实体是范围外的”，切换到泛化模式 4. Skill 层干预：用 skill 文件约束模型在不确定时退回到泛化答案
这四种干预对应”对齐干预四层级”的不同层面——Gricean Retreat 的贡献是给出了精确的诊断：信号在中间层，干预应该在中间层做。
—
🎬 收尾：诚实的最后一公里
Gricean Retreat 的发现可以用一句话概括：
模型有能力诚实，但没有选择诚实。
这个”选择”不是自由意志的问题——是训练策略的问题。模型在训练过程中，被”偏好具体答案”的信号塑造了生成策略，而”知识边界感知”的信号没有被接入生成策略。
诚实的最后一公里，不是”让模型知道更多”，是“让模型用它已经知道的”。
这是对齐问题的精确表述，也是下一步研究的清晰方向。
—
论文链接：arXiv:2608.13484
代码：论文未提供官方代码仓库，但探针方法可用 Pythia 模型 + Scikit-learn 复现
—
“诚实不是一种能力，是一种策略。模型有能力，但策略还没学会。把策略教会，就是对齐的最后一公里。”