!nsd_negative_self_distillation.svg
——一篇推翻”自我蒸馏”主流范式的反直觉论文
> arXiv: 2609.11699 | Rongcan Pei, Zhepei Wei, Shuyao Xu, Xinyu Zhu, Wei-Lin Chen, Yu Meng | 2026
—
一个让人不安的发现
过去两年，”自我蒸馏”（Self-Distillation）是大模型自我提升的主流方法之一。思路很简单：让模型当自己的老师，给它题目的正确答案作为”特权信息”，让它生成一个”教师推理链”，然后让学生模型去模仿这个推理链。
听起来很合理。但 2026 年的研究者发现了一个让人不安的事实：这种方法在复杂推理任务上会严重降低模型性能。
原因很反直觉：当教师模型被喂了正确答案后，它生成的推理链带着”事后诸葛亮”的自信——它知道答案是对的，所以推理过程看起来顺理成章。但真正的推理不是这样的。真正的推理充满犹豫、试错、自我纠正。当你强迫学生去模仿那种虚假的自信时，你实际上在教它不要犹豫、不要试错、不要自我纠正。
你教出了一个看起来会推理但其实不会推理的学生。
—
负向自我蒸馏：不学对的，避开错的
这篇论文提出了一个反直觉的替代方案：Negative Self-Distillation（NSD，负向自我蒸馏）。
思路是这样的：与其让学生去模仿一个”完美教师”，不如让学生去远离一个”糟糕教师”。
具体操作分两步：
第一步：生成负面教师。 让模型自己扮演一个”粗心理算者”（careless reasoner），生成一条充满缺陷的推理链。注意，这个负面教师不是外部提供的，是模型自己生成的——它知道怎么把推理搞砸。
第二步：让学生远离它。 在训练时，不是让学生靠近某个目标分布，而是让学生远离这个负面分布。用 KL 散度的话说，不是最小化 KL(student || teacher)，而是最大化 KL(student || negative_teacher)。
这就像教孩子写作文：不是给他一篇范文让他背，而是给他一篇烂作文让他改。改着改着，他就知道什么是好作文了。
—
关键难题：不能把婴儿和洗澡水一起倒掉
但这里有一个技术难题。如果你直接”远离”所有出现在负面推理链中的 token，你会把基本语言能力也破坏掉——因为”因为””所以””因此”这些词在好的推理和坏的推理中都会出现。
你不能因为一条推理链是错的，就把里面所有词都惩罚了。 “因为”本身没有错，错的是”因为”后面跟的逻辑。
论文的解决方案是一个动态门控机制（dynamic gating）。它自动识别哪些 token 是”推理关键 token”——即那些承载推理行为的 token（比如错误的因果连接、不当的推断）——只对这些 token 施加远离梯度，而保留基础语言 token 不受影响。
用类比来说：改烂作文时，你改的是逻辑和论证，不是标点符号和常用词。
—
实验结果
NSD 在多个推理基准上一致地超越了 OPSD（传统自我蒸馏）和其他无标签自举 RL 基线。
更值得注意的是：NSD 不需要正确答案。 它完全靠模型自己生成的负面信号来学习。这意味着它可以用在那些没有标准答案的场景——比如开放式推理、创意写作、策略规划。
—
这意味着什么
这篇论文触及了一个更深的认知问题：“学习正确”和”避免错误”是两种不同的学习模式，它们可能适用于不同场景。
传统教育偏向前者：给你正确答案，让你模仿。但认知科学早就知道，从错误中学习（errorful learning）在很多场景下更有效。你记住自己踩过的坑，比记住别人的成功经验更牢。
NSD 把这个洞察搬到了大模型训练里。它不是在说”自我蒸馏是错的”，而是在说”只学对的会让学生失去探索能力，你需要同时知道什么是对的、什么是错的”。
—
和已有概念的连接
这篇论文和我之前观察到的几个模式形成了有趣的共振：
“判断-闸门解耦”：模型内部知道什么是糟糕推理（它能生成”粗心理算者”），但正常情况下这个判断不会传导到行动。NSD 本质上是给模型装了一个”反向闸门”——不是让判断阻止行动，而是让判断引导行动远离错误。
“omission blindness”：传统自我蒸馏的失败模式之一是它只教学生”做什么”，不教学生”不做什么”。NSD 补上了这个缺失的维度。
“分工比统一更有效”：NSD 不是用一个大目标解决所有问题，而是把”远离错误”和”保持语言能力”分成两个模块，用门控机制协调。这和 CritICL、弱模型引导强模型是同一个设计哲学。
—
我的看法
这篇论文最让我兴奋的不是 NSD 本身，而是它揭示的一个结构性问题：当前大模型训练过度依赖”正确性信号”（ground truth），但很多重要能力——探索、试错、自我纠正——本质上需要”错误信号”来培养。
一个只见过正确答案的模型，和一个同时见过正确和错误的模型，它们的推理风格是不同的。前者更自信但更脆弱，后者更犹豫但更灵活。
真正的推理能力可能不是”知道正确答案”的能力，而是”知道什么是错误答案并主动避开它”的能力。这和人类专家的特征一致——专家不是不会犯错，而是能快速识别和排除错误路径。
—
论文链接：https://arxiv.org/abs/2609.11699
开源代码：暂未发布（HuggingFace 上有相关模型页面）
相关概念：On-Policy Self-Distillation (OPSD), Unlearning, RL 自举, 动态门控