没有答案的考场
——TTPO 与一张八成是错的选票
浙大 ZJU-REAL 与阿里巴巴的新论文做了一件看似做不到的事：让模型在拿不到标准答案的竞赛题上边考边学。靠的只有一句洞见——失败从来不是对称的，惩罚”与共识为敌”的答卷几乎永远安全，奖励”与共识一致”的答卷却会被错票带偏。
的错误率
本身出错的比率
平均分提升
（基线用了 8 张）
CONTENTS
- 一场不发标准卷的考试
- 八成五的错票，与一条可靠的负信号
- 分工：把每个信号放在它可靠的地方
- 错票打赢真标签，与自我抬升的天花板
- 冷水：四处该捏着鼻子读的地方
- 版图与尾声
考场的规则本该如此：答题，交卷，对答案。强化学习的全部大厦都盖在这最后一步上——对不了答案，就没有奖励；没有奖励，就没有学习。
2026 年 8 月 27 日，浙大 ZJU-REAL 实验室与阿里巴巴把最后一步拆掉了。论文叫 TTPO：Test-Time Policy Optimization（arXiv:2608.27448）。模型拿到 AIME 的考题，答题，互相批卷，就地更新自己——全程没有人告诉它正确答案。
更扎眼的是结果：不用答案的 TTPO，追平了拿着答案训练的老师；在某个设置下，它甚至打赢了握着真答案的自己。
01一场不发标准卷的考试
先说清这个考场有多刁钻。测试时训练（TTT）的设定是：把要考的题直接当训练集，模型在考卷上练习，边考边变强。诱人之处一目了然——考什么，练什么；刁钻之处同样一目了然——考卷不发答案，标签永远不会来。
而现有的两大力量的胃都只吃标签。一曰 GRPO：拿标准答案判对错、发奖励，是位铁面裁判。二曰 OPSD（在线策略自蒸馏）：走得更远，让同一名模型把答案塞进自己的 prompt，开着思考模式重解一遍，逐 token 地教那个不开思考的自己——是位家庭教师，连每一步怎么写都要管。裁判与家教，两位都盯着标准答案吃饭。
没有答案怎么办？此前的代表方案叫 TTRL：每道题采几十份答卷，让考生互相批卷，得票最多的当答案，照样发奖励、做训练。主意不坏，票却极不牢靠——竞赛级难题上，多数票经常是错的。
于是问题被逼到墙角：票都错成这样了，学习还能不能发生？哪一段信号是安全的，哪一段是坏的？
02八成五的错票，与一条可靠的负信号
论文先给了一个数字，够吓人：AIME 2026 上，Qwen3-1.7B 采 64 份答卷投票，约 85% 的题，多数票是错的。直觉上这该是死刑判决——答案十次错九次，还练什么？
但把错票底下的答卷摊开看，事情起了褶皱：在伪标签出错的那批题里，与错票不一致的答卷，79% 本身也是错的。
这个数字值得停下来想一分钟。你不知道正确答案，也照样知道：一份与所有同伴都不一致的卷子，多半是错的。判”不一致”不需要读答案的内容，只需要看它落在不在多数簇外——票对也好，票错也好，这条罪证同样成立。判他错，比判他对，容易得多，也稳得多。这个思路在图像识别里有更老的血统：标签嘈杂时只学”什么肯定是错的”（负学习，ICCV 2019），TTPO 把它搬进了语言模型的考场。
另一半危险在蒸馏那条管道上。错票当奖励，每份答卷只被误导一次；错票当老师，稠密蒸馏逐 token 灌输，每一个 token 都在误导。此前 U-OPSD 把蒸馏放在”不一致”的答卷上——恰好把最危险的信号，塞进了最昂贵的管道。论文的判断冷冰冰的：失败是非对称的，监督也该非对称。
03分工：把每个信号放在它可靠的地方
TTPO 的流程因此简单得近乎朴素：每道题采 64 份答卷，按数学等价聚类，最大簇的答案当伪标签；与票一致的归为正样本，与票不一致的归为负样本。然后，两拨人去两所学校。
正样本进蒸馏学校。老师还是那个模型，只是 prompt 里塞了伪标签、开着思考模式；学生关掉思考。师生只差一个前缀。蒸馏逐 token 加权：学生犹豫的位置、学生自信却与老师分歧的位置，权重高；两边都已收敛的位置，权重趋零——已经学会的地方不重复教。
这里藏着一个漂亮的保底：就算票错了，老师能教的也只是”思考模式怎么想这道题”。蒸馏退化成思考向非思考的搬运，最坏无害，最好恢复成标准的 OPSD。坏票在这一支上，杀伤力被结构本身锁住了。
负样本进惩罚学校。GRPO 惩罚”与票不一致”，外加一道保险：只罚”自信错误”的 token。给每个 token 打分——概率越低、模型越笃定，分越高——取分数前一半的 token 参与更新。错得斩钉截铁的地方才值得改；犹豫的地方可能是对的，不碰。这道保险是必需品，非可有可无的装饰：在非对称框架里，负样本的惩罚没有正样本的优势梯度来对冲，错罚一个局部正确的推理步骤，没有人替它翻案。
两支以一个系数缝合（GRPO 的原始梯度比蒸馏损失大一个数量级，系数取 0.1 恰好拉平）。整套训练 4 张 H20、LoRA，一个节点跑完。
消融实验里有一条警告值得单独抄出来：把分工反过来——GRPO 去罚”与票一致”的答卷、蒸馏”不一致”的答卷——成绩从 48.9 崩到 37.2。错票一旦当成奖励去强化，反向更新无从对冲。最脆的，恰恰是看起来最顺的那个组合。
04错票打赢真标签，与自我抬升的天花板
主战场是无标签的测试时训练，全员不吃答案：
| 模型 | 起点 | TTRL | TTPO | 提升 |
|---|---|---|---|---|
| Qwen3-1.7B | 38.0 | 40.2 | 45.2 | +7.2 |
| Qwen3-4B | 57.4 | 58.8 | 61.1 | +3.7 |
| Qwen3-8B | 60.7 | 63.0 | 65.3 | +4.6 |
五个竞赛基准（AIME25/26、HMMT25/26、BRUMO25）平均，Avg@12。细节：4B 训完的 61.1，反超没训练过的 8B（60.7）。
旁边一组对照更能说明问题：在有标注数据上，用真标签的 OPSD 把 1.7B 从 34.6 教到 39.7；不用标签的 TTPO 教到 40.1。追平，还略有反超。而提升最凶的地方在非思考模式——8B 从 20.3 涨到 56.7，整整 36.4 分。道理也直白：惩罚直接落在学生自己的生成分布里，比纯蒸馏那种隔着一层的被动对齐，狠得多。
两项反直觉的发现，是这篇论文真正值得记住的部分。
其一，伪标签打赢了真标签。同样的 TTPO，把多数票换成真答案，成绩反而下降。机制论文给得很硬：难题上几乎没有答卷能对上真答案——蒸馏支断了粮，惩罚支的组内优势算出来是零，两路老师同时饿死。多数票永远凑得出一个共识，两路常开，模型的探索熵也保持在高位。这一节配着几乎不降的训练损失曲线，是机制层面的胜利，不只是刷分。
其二，天花板自己会长。训练信号来自多数票，起点天花板就是模型当前的多数票水平。训练中，平均分爬满旧天花板之后，多数票本身继续上涨——答卷变强，票跟着变准，天花板再长。单基准训练的成绩能迁移到其余基准，说明长出来的是推理，不是背题。
05冷水：四处该捏着鼻子读的地方
好话已经说尽，该泼水了。四处。
口径。TTPO 每 25 步存一次检查点、报峰值；基线同样报峰值。峰值对峰值，两边读起来都偏乐观，这是这一线论文的通病，TTPO 没能免俗。
蒸馏支的成色。85% 的票是错的，意味着正样本的蒸馏大头，实际上是”看不懂答案的搬运”——把思考模式的做法搬给非思考模式。非思考 +36.4 里，多少是思维格式的吸收，多少是新的推理能力，论文没有分开计量。方向与结论不冲突，账目欠一笔。
算力账。每道题投票要 64 份答卷、每份上限一万六千 token。测试时训练的”测试时”三个字，本身就压着一笔不小的推理开销，论文没有给任何时间或算力的对比。
边界。全部证据来自可验证短答案的数学竞赛；代码、开放性推理一步未涉。开源的是训练代码，没有 checkpoint，没有 license 文件，复用之前得先问一句。
06版图与尾声
把论文放回它的版图，会发现 2026 年这条赛道已经挤满了人。TTRL 先证明多数票能当奖励；OPSD 证明自蒸馏比标量奖励教得细；随后三家”无监督 OPSD”同期赛马——Gkountouras 等人把共识当特权上下文，对全部答卷蒸馏；U-OPSD 只蒸馏不一致的答卷；TTPO 对前两者各打五十大板，给出第三种分工：一致的去蒸馏，不一致的去挨罚，各得其所。落款是浙大沈永亮与阿里陈强龙两位通讯，共同一作王澳哲、陆正禧。
回到考场。TTPO 的答案可以压成一句话：正确答案缺席的时候，”与共识为敌”依然是一条可靠的罪证；把它罚掉，比奖励任何”对的东西”都安全。学习未必需要一个全知的老师——有时候只需要一群水平相仿的同学，一条敢于开除异类的班规，和一个不许自己过早笃定的老师。
票可以八成是错的，
惩罚依然近乎全对——失败，从来不是对称的。
你的模型若只能在”拿不到答案”与”拿到错答案”之间二选一，你选哪个？评论区聊聊。
文白之间，聊作深研。
步子哥，于 2026 年 9 月。