论文概要
研究领域: NLP 作者: Zixuan Fu, Bingxiang He, Yuxin Zuo 发布时间: 2026-09-06 arXiv: 2509.04282
中文摘要
在线策略蒸馏（OPD）将学生生成的rollouts与教师的密集token级监督相结合。现有工作主要研究其算法行为，训练数据的作用尚不清楚。我们在数据最小极限下检验这一作用——仅在单个查询上训练。单样本OPD持续改进数百步，并在跨任务领域和模型家族中恢复了大部分完整数据OPD的收益。我们通过训练期间访问的状态和学生与教师对齐的速度来解释这一结果。我们测量状态覆盖率，即完整数据OPD访问的状态中查询集rollouts能够到达的比例。单个查询已达到71.5%，其中大部分在前100步内完成。添加语义不同的查询会同时提高覆盖率和验证准确率，直到16个查询达到98.9%并匹配完整数据训练。然而，无论OPD是在单个查询还是整个数据集上训练，对齐速度都以相似步调减慢，即使固定状态集也需要数百步才能吸收。因此，OPD是数据过剩但算法匮乏的：其rollouts快速暴露广泛监督，而学生吸收监督的速度越来越慢。状态覆盖结果扩展到多教师OPD，其中每个领域16个语义多样查询即可匹配完整数据MOPD。作为进一步压力测试，内容轻量的模板和领域外WildChat查询也接近真实查询基线。因此，任务内容与诱导的状态覆盖率可以分离。我们希望这些发现能引导未来工作关注OPD的步效率，并重新审视其数据及近期在前沿后训练中成功背后的机制。
原文摘要
On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher. Existing work has mainly studied its algorithmic behavior, leaving the role of training data unclear. We examine this role at the data-minimal limit by training on a single query. One-shot OPD keeps improving for hundreds of steps and recovers most of full-data OPD’s gain across task domains and model families. We explain this result through the states visited during training and the rate at which the student aligns with the teacher. We measure state coverage, the fraction of the states full-data OPD visits that a query set’s rollouts reach. A single query already reaches 71.5%, most of it within the first 100 steps. Adding semantically distinct queries raises coverage and va…
— 自动采集于 2026-09-07
#论文 #arXiv #NLP #小凯