把“小模型 RL 学到的改变”交给大模型，而不是让大模型模仿小模型
论文提出 Direct On-Policy Distillation（Direct-OPD）：用同一小模型在 RL 前、后的两个 checkpoint 的对数概率差，作为强学生模型的稠密隐式奖励。学生仍在自己的 rollout 上训练，并被自身初始模型的 KL 约束住。
先建立直觉
小模型像“便宜的实验员”：它不必比学生更聪明；只需在低成本 RL 中发现哪些局部动作应被鼓励或压低。大模型随后在自己的思维轨迹上采用这份“改进方向”，从而保留其原有能力上限。
1. 引言：问题与论文的赌注
问题：RLVR 每一步都要由当前目标模型采样、打分、更新；模型越大，rollout 越慢，因而每个更强的新模型都重复 RL 的代价很高。
失败基线：R1-Distill-7B 的 AIME 2024 初始分数为 56.7，已高于 1.5B post-RL 教师 JustRL 的 51.3；直接 OPD 却将它降至约 50。原因是“最终教师策略”混杂了 RL 收益与小模型自身局限。
论文假设：RL 带来的方向性变化可跨尺度复用，即便教师终态弱于学生。
2. Direct-OPD：从公式到训练信号
2.1 预备：OPD 在哪里监督学生？
学生 πθ 先自己生成轨迹。每个已访问前缀上，读取教师的下一 token 分布，并在学生 top-k token 支持集内计算 KL。这避免了只在教师轨迹上训练带来的分布偏移。
2.2 策略变化为何可当“奖励”？
πTref 是小模型 RL 前的参考 checkpoint，πT 是 RL 后 checkpoint。ΔT 为正，表示 RL 提高了该回答/动作的概率；为负，表示 RL 压低了它。相减消除了小模型 RL 前本来就会的东西。
⇒ log[π*(y|x)/πref(y|x)] = r(x,y)/β − log Z(x)
在 KL 正则化 RL 中，最优策略相对参考策略的 log-ratio 等于奖励的正比例加上对同一 prompt 无关紧要的常数。因此教师的 ΔT 可被看成无需另训奖励模型的“隐式奖励”。这是本文的核心理论依据。
2.3 学生的目标
π*student ∝ πS · (πT / πTref)^(1/α)
πS 是学生的初始 checkpoint。第一项推动学生偏向教师 RL 所鼓励的 token；第二项让学生留在自己的能力分布附近。关键是：教师比值在学生自己访问的状态上评估，而不是把学生带去模仿教师的完整推理路径。
2.4 实作近似与自适应 KL
序列级 ΔT 被分解为每个 token 的差 r_t(v)=log πT(v|s_t)−log πTref(v|s_t)。在学生 top-k 上对所有候选 token 取解析期望，降低单 token 采样的方差；权重 stop-gradient，避免多余导数项。α 用批次平均稠密奖励的符号轻量调整，以适应不同教师对的不可观测奖励尺度。
3. 实验：它真的既更强又更省吗？
3.1 弱教师可提升更强学生
用 R1-Distill-1.5B → JustRL-1.5B 的变化迁移至三个学生。即使 Qwen3-4B 与 R1-Distill-7B 的起点已高于 JustRL，仍有增益；第二个 Nemotron-1.5B → QuestA-Nemotron-1.5B 教师对提供跨训练管线的复验。
| 学生 / 教师对 | AIME 2024 | AIME 2025 |
|---|---|---|
| Qwen3-1.7B（JustRL shift） | 48.3 → 58.3（+10.0） | 36.8 → 43.2（+6.4） |
| Qwen3-4B（JustRL shift） | 72.5 → 77.6（+5.1） | 65.6 → 68.8（+3.2） |
| R1-Distill-7B（JustRL shift） | 56.7 → 63.1（+6.4） | 40.5 → 48.8（+8.3） |
3.2 对比直接 RL：更便宜的发现—迁移路线
1500 步 1.5B RL 约需 160 小时 / 32×A100，而 7B 直接 RL 约 320 小时；再做 Direct-OPD 只加约 4 小时 / 8×A100。小模型 RL 的 600–1500 step checkpoints 在同等墙钟时间优于 7B 直接 RL 路径。注意这不是“免费”：仍先支付小模型 RL 的成本，只是可将所得信号摊销到多个学生。
3.3 可顺序组合
Qwen3-1.7B 先吸收 JustRL shift，再吸收 QuestA shift：AIME 2024 从 48.3 → 58.3 → 63.8；AIME 2025 从 36.8 → 43.2 → 46.8。它支持“不同 RL run 学到不同能力，可流水线式叠加”的设想，但组合顺序与冲突尚未被系统研究。
4. 分析：何时有效、为何有效
4.1 不需要 token-by-token 模仿
普通 OPD 依赖师生 top-k token 的高重叠；跨思维模式时，这个重叠很低。Direct-OPD 的跨模式实验仍提升，且学生熵未坍塌。这说明它不是把学生变成教师，而是在学生自身候选动作内利用 ΔT 进行局部排序。
4.2 2k 的短训练可影响更长推理
训练仅使用 2k token rollout，但在约 16k token 长评测中，学生仍持续朝教师的 policy shift 移动。更长的 6k 虽令诊断指标移动更大，却在验证上更差（45.6 vs 2k 的 48.8）：晚期前缀可能落在小教师对的分布外，log-ratio 大但不可靠。
4.3 KL 不只是“防过拟合旋钮”
KL 决定学生会访问何种状态，也就决定 ΔT 是否仍可相信：太弱会漂到两教师均低概率的区域；太强则不能吸收改进方向。最佳固定 KL 随师生对而变。自适应 KL 会将平均稠密奖励推向接近零的平衡区，而不是盲目最大化奖励数值。
6. 结论与局限
结论：一个小模型 RL 前后 checkpoint 对可作为可复用的、稠密的改进信号；强模型不需重跑稀疏奖励 RL，也无需放弃自身上限。
批判性阅读：应保留的疑问
- 结论的外推范围：主证据是 AIME 数学推理；尚不能证明对代码、事实问答、对齐或开放式生成同样成立。
- 奖励近似：理论等价建立在 KL 正则 RL 的理想化最优形式；论文实际使用 token 级零折扣与 top-k 近似，二者可能引入偏差。
- 成本叙事：比较显示单一路径更省，但若只服务一个目标模型且需要高质量小模型 RL，端到端优势仍与任务、硬件和可复用次数有关。
- 安全性：把 checkpoint 差当奖励也会转移 RL 的偏差或 reward hacking；需要额外的安全评测与多域验证。
原文：arXiv 摘要页（v2，2026-07-08）。本报告基于该版本制作。