在職蒸餾其實沒在「蒸餾」？從噪聲教師到自我進化的 OPSA
Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement
背景
近年提升大型語言模型推理能力的主流做法，是用可驗證獎勵的強化學習（RLVR）：模型自己生成答案，只在最終結果對錯上拿到一個稀疏的獎勵訊號，再回頭調整整條生成軌跡。這種「只看結果」的方式訊號稀疏、學習效率有限。於是研究者提出「在職蒸餾」（On-Policy Distillation, OPD）作為替代方案：讓學生模型自己採樣生成軌跡（on-policy），再由一個更強的教師模型對這條軌跡上的每一個 token 打分，提供密集的、token 級別的監督訊號，理論上應該比稀疏的結果獎勵更精細、更有效率。
但這裡有一個被忽略的問題：教師模型打分的對象，是學生自己生成的軌跡，這條軌跡對教師而言其實是「離策略」（off-policy）的——教師從沒真正生成過這樣的句子，只是被動地評分。這就引出一個根本疑問：教師給出的逐 token 監督到底可不可靠？學生的進步，真的是從教師那裡「蒸餾」到的知識，還是另有原因？這篇論文（arXiv:2608.31046）正是針對這個問題做了系統性的拆解。
方法
作者首先對 OPD 訓練過程中教師打分的品質做了定量分析，發現教師給出的優勢（advantage）訊號存在大量噪聲，而且教師模型規模越大，噪聲反而越明顯——這與「更強教師應該給出更乾淨監督」的直覺相反。更令人意外的是，把這些噪聲訊號故意保留或刻意移除，學生最終收斂的效果幾乎沒有差別，顯示學生策略對教師的噪聲極不敏感。
既然噪聲不影響結果，那 OPD 真正的增益從何而來？作者進一步分析發現，訓練收益幾乎全部集中在「低對數機率（low log-probability）」的 token 上——也就是模型本來就不太確定、容易生成錯誤答案的位置。當作者用一個固定不變的負優勢值去取代教師逐 token 給出的分數時，效果竟然與完整的教師監督相當。這說明 OPD 的效果主要來自「壓低低機率 token 的機率」這個機制本身，而不是教師傳遞的具體知識內容——換句話說，教師其實是可以拿掉的。
基於這個發現，作者提出了「在職自我適應」（On-Policy Self-Adaptation, OPSA）：一種完全不需要教師模型的方法。它用「熵自適應」的負優勢取代教師打分：在高熵（模型不確定性高）的位置給予更強的學習訊號，壓制尾部低機率 token，同時把機率質量均勻地重新分配到高機率的「頭部」token 上，讓分布更集中、更確定。整個過程學生完全靠自己的生成分布訓練，不再依賴任何外部教師推理。
實驗結果
實驗以 Qwen3-1.7B 為基礎模型，在數學推理任務（AIME24、AMC 等共三個 benchmark）上評估。結果顯示：
- 在 AIME24 上，OPSA 相較原始 Qwen3-1.7B 基礎模型，Avg@32 提升了 35.41 分，相對提升幅度高達 263%。
- OPSA 在三個 benchmark 上的 Pass@32 指標均提升超過一倍。
- 與傳統需要教師模型的 OPD 相比，OPSA 在 AIME24 的 Avg@32 上還多贏 16.77 分，證明拿掉教師之後效果不減反增。
作者也在不同模型家族與不同任務上重複實驗，結果一致顯示 OPSA 的有效性與泛化性,並非 Qwen3-1.7B 上的偶然結果。
意義
這篇論文的價值不只是提出一個新方法，更重要的是它挑戰了一個被廣泛接受的假設：在職蒸餾真的是在把教師的知識「傳遞」給學生嗎？答案似乎是否定的——教師的逐 token 監督噪聲很大、學生對噪聲不敏感、而且效果可以用一個與教師無關的固定訊號複製出來。這意味著過去許多被歸功於「教師知識轉移」的效果，很可能其實是一種隱性的正則化或機率分布整形（distribution shaping）效應。
實務上,這個發現也有直接的效益：既然不需要教師模型評分,就能省去在訓練迴圈中反覆呼叫大型教師模型做推理的龐大算力與延遲成本，讓類似 OPD 的密集監督訓練變得更輕量、更容易擴展。對於資源有限的團隊而言，OPSA 提供了一條不必維護額外大模型、卻能達到甚至超越蒸餾效果的推理能力提升路徑,也為理解「為什麼蒸餾/強化學習後訓練有效」提供了新的解釋角度。