只靠一個字就能偷學會的能力：解密 Active Taskless Distillation
Post-Training Leaves Behavioral Shadows on Unrelated Decisions
背景
大型語言模型的訓練通常分成兩個階段：先在龐大語料上做預訓練（pre-training），再用任務相關資料做後訓練（post-training），例如監督式微調或 RLHF，讓模型學會寫程式、推理或依照人類偏好回答問題。一般認為，後訓練帶來的能力提升，必須靠模型直接學習「任務相關」的資料——比如要讓模型變會寫程式，就要餵它程式碼範例。
但去年開始流行的「subliminal learning（潛意識學習）」研究，卻挑戰了這個直覺：研究者發現，一個經過後訓練的「教師模型（teacher）」，即使只生成一堆看起來完全與任務無關的文字（例如隨機數字序列），只要「學生模型（student）」是從教師模型的同一個公開版本（shared public ancestor，即訓練前的共同祖先模型）初始化的，學生模型光是模仿這些無關文字，就能繼承教師的某些行為傾向或偏好。這暗示模型的權重更新，會在其輸出分佈上留下極其細微、卻可被偵測的「痕跡」。
不過先前的 subliminal learning 研究有兩個限制：一是主要驗證的是「特質或偏好」的轉移（比如喜歡某種動物、某種語氣），而不是實質的「能力」；二是需要教師模型生成大量、完整的輸出（例如整段推理鏈或完整程式碼）作為訓練材料，成本不低。這篇論文由 Ziyang Zhang、Yubin Jing、Yuanhao Zeng、Yuyao Li、Haofan Wang、Yichen Gong 等人提出的 Active Taskless Distillation（ATD，主動無任務蒸餾），把這個現象推向極致：能不能只靠教師模型「每個 prompt 吐出一個單字」，就把實質的解題能力（例如寫程式、科學知識、常識推理）轉移給學生模型？答案是可以，而且效果顯著。
方法
ATD 的核心想法是去找出後訓練在模型行為上留下的「行為陰影（behavioral shadow）」，具體做法分成幾步：
第一步，挑選「模稜兩可」的探測 prompt。 研究者先鎖定教師模型與學生模型共同的「公開祖先模型」（例如 Qwen2.5-1.5B 的基礎版本）。他們設計一批 prompt，並刻意挑選出那些「公開祖先模型」在兩個普通單字之間幾乎沒有偏好的情境——也就是說,對這個祖先模型而言,選 A 字或選 B 字的機率幾乎是五五波,這兩個字本身跟任何具體任務內容無關。
第二步,用教師模型的單字選擇當標籤。 把同一批 prompt 餵給經過後訓練的教師模型,教師模型會因為它學到的能力(例如更擅長邏輯推理或程式邏輯),在這些「模稜兩可」的 prompt 上,對這兩個字產生出比祖先模型更明確的偏好。研究者只記錄教師模型選擇的「那一個字」,形成一組「prompt—單字」配對資料——注意,這裡完全不使用教師模型的 logits(機率分佈)、不使用教師模型的參數,也完全沒有任何與下游任務(寫程式、答題)直接相關的範例。
第三步,學生模型只從這些單字配對學習。 學生模型同樣以那個公開祖先模型初始化,然後單純用這 5,664 筆「prompt—單字」配對做微調——它從頭到尾沒看過任何 HumanEval 風格的程式題或科學問答題,只是被要求「在這個 prompt 後面接哪個字」。
為了證明效果不是來自無關的訓練雜訊(nuisance),研究者設計了一個「exact nuisance-matched control(精確雜訊配對對照組)」:這個對照組同樣做同樣規模、同樣形式的微調,但擾亂 prompt 與教師所選單字之間的對應關係,藉此排除「單純做了一次微調就會進步」或「格式適應」等混淆因素。兩者唯一的差異,就是學生是否真的學到了教師選字背後隱含的訊號。
研究者還做了功能性分析(functional analysis),檢驗這種學到的能力是否可以「疊加組合(composable)」——也就是用不同任務的 ATD 訊號分別蒸餾,再看能否疊加出多種能力;以及訊號強度是否會隨著教師模型的後訓練更新幅度(update strength)而變化。
實驗結果
主實驗以 Qwen2.5-1.5B 作為教師與學生的共同基底模型,聚焦在程式能力的轉移。結果顯示,僅用 5,664 筆 prompt—單字配對訓練出來的學生模型,在 HumanEval+ 這個程式碼生成 benchmark 上,相較於雜訊配對的對照組,取得了 5.34 個百分點(pp) 的 pass 率提升。考慮到訓練資料量極小(每個 prompt 只貢獻一個字的監督訊號),且完全不含程式碼範例,這個提升幅度相當可觀,證明教師模型的程式能力確實透過看似無關的單字選擇被「傳染」給了學生。
除了程式能力,研究團隊也在其他任務類型上驗證了同樣的轉移效果,包括:
- **科學知識(scientific knowledge)**類的問答任務
- **常識推理(commonsense reasoning)**類的 benchmark
- **閱讀理解(reading comprehension)**類的評測
這些額外實驗涵蓋了不同的模型世代(model generations)、不同的模型規模(sizes)以及不同的模型家族(families),顯示 ATD 現象並非 Qwen2.5-1.5B 特有的巧合,而是具有一定的普遍性。功能性分析部分也證實,學到的能力訊號具有可組合性(composable)——多個任務的 ATD 蒸餾訊號可以疊加轉移多種能力;同時,轉移效果的強弱會隨教師模型後訓練時「更新幅度」的大小而同步增減,也就是說,教師模型被後訓練改動得越多,行為陰影就越明顯、越容易被學生模型捕捉到。
意義
這篇論文的意義,首先是把「subliminal learning」從一個關於「風格/偏好會透過雜訊文字傳染」的有趣觀察,升級成一個關於「實質能力也可能透過極簡的、看似無關的訊號被蒸餾出來」的更嚴肅的發現。過去大家假設,要讓模型學會寫程式,至少要給它程式碼相關的監督訊號;但 ATD 顯示,只要學生與教師共享同一個預訓練祖先,教師在無關 prompt 上一個單字的選擇,都可能洩漏出後訓練帶來的能力訊息。
這對 AI 安全與模型治理有直接的警示作用:如果一個組織要對外公開任何由其後訓練模型生成的文本(哪怕是隨機字元、無害的聊天記錄、甚至只是機率性選字的紀錄),理論上都存在讓第三方以極低成本「偷學」到其能力提升的風險,而且完全不需要接觸到模型權重或訓練資料。這也連帶對「知識蒸餾監管」「模型輸出審查」「開源與閉源模型的能力保護」等議題提出新的挑戰——單純過濾掉「看起來像任務相關」的內容並不足夠,因為訊號可以藏在單一字詞的選擇機率裡。
另一方面,ATD 也為理解「後訓練到底改變了模型的什麼」提供了一個新工具:透過在模稜兩可的探測點上觀察行為差異,研究者得以用極低成本量化和拆解後訓練帶來的變化,甚至將不同能力的訊號模組化、可組合地轉移。這種「行為陰影探測」的方法論,未來或許可以用於審核模型是否經過特定後訓練(例如檢測某模型是否被蒸餾自另一個受版權保護或受限制的模型),也可能被用作更高效率、低成本的能力蒸餾技術,值得後續在更大規模模型與更多任務類型上持續驗證其邊界與極限。