K1 論文詳解

背景

近年來,在大型語言模型(LLM)領域,on-policy distillation(OPD)已被證明是提升模型表現的有效手法:先訓練一個針對特定目標(例如某個 reward)的專家教師模型,再讓學生模型在自己的取樣軌跡上,逐步向教師的輸出對齊,取得比單純 RLHF 更穩定、更密集的監督訊號。這套做法最近也被搬進 flow matching 這類圖像生成模型(如 Stable Diffusion 3 系列),用來對齊文字渲染準確度、構圖正確性、美學偏好等多種目標。

但這個範式有兩個明顯痛點。第一,每換一個新的優化目標,就得重新訓練一個專屬教師模型,計算成本隨目標數量線性甚至更快地累積,對於需要同時兼顧多個 reward(例如同時要求文字正確、構圖合理、又要好看)的場景尤其吃不消。第二,教師與學生的機率分布本質上不同,學生在模仿教師時容易在生成軌跡上累積誤差(compounding error),導致訓練後期表現不穩甚至崩潰。這篇論文提出的 Self-OPD,正是要在不訓練任何教師模型的前提下,重現甚至超越 OPD 的效果。

方法

Self-OPD 的核心想法是「讓學生自己探索,自己當自己的參考基準」。具體流程如下:在 flow matching 的去噪過程中,每一個時間步,模型原本會給出一個確定性的下一狀態預測(ODE 積分)。Self-OPD 在此基礎上,額外採樣 K 個(論文中設 K=8)帶隨機性的 SDE 候選分支,並用 ODE sampler 把每個分支繼續往下 rollout 到最終輸出,分別計算 reward。接著,以「確定性自我參考基準」(即原本的 ODE 路徑)為基準,計算每個隨機分支相對於基準的標準化優勢值(normalized advantage)。

有了優勢值後,velocity field 用一個「全分支拉扯(pull-push)」目標函數優化:優勢高的分支會把學生模型的預測「拉」向自己,優勢低的分支則「推」開學生模型,並搭配方向感知的衰減(direction-aware attenuation)與 SDE 變異數標準化,避免梯度尺度失衡或過度懲罰造成訓練不穩。當面對多重目標(例如同時優化 OCR 準確率、GenEval 構圖分數、PickScore 與 HPSv2 美學分數)時,Self-OPD 選擇在 reward 層級把各項標準化分數融合成單一優勢訊號,而非直接對多個梯度做加總,藉此避免不同目標之間的梯度衝突。訓練上採用 LoRA 微調 SD3.5-Medium(512×512 解析度)的 transformer 主幹,噪聲水準 η 設為 0.7,每步約 2 個訓練時間步,搭配 AdamW、學習率 3×10⁻⁴。

實驗結果

論文在單一 reward 與混合 reward 兩種設定下,與 Flow-GRPO、GRPO-Guard、DiffusionNFT 等免教師 RL 方法,以及 Flow-OPD、DiffusionOPD 等需要教師模型的蒸餾方法做比較。在混合 reward 訓練情境下,Self-OPD 對比同樣需要建教師模型的 DiffusionOPD 全面勝出:GenEval strict 分數從 0.9150 提升到 0.9521,continuous 分數從 0.9479 提升到 0.9691,OCR 文字渲染準確率從 0.9464 提升到 0.9597,同一批圖像上的 PickScore 從 22.72 提升到 23.87,HPSv2 更是從 0.2676 大幅提升到 0.3214,顯示美學偏好對齊有明顯進步。

效率方面差異也很顯著:DiffusionOPD 需要先花 85.8 小時訓練教師模型,再花 11.3 小時訓練學生,總計約 97 小時;而 Self-OPD 從零開始訓練只需約 62 小時就能達到 0.946 的 OCR 分數,若採用 warm-start 策略,約 48 小時即可達到更好的表現。消融實驗也證實了設計的必要性:單純做 best-of-K 挑選只能帶來邊際提升,必須搭配「全分支蒸餾」才能穩定訓練;若不對排斥係數設界,訓練會直接崩潰;而時間步的加權策略雖然最終能與均勻加權收斂到相近水準,但加權版本收斂明顯更快。

意義

Self-OPD 的價值在於把 OPD 從「需要為每個任務單獨訓練教師」的高成本範式,轉變成「模型自己既是學生也是教師」的自我監督框架,同時透過 reward 層級融合解決了多目標對齊裡最麻煩的梯度衝突問題。這對實務上需要同時兼顧多個生成品質指標(文字正確性、構圖合理性、美學偏好)的圖像生成系統來說,意味著更低的訓練成本、更快的迭代速度,且不必為每次新增一項評分標準就重新訓練一整套教師模型。從更廣的角度看,這也呼應了 LLM 領域近期「self-play」「self-distillation」的趨勢,顯示同一套「自我探索 + 優勢比較」的想法可以跨越語言與視覺生成模型,成為降低 RLHF/RL 類方法工程門檻的一個通用方向。

背景

近年 LLM agent 在工具呼叫、瀏覽器操作、程式碼修復、遊戲與具身控制等任務上快速進步,而推動這些能力的關鍵燃料,是「代理互動資料」——記錄 agent 在環境中如何觀察、決策、執行動作並得到回饋的完整軌跡(trajectory)。由於人工標註這類多步驟、跨環境的互動極其昂貴,業界普遍改用自動生成或自我對弈(self-play)的方式大量產生訓練資料。

但這篇由 Xingshan Zeng、Zishan Xu、Boju Zhang 等 14 位研究者聯合發表的綜述論文(arXiv:2608.27260)指出一個長期被忽視的問題:現有工作大多按「領域」分類——工具使用、網頁瀏覽、程式碼、具身智能、科學發現各自為政,使用各自的 benchmark(如 ToolBench、OS-Genesis、SWE-Bench 系列)與評估標準,導致大家看不出這些方法背後其實共享同一套生成邏輯。更嚴重的是,許多研究把「候選資料的建構」與「正確性驗證、資料篩選」混為一談,使得討論資料品質時經常各說各話。論文的核心提問很直接:「什麼才是好的 agentic data?」單純堆疊資料量,並不會帶來更強的 agent。

方法

作者提出兩層框架。第一層是把任何一筆 agentic data 都表示成統一的四元組 d=(E, q, τ, v)：

• E(環境):動作空間、狀態轉移規則、工具集合與觀察協定;
• q(任務訊號):明確指令或需逐步揭露的隱含使用者意圖;
• τ(互動實現):一串觀察與動作序列 (o₀, a₁, o₁, …, aₜ, oₜ);
• v(驗證器):schema 檢查器、可執行測試、終止狀態判斷式或獎勵訊號(可選)。

依照生成時「先固定哪個因子、依賴哪些其他因子」,論文把現有方法分為「正向生成」(Forward,即 E→q→τ,例如 ToolLLM、Gorilla、APIGen 直接綁定真實 API 再由教師模型產生軌跡;或 ToolAlpaca、EnvScaler 用 LLM 合成環境)與「反向生成」三個子類:任務優先(AgentInstruct、ToRA、AutoSDT,先定任務再倒推環境與軌跡)、軌跡優先(Learn-by-Interact、OS-Genesis、Explorer,先探索互動再回填任務標籤)、結構優先(ToolACE-MT、Magnet、APIGen-MT,先建圖再展開對話)。此外還有 AFlow、AgentEvolver 等透過自我對弈持續演化資料的「自適應系統」。

第二層是論文的核心貢獻——ACE 透鏡(Accuracy-Complexity-divErsity):

1. **Accuracy(正確性)**是「準入條件」而非可被其他優點彌補的加分項——資料必須內部一致且貼合真實環境,論文強調「execution 提供比模型主觀判斷更強的正確性錨點,但仍不完備」,因此業界正從單純的規則檢查、模型語義審查(如 APIGen、ToolMVR 的 meta-verification),轉向以真實執行結果(狀態轉移是否成立、測試是否通過)為準的「execution-grounded」驗證。
2. **Complexity(複雜度)**必須相對於「宣告的學習者」與執行設定而定義,而非絕對難度分數。論文給出量化定義:在配置 z 下的失敗率 Cz(d) = 1 − Pr[v(d,τ)=1 | d,z],最佳學習資料應落在「可學習帶」(learnable band)——既非太簡單、也非無法完成。方法上包括資訊延遲揭露、初始狀態選擇、依賴圖與並行/分支路徑控制,以及「learner-relative」的成對配置比較(如 base 模型 vs. agent 輔助後的表現差異)。
3. **divErsity(多樣性)**關注覆蓋率與冗餘度而非單純資料筆數,手段包含多來源擴增(跨 API、跨程式庫)、組合式重組驗證過的子任務、探索式軌跡發現,以及以覆蓋度為導向的跨領域平衡取樣。

實驗結果

由於本文屬於方法論綜述而非單一模型的實證研究,並未提供統一的 leaderboard 分數,但作者系統性梳理了工具使用、網頁/GUI 操作、程式碼工程、具身與社交 agent、科學/形式化 agent 五大領域中,上述生成範式與 ACE 三維度的實際落地案例,並整理出一致的趨勢:近期方法明顯從「表面隨機擾動」轉向「execution-grounded 正確性 + learner-relative 複雜度 + 語義層面多樣性」的組合設計。論文也點出:僅靠擴大資料規模對下游任務表現的邊際收益正在遞減,唯有同時滿足三個維度的資料,才能持續轉化為 agent 能力的提升,這也解釋了為何近期 SOTA agent 訓練管線(如涉及 OS-Genesis、Explorer 等生成器的系統)普遍在資料階段加入了嚴格的執行驗證與難度校準環節,而不只是擴大生成數量。

意義

這篇論文最大的貢獻,是把散落在工具呼叫、GUI 自動化、程式碼修復、具身智能等各自為政的「資料生成 tricks」,收攏進一個共同的數學語言 (E,q,τ,v) 與統一評判標準(ACE)。對從業者而言,這意味著未來設計資料生成 pipeline 時,可以直接對照「我的正確性驗證夠不夠 execution-grounded?」「我的難度是否相對於目標模型能力做了校準,還是用了絕對難度分數?」「我的多樣性擴增只是換句話說,還是真的擴大了行為覆蓋?」三個檢查點,而不必重新發明領域特定的評估標準。

論文結尾也指出未來方向:隨著 agent 與環境本身不斷演化(例如新工具、新網站介面、新程式庫版本上線),資料生成不能是一次性的靜態流程,而應該是持續分配「有效、有資訊量、不冗餘」經驗的動態過程,這對如何擴展資料規模(scaling)、選擇資料來源、設計訓練機制(如結合 RLHF 或線上強化學習)與實現自適應學習,都提出了新的研究議程。對於正在建構 agentic AI 產品的團隊來說,這套 ACE 透鏡提供了一套可操作、可遷移的資料品質診斷框架,而不只是又一篇領域綜述。

背景

淘寶直播(TaoLive)的 AI 數位人主播,要在直播現場即時回答商品問題、炒熱氣氛、還要配合營運隨時調整的行銷策略,對延遲、準確度與應對彈性都有極高要求。這類 agent 系統近年流行「Evolvable Harness」的設計:把 Skill(技能模組)、Hook(掛鉤函式)、prompt 結構、工具(tool)schema 等外部配置,設計成可以獨立於模型權重快速更新的東西。這樣一來,營運團隊今天想加一個新促銷話術、明天想換一種工具呼叫格式,都不用重新訓練模型,改改設定檔就能上線。

問題出在模型本身。大型通用 LLM 雖然 zero-shot 適應能力強,遇到 harness 改版也能臨場應變,但推理速度太慢,撐不住直播現場的即時互動;換成小型模型雖然延遲夠低,卻往往「死記」了訓練時看到的那套固定 harness 格式——一旦 Skill 名稱、工具 schema 或 prompt 排版稍微變動,表現就明顯崩壞。也就是說,小模型被「過擬合」在特定的系統外殼上,失去了原本 Evolvable Harness 想要的靈活性。這篇由 TaoLive AIGC LLM 團隊(通訊作者 Yuhan Sun)發表的技術報告,就是要解決「小模型如何在保有低延遲的同時,也能跟著 harness 一起演化」這個矛盾。

方法

論文提出 Harness-Aware Training(HAT),核心技術是 Harness-State Augmentation(HSA)。做法是對 harness 的各個組成部分——Skill 的識別碼與內容、工具的 schema 定義、prompt 的排版結構、Hook 函式——套用「任務保持轉換」(task-preserving transformations):也就是改變這些元件的表面形式(例如重新命名、調整欄位順序、換一種措辭),但底層要完成的任務語意完全不變。這樣訓練出來的模型,學到的是「這個 harness 現在長什麼樣子,我該怎麼用它」的通用能力,而不是死記某一套固定格式。

整個訓練分三階段進行:

1. HSA-SFT:讓模型從強模型(large model)在各種多樣化環境與 harness 配置下產生的推理與工具呼叫軌跡中學習監督式微調,先打好基本的推理與工具使用能力。
2. General On-Policy Distillation:因為監督式微調常會讓模型在其他一般任務上的泛化能力下滑,這一階段透過 on-policy 蒸餾,把 SFT 過程中流失的通用能力找回來。
3. HSA-RL:在經過 HSA 增強、也就是持續變化的 harness 環境中進行強化學習,直接針對「harness 改版後還能不能穩定表現」這個目標去優化,提升魯棒性。

實驗結果

團隊在四個評估集上驗證 HAT。在 Live-Stream QA(直播問答場景)上,HAT 達到 94.8 分,相較未經 HAT 訓練的 base 模型的 80.3 分大幅提升,甚至超越目前最強的通用 LLM(93.0 分)。在專門測試 harness 變體適應力的 Harness-Variant QA 上,HAT 拿下 94.6 分,base 模型只有 75.4 分,差距同樣顯著。

更關鍵的對照組是「Fixed-Harness SFT」——也就是只用固定一種 harness 配置做監督微調的做法。結果顯示這種做法雖然在對應的固定場景表現尚可,卻讓模型在 IFEval(指令遵循能力評測)上比 base 模型倒退了 7.7 分,顯示過擬合單一 harness 格式會傷害模型原本的通用指令理解能力。相對地,HAT 完全避免了這種退化,IFEval 分數還進一步提升到 83.5 分,證明 HSA 的增強訓練確實保住了泛化性。

在效能面,系統部署在單張 NVIDIA H20 GPU 上,P50 延遲僅 3.4 秒,P95 延遲為 8.1 秒,符合直播現場即時互動的需求。這套系統已實際上線於淘寶直播的數位人服務,線上 A/B 測試顯示對 GMV(成交總額)與商品頁瀏覽量都帶來正向提升,不只是實驗室數字,而是真正跑在生產環境裡驗證過的成果。

意義

這篇報告的價值,在於把「模型訓練」和「系統工程」這兩個過去分開處理的問題,綁在一起思考。過去業界常見的做法要嘛是用大模型硬撐通用性犧牲速度,要嘛是把小模型和固定 pipeline 綁死、犧牲彈性。HAT 提出的思路是:與其讓模型死記某一套 harness,不如主動在訓練時就把「harness 會變」這件事模擬進去,讓模型學會的是一種可遷移的適應能力。

這對所有需要頻繁迭代 prompt、工具定義、技能模組,卻又不想每次改版都重新訓練模型的實際落地場景(客服機器人、電商助理、內容審核 agent 等)都有參考價值——它示範了一套完整、可複製的三階段訓練流程(HSA-SFT、蒸餾恢復、HSA-RL),而不只是空泛的方法論。同時,IFEval 沒有退化、甚至優於 base 模型這一點,也提醒業界:針對特定場景做微調時,「順便」保留通用能力並非奢求,而是可以透過設計得當的訓練流程一併達成。對於想在真實商業場景中部署低延遲 agent、又希望系統能持續快速迭代的團隊來說,這是一份具體且已被線上 A/B 測試驗證過的參考案例。