K1 論文詳解

背景

強化學習(RL)已被證實能讓大型語言模型(LLM)在數學、程式等需要多步推理的任務上大幅進步,但這類經由 RL 訓練出的推理能力,是否能「跨規模」轉移——也就是把一個小模型練出來的 RL 能力搬到一個大很多(或小很多)的模型上——一直沒有定論。arXiv 2609.32722〈Scaling Properties of Same-Family On-Policy Distillation〉系統性研究了同一個模型家族(Qwen2.5 Base,涵蓋 0.5B、1.5B、3B、7B、14B 五種規模)之間的「on-policy distillation(OPD)」現象:讓一個已做過 RL 的教師模型,持續在學生模型自己生成的 on-policy 軌跡上提供監督訊號,藉此把教師的推理能力轉移給學生。作者設計了三種配置——weak-to-strong(小教大)、same-base(同規模自我蒸餾)、strong-to-weak(大教小)——共組成 25 組教師-學生配對,在混合 GSM8K 與 MATH 的 14.8K 筆訓練資料、6.3K 筆測試資料上做評測。

方法

核心量測指標是「gold score(G)」,即學生模型在留出測試集上的正確率。研究發現,在 OPD 訓練初期,不論哪一種師生配置,G 相對於 d(學生目前策略 π_θ 與初始策略 π_ref 之間 token-level reverse KL 散度的平方根)幾乎都呈現線性上升——作者稱之為「useful-transfer regime(有效轉移區)」。也就是說,只要蒸餾讓學生策略持續、正確地偏離初始狀態,準確率的提升幾乎可以用一條直線來描述。基於這個規律,作者進一步對兩個關鍵量——訓練達到的「峰值 gold score(G_peak)」與 useful-transfer regime 的「斜率」——分別對學生參數量、教師參數量、教師自身 gold score 擬合 power law。以標準 OPD(Vanilla-OPD)為例,峰值分數的聯合冪律擬合出係數 A=0.97、學生規模指數 α=0.30、教師規模指數 β=-0.27、教師誤差項指數 ζ=0.95;改良版本 Delta-OPD 則是 A=1.02、α=0.34、β=-0.33、ζ=1.01。轉移速率部分的指數落在 γ≈0.19–0.20、δ≈-0.61 至 -0.73、ξ≈1.90–2.01 之間。除了 Vanilla 與 Delta 兩種 OPD 變體,論文也測試了「bootstrapping weak-to-strong OPD」(用學生自己迭代產生的中繼模型當教師)以及不同程度的 on-policy 監督(教師訊號多大程度來自學生自己生成的軌跡,而非教師自己的軌跡)。

實驗結果

最引人注目的結果是:在所有觀察到的 weak-to-strong 配對中,學生的峰值 gold score 都超過了教師自己的分數。例如只用一個 0.5B 參數、本身推理能力有限的 RL 教師,去指導 14B 參數的學生做 OPD,學生準確率可以從 77.7% 一路推進到 87.3%,遠遠超越那個小教師自己的表現,顯示一個很小的 RL 專家模型依然能把有用的推理訊號「教」給大好幾個數量級的學生模型。在 same-base(本質上是自我蒸餾)配置下,OPD 練出的峰值分數與直接對該規模做完整 RL 訓練的參照分數相比,五個規模全部都落在 0.5 個百分點以內,代表 OPD 幾乎能以更便宜的方式複製直接 RL 的效果。用前述 power law 外推、預測未參與擬合的「最大規模模型」表現時,Vanilla-OPD 的預測誤差在 0.7 個準確率百分點以內,Delta-OPD 更收斂到 0.4 個百分點以內,顯示這套 scaling law 有不錯的外推能力。此外,冪律擬合也揭示一個反直覺現象:教師規模對峰值分數的正面幫助,大約只到「接近學生自身規模」為止,超過這個範圍教師再變大,學生峰值分數反而開始下降(負值的 β 正反映了這點);而在教師 gold score 相同的情況下,規模較小的教師反而轉移效果更好,說明教師的測試分數本身並不能完全決定它作為監督來源的「教學品質」。

意義

這篇研究把過去相對零散的「蒸餾出的推理能力能不能跨規模轉移」問題,轉化成一套可以用 power law 定量描述、甚至外推預測的 scaling 框架。對實務工程團隊而言,這意味著未來要把某個現有 RL 推理模型的能力複製到全新規模的模型上時,不必每次都重跑一輪昂貴的端到端 RL——可以先用相對便宜的小教師,透過 on-policy distillation 把推理能力快速「灌」進大模型,再視需要微調,大幅降低訓練成本與時間。同時,「教師分數越高不代表監督品質越好」以及「教師規模超過學生規模後幫助遞減」這兩個發現,也提醒團隊設計蒸餾管線時,教師的選擇不能只看自身 benchmark 成績,還要考慮它與目標學生規模的匹配程度。長遠來看,這類同源模型間的 OPD scaling law,有機會成為模型家族做「規模遷移」時的標準化工具,讓一次 RL 訓練的成果能以可預測、可控成本的方式擴散到整個模型家族的不同尺寸版本上。

背景

現在的通用型 AI agent 已經能做到長時間規劃、推理與自主行動,但一碰到「產出」這件事就會露餡:文字生成沒問題,一旦要求輸出圖片、音訊、影片、文件排版、3D 模型或跑一段程式碼,能力就變得七零八落。過去解決這個問題有兩條路:第一條是把新模態直接塞進基礎模型裡訓練,但這代表每次要擴充能力都得重新訓練或微調模型,成本極高,而且模型更新週期跟不上需求變化;第二條是外掛專家模型與工具(例如呼叫一個文生圖模型、一個語音辨識 API),但這樣做會留下一堆沒解決的問題:多個工具之間的執行順序怎麼排、中間產出的檔案怎麼互相依賴、使用者跨輪對話修改某個資產時要怎麼追蹤版本。

論文作者(以新加坡國立大學 Hao Fei 為通訊作者的團隊)觀察到,業界目前最強的通用 agent,例如 GPT-5.6 Sol 與 Claude Sonnet 5,雖然推理核心很強,但在他們建立的 UniM-90 評測集上,對輸入模態的「支援率」(input-support rate)分別只有 40.00% 與 38.89%——換句話說,超過六成的多模態任務請求,這些頂尖 agent 光是「能不能處理這個輸入」這一關就過不了。這個落差正是 Omni-IO Skills 想要填補的缺口:在不動 agent 推理核心的前提下,用一層「外殼」(harness)把多模態能力補齊。

方法

Omni-IO Skills 的核心思路是把多模態能力當成可插拔的「技能」(Skills)來管理,整個架構分成四層:

1. Skill 入口層:把程序性知識分成三個層級——19 個 Atomic Skills(單一操作,例如圖片生成、語音轉文字、程式碼生成)、2 個 Expert Skills(完整工作流程,例如海報設計、影片製作)、6 個 Scenario Skills(應用層任務,例如製作社群貼文、教育內容),總共 27 個 Skills,覆蓋 38 種代表性任務與七種產出模態(文字、圖片、音訊、影片、文件、3D 資產、程式碼),並橫跨理解、生成、推理、檢索四大能力家族。
2. MCP 工具服務層:把這些能力包裝成標準化的多模態執行介面,讓 agent 呼叫工具時不用管底層實作細節。
3. Provider 與設定層:負責把抽象的能力綁定到具體的執行後端(例如某個文生圖模型或某個 TTS 引擎),而且這些後端是可替換的,不會綁死在單一供應商上。
4. 資產登錄層(Asset Registry):這是整個系統的關鍵創新之一——所有成功產出的中間或最終資產都會被登錄並賦予持久化的參照 ID,而不是依賴檔案路徑。這讓資產可以在下游步驟、甚至跨越多輪對話時被重複使用與引用,使用者在第五輪對話要求「把剛才那張海報的字體改一下」時,系統依然找得到原始資產。

而串起這一切的執行機制,叫做 Declare Execution Graph(DEG,聲明式執行圖)。當一個任務牽涉多個資產與多個步驟時,系統會先把整體工作流表達成一張有向無環圖,驗證其中沒有循環依賴,然後把可以平行處理、彼此不互相依賴的操作編排進同一個「Wave(批次)」中並行執行,有依賴關係的步驟則按拓樸順序依序進行。如果某個節點失敗,系統只會取消依賴於它的下游節點,不相關的其他分支仍會繼續執行完畢——這讓整個工作流在部分失敗時仍具有一定的韌性,而不是一失敗就全盤重來。

值得注意的是,這整套機制是以「外殼」的形式包在既有 agent 外面,完全不需要更動 GPT-5.6 Sol 或 Claude Sonnet 5 本身的權重或推理邏輯,理論上可以套用在任何具備工具呼叫能力的通用 agent 上。

實驗結果

研究團隊建立了 UniM-90 評測集,包含 90 個涵蓋七種模態的受控測試實例,用來衡量 agent 在裝上 Omni-IO Skills 前後的差異。主要看三個指標:

• 輸入支援率(Input-support rate):衡量 agent 能否正確處理特定模態輸入。GPT-5.6 Sol 從 40.00% 提升到 100%;Claude Sonnet 5 從 38.89% 提升到 100%。也就是說,原本超過六成任務連「跑得起來」都做不到,裝上外殼後全部都能處理。
• 相對語意—品質耦合分數(relative Semantic-Quality Coupled Score, SQCS):這個指標同時衡量產出內容在語意上是否符合要求、以及品質是否過關。GPT-5.6 Sol 從 26.99 大幅提升到 74.94(提升約 48 分);Claude Sonnet 5 從 27.82 提升到 77.78(提升約 50 分)。
• 嚴格結構分數(Strict Structure Score):衡量輸出格式與結構是否完全符合規範。裝上 Omni-IO Skills 後,GPT-5.6 Sol 達到 100.00,Claude Sonnet 5 達到 99.78,幾乎完美。

這些數字說明一件事:兩個原本在多模態任務上表現參差不齊的頂尖 agent,在套用同一套外部 Skills 外殼之後,不只是「能跑」的比例衝到滿分,連帶輸出的語意正確性與結構嚴謹度也同步跳升,顯示瓶頸主要不在模型的推理能力,而在於「怎麼把多模態輸入輸出、工具依賴、資產管理組織起來」這件事本身。論文附帶的篇幅相當扎實——完整論文有 28 頁、11 張圖、18 張表,對 27 個 Skills 與各種消融實驗都有詳細拆解。

意義

這篇論文提出的觀點,對目前 AI agent 的發展路線有蠻直接的啟示:與其把「多模態能力」當成基礎模型必須內建的東西、每次擴充都要重新訓練一個更大更貴的模型,不如把它當成一層可以獨立演化、獨立替換的「外殼基礎設施」。這種「harness-level capability composition(外殼層級的能力組合)」思路意味著:

第一,能力擴充與模型迭代解耦。當有新的文生圖模型、新的語音引擎問世,只需要在 Provider 層接上新的後端,不需要為了「讓 agent 學會用這個新工具」而重新訓練或微調基礎模型,這對於像 Claude、GPT 這種更新週期以月甚至年計的大模型而言,是更敏捷的擴充方式。

第二,資產登錄與依賴圖管理補上了「多輪、多資產協作」這塊長期被忽略的工程問題。過去 agent 工具呼叫大多是單次、無狀態的,而實際的創作型任務(做一份簡報、剪一支影片、設計一組品牌視覺)本質上是多步驟、有依賴關係、且需要跨輪修訂的。DEG 與 Asset Registry 的設計直接回應了這個現實落差。

第三,對於正在評估要不要採用 GPT-5.6 Sol、Claude Sonnet 5 這類通用 agent 來做多模態內容生產的團隊來說,這篇論文提供了一個重要訊號:目前這些旗艦模型在「裸接」狀態下處理多模態輸入輸出的能力其實相當有限(支援率不到四成),但只要補上恰當的編排層,就能把上限拉到接近滿分。這也提醒開發者,在評估一個 agent 的「多模態能力」時,不能只看模型本身的 benchmark,還要看它所處的工具鏈與外殼設計是否到位——很多時候,限制模型表現的不是模型,而是外殼。

背景

近年來語音對話系統的能力突飛猛進,大型語音語言模型(Large Audio Language Model, LALM)已經可以直接吃進聲音訊號、理解語意並回應,不再需要先轉成文字。但這類系統若要撐起長期、多輪的對話助理場景——例如陪伴機器人、客服系統、個人助理——就必須具備「記憶」能力,能夠回頭調用先前互動中的資訊。

問題是,語音裡蘊含的資訊遠比文字轉錄稿豐富。一句話「說了什麼」只是冰山一角,「誰說的」(speaker identity)、「怎麼說的」(paralinguistic cues,例如語氣、情緒、停頓)、以及「當下環境裡聽得到什麼」(environmental sound,例如背景噪音、其他聲音事件),這些資訊只存在於音訊訊號本身,一旦轉成逐字稿就永遠消失了。

作者觀察到,現有的語音記憶評測 benchmark 有三個結構性缺陷:第一,幾乎只測「語意內容」這種文字也能傳達的資訊,忽略了聲音獨有的線索;第二,測試的記憶操作方式很陽春、零散,通常只做簡單問答;第三,普遍把記憶問題設計成「單一場次(single-session)」的任務,也就是所有對話都發生在一段連續錄音裡,但現實中的互動往往橫跨多次獨立的對話場次(session),資訊是逐步累積、跨場次整合的。這篇論文(arXiv:2609.32607,作者 Yang Xiao、Vidhyasaharan Sethu、Eun-Jung Holden、Ting Dang,2026 年 9 月提交)正是要補上這塊拼圖,提出一套系統性的分類架構(taxonomy)與對應的評測基準 VoxMem。

方法

VoxMem 的核心設計理念,是把「該記住什麼」與「用什麼方式操作記憶」拆成兩條正交的軸線來系統性建構測試案例。

第一條軸線是「聲學證據類型(acoustic evidence type)」,涵蓋四種:

• 語音語意(speech semantics):傳統文字層面的內容,例如某人講過的事實或承諾。
• 說話者身份(speaker identity):同一段對話裡誰在什麼時候說了什麼,需要靠聲紋辨識累積推理。
• 副語言線索(paralinguistic cues):語氣、情緒、口氣強弱等無法用文字精確表達的訊息。
• 環境聲音(environmental sound):背景中出現的聲音事件,例如狗吠、電話鈴聲、交通噪音等場景資訊。

第二條軸線是「記憶操作(memory operation)」,同樣分四類:

• 資訊擷取(information extraction):單點事實的直接檢索。
• 多場次推理(multi-session reasoning):需要整合分散在不同對話場次中的證據才能回答。
• 時序追蹤(temporal tracking):追蹤某個狀態隨時間演變,例如某人心情或計畫的變化。
• 拒答判斷(answer refusal):模型要能判斷「這個問題其實無法從已知歷史中回答」,並誠實拒答,而不是硬掰答案。

在這套 2×4 的分類架構之上,VoxMem 構建了 3,196 個評測樣本,建立在 34,743 個語音場次(spoken sessions)之上,總時長達 177 小時,所有樣本都建立在多場次(multi-session)的對話歷史之上,而非單一連續錄音。為了測試模型在不同記憶負擔下的表現,資料集還依照上下文長度分層(stratified),涵蓋從 8K 到 64K tokens 的不同上下文預算(context budget),讓研究者可以觀察模型效能如何隨著要「記住」的歷史長度增加而變化。這種跨場次、跨證據類型、跨操作、跨上下文長度的四維交叉設計,是 VoxMem 相較過去 benchmark 最大的方法論創新。

實驗結果

作者在 VoxMem 上評測了 15 個 LALM,結果相當嚴峻:在 32K tokens 的上下文長度下,沒有一個模型的準確率能超過 40%。這代表即使是目前最先進的語音理解模型,面對真實世界般跨場次累積的複雜記憶任務時,表現仍遠不及格。

更細緻的分析揭示了一個一致且顯著的落差:模型記住「說了什麼」(語意內容)的能力,明顯優於記住「誰說的」「怎麼說的」或「聽到了什麼」這三類聲學專屬資訊。也就是說,現有 LALM 在處理語音記憶時,其實很大程度上仍是在做「文字記憶」,對聲音訊號中獨有的線索利用率很低。

這個差距並非固定不變,而是會隨著兩個因素持續放大:

1. 操作複雜度:當任務從單純的資訊擷取,進階到多場次推理或時序追蹤這類需要整合、比較證據的複雜操作時,語意內容與其他三種聲學證據之間的表現落差會進一步擴大。
2. 歷史長度:隨著對話歷史從 8K 拉長到 64K tokens,模型整體表現下滑,而這個「語意 vs. 其他聲學線索」的落差也隨之變得更明顯——換句話說,模型在長歷史下最先流失的,正是那些只能從音訊本身取得的資訊。

此外,論文也指出不同聲學證據類型會導致「質性上不同的失敗模式(qualitatively distinct failure modes)」——例如混淆說話者身份的錯誤方式,和誤判環境聲音的錯誤方式,在模式上並不相同,這暗示模型內部處理這些訊息的機制本身就有差異,而不只是單純的準確率高低問題。

意義

VoxMem 的意義,不只是又推出一個更難的 benchmark,而是重新定義了「語音對話記憶」這個問題該怎麼被測量。過去的評測方式本質上是把語音當成文字的載體,測試結果自然無法反映模型是否真正在「聽」而不只是在「讀」。VoxMem 透過聲學證據類型與記憶操作的雙軸分類架構,加上跨場次、跨上下文長度的設計,提供了一套更貼近真實世界使用情境(例如長期陪伴型語音助理、跨多次通話的客服系統)的評測基礎。

對產業與研究社群而言,這篇論文傳遞出一個明確警訊:即便是最新的 LALM,在 32K 上下文下全數低於 40% 準確率,顯示「多模態記憶」仍是一個遠未解決的難題,而且問題的癥結不在模型「記不記得住」,而在於它們對聲音訊號中除語意以外的資訊掌握能力嚴重不足。這意味著未來要打造真正可靠的語音助理,單靠把語音轉文字再套用純文字的記憶與檢索技術(例如 RAG 式的對話歷史管理)是不夠的,還需要專門針對說話者身份、語氣情緒、環境聲音等訊號設計對應的編碼與檢索機制。VoxMem 提供的 177 小時、34,743 個場次的大規模測試集,也為後續研究者提供了一個可以持續追蹤進展、比較不同架構優劣的共同標尺,有機會推動整個領域從「文字記憶的語音包裝」邁向真正意義上的「多模態對話記憶」。