K1 論文詳解

背景

過去一年,像 Claude Code、Gemini CLI 這類命令列型 coding agent 已經證明自己能讀寫檔案、跑測試、甚至維持長時間的多輪工作階段,能力早已超出「寫程式小助手」的範疇。於是很自然地,有團隊開始想像:既然這些 agent 能自主完成軟體工程任務,能不能把它們直接套用到「做研究」這件事上,打造出全自動的 AI 科學家?

問題是,真正的研究流程從來不是單一動作,而是文獻調研、發想、寫實驗程式、跑分析、寫論文一連串環節的組合。目前的作法往往是把這些環節拆散在聊天工具、IDE、終端機和寫作軟體之間各自進行,導致兩個致命缺陷:第一,人在中間做的每一個判斷——為什麼選這個假設、為什麼放棄某個實驗方向——幾乎不會被系統性保留下來;第二,一旦某個環節出錯或被中斷,很難回溯到底是哪一步出了問題,更難安全地恢復。換句話說,越自主的 agent,流程反而越不透明、越難審計。

由 Dingjie Song、Lichao Sun 等 13 位作者共同發表的論文《Dr. Claw: An AI Scientist Workspace for Vibe Research》(arXiv:2609.00365,已被 EMNLP 2026 System Demonstrations 接受)正是針對這個矛盾提出解方。他們刻意不走「再做一個全自主 AI 科學家 agent」的路線,而是把現有的 coding agent 執行器包裝進一套「人在迴路中(human-in-the-loop)」、可控、可審計的工作流系統——這就是 Dr. Claw。

方法

Dr. Claw 的核心定位是「編排層(orchestration layer)」,而不是取代底層 agent 的新大腦。它的架構圍繞三個關鍵元件展開:

持久化狀態物件(persistent state objects):研究專案的每一步狀態都被具體化為結構化資料,例如專案根目錄下的 .pipeline/docs/research_brief.json 記錄研究簡報,.pipeline/tasks/tasks.json 記錄任務圖的執行狀態。這意味著人類做出的每個決策——採納哪個研究假設、調整了哪個實驗參數——都會被寫進可回放的紀錄裡,而不是散落在對話紀錄中隨風而逝。

可重用技能庫(skill library):系統內建約 100 個研究技能,涵蓋文獻回顧、腦力激盪、程式碼實作、統計分析、學術寫作到會議簡報準備等環節,會依照任務圖當前所處的階段自動被發現並套用,避免每次都要重新教 agent 怎麼做同一件事。

多執行器協調(multi-executor coordination):後端可以同時管理多個 coding agent 後端,目前支援 Claude Code、Gemini CLI、OpenAI 的 Codex,以及透過 OpenRouter 串接的上百種模型(包含 GPT-5、DeepSeek、Llama、Qwen 等),各自獨立處理程序啟動、串流輸出與工作階段管理。

整個研究流程被組織成一張任務圖,依序流經 Survey(調研)、Ideation(發想)、Experiment(實驗)、Publication(寫作)、Promotion(推廣)五個階段。使用者可以選擇「Auto Research」讓系統自動依序跑完全部階段,也可以手動挑選單一任務,由人來微調 AI 的產出後再繼續往下走。介面上則提供三種視角:對話式的 Chat 介面用於描述研究想法並生成結構化簡報;Research Lab 用於檢視管線進度、產出物與各階段指標;Terminal/CLI 則讓進階使用者直接取得完整 agent 存取權限,三者共用同一套底層狀態,彼此可以隨時切換而不遺失上下文。

當 Auto Research 執行到一半被中斷(例如 agent 當機、網路斷線),系統會自動偵測並「協調(reconcile)」卡在 running 狀態的任務,讓使用者可以透過工作階段紀錄安全地重試,而不必從頭重跑整個管線——這正是論文特別用一個「失敗恢復走查(failure-recovery walkthrough)」案例來展示的能力。

實驗結果

為了驗證編排層本身的價值,而不是被底層模型能力的差異混淆結果,研究團隊採取了「固定執行器」的對照設計:讓 Dr. Claw 與一個使用完全相同後端 agent 的「裸命令列 agent(bare command-line agent)」執行同一組研究任務。也就是說,兩邊用的是同一顆大腦(同一個 Claude Code 或 Gemini CLI),差別只在於有沒有 Dr. Claw 這層任務圖、狀態物件與技能庫的包裝。

比較的結果顯示,在「研究完整性(research completeness)」這項指標上,Dr. Claw 明顯優於裸 agent 版本——換言之,在相同模型能力的前提下,光是引入結構化的任務拆解、持久化狀態與可重用技能,就能讓最終產出的研究內容更完整、更少遺漏關鍵步驟。與此同時,Dr. Claw 全程保留了一條可審計、可回溯的流程軌跡(process trail),這是裸 agent 版本原生不具備的能力,因為後者的每一次互動基本上是無狀態、事後難以重建的。論文透過前面提到的三視角互動情境與失敗恢復案例,具體展示了這條軌跡在實務上如何協助使用者理解「AI 到底做了什麼決定」,以及在出錯時如何精準地回到中斷點,而不是被迫整段重來。

需要說明的是,論文作為系統示範(system demonstration)論文,重點在於架構設計與定性案例展示,並未提供大規模量化 benchmark 的詳細分數表,這也符合 EMNLP System Demonstrations 這類軌道通常著重工具落地與可用性論證、而非追求 SOTA 數字的慣例。

意義

Dr. Claw 提出的訊息其實相當直接:與其追求打造一個端到端自主完成研究的「AI 科學家」,不如先把現有已經很強的 coding agent 放進一個可控、可審計的框架裡,讓人類始終保有關鍵決策權,同時把決策過程本身變成可以被檢視、被學習、被重用的資產。這對目前業界對「agentic AI」既興奮又焦慮的氛圍是一個務實的中間解——當自主性帶來的不可預測性成為採用的最大障礙時,把重點放在「可審計性」與「可恢復性」,反而可能是讓 AI 真正進入嚴肅研究工作流的更快路徑。

其開源(AGPL-3.0,部分上游元件沿用 GPL-3.0)、多執行器不綁定單一供應商的設計,也降低了團隊導入的門檻——無論偏好 Claude Code、Gemini CLI 或 Codex,都能套用同一套任務圖與技能庫邏輯。對於長期需要在多個工具間來回切換、又擔心研究決策無法被追溯的研究團隊與個人研究者來說,這類「編排層」而非「替代品」的定位,可能比再多一個自主 agent 更值得關注。

背景

自從 GPT 系列證明「next-token prediction(NTP)」這個簡單目標可以訓練出強大的語言模型以來,幾乎所有主流 LLM 都採用自回歸(autoregressive, AR)架構:每次只能根據前面已生成的 token,預測下一個 token,一個接一個往外吐字。這種結構是 LLM 品質的來源,但也是推理速度的天花板——生成 100 個 token 就必須做 100 次前向傳播,無法平行化,尤其在需要長篇推理、agentic 工具呼叫或長上下文摘要的場景中,使用者體驗會被這種「逐字擠牙膏」的速度嚴重拖累。

業界目前主要有兩條路想解決這個問題。第一條是 speculative decoding(推測解碼):用一個小的「草稿模型(draft model)」先快速猜出好幾個 token,再交給大模型一次驗證、接受或丟棄。這個方法能無損加速(輸出分布與原模型完全一致),但代價是要額外訓練、維護、部署一個獨立的草稿模型,工程複雜度和記憶體開銷都不小。第二條路是近年興起的 diffusion LLM(d-LLM),例如 Mercury、LLaDA、以及本文比較的 DiffusionGemma,它們完全捨棄自回歸結構,改用離散擴散(discrete diffusion)一次生成一整塊文字,天生就能平行輸出多個 token。問題是,d-LLM 通常需要從頭用擴散目標訓練,生成品質往往不如同規模的 AR 模型,而且要達到堪用的品質,常常得把模型做得更大(例如本文提到的 26B DiffusionGemma)。

這篇論文(arXiv 2609.04010,由 Subham Sekhar Sahoo 領銜、共 17 位作者完成)提出了第三條路:與其在「AR 品質」和「平行速度」之間二選一,能不能讓兩者共存?他們的答案是 diffusion-augmented LLMs——保留 AR 模型原本的機率分布不變,只是用擴散機制當作一種「取樣器」,一次從這個分布裡並行抽出多個 token,而不是逐一取樣。這樣既不用犧牲原模型的生成品質,也不需要另外養一個草稿模型。

方法

這套方法的核心設計是把模型參數拆成兩組:

1. AR 權重:就是一般用 NTP 目標(標準的 next-token cross-entropy)訓練出來的權重,決定了模型「真正的」輸出分布,也是模型品質的來源。
2. 擴散權重:一組輕量級的額外參數,任務不是重新定義模型要生成什麼,而是學會如何一次並行推測出多個 token,這些 token 的聯合分布要盡量逼近 AR 模型原本會依序生成的分布。

這組擴散權重是透過作者提出的 Diffusion Distillation(擴散蒸餾) 階段訓練出來的。關鍵在於這個階段的訓練成本極低——論文強調它對既有 LLM 訓練流程(pretraining pipeline)只增加「可忽略的額外開銷(negligible overhead)」,不需要重新跑一次完整預訓練。因為 AR 權重和擴散權重是解耦(decoupled)的,這也意味著這套方法有兩種使用方式:可以從零開始訓練一個原生的 Uno 模型,也可以直接拿現成的開源 AR LLM(open-weight)來做「擴增(augmenting)」,加裝一組擴散權重,把既有模型改造成能平行生成的版本。

光有能平行生成候選 token 的擴散頭還不夠,還必須保證最終輸出跟原本 AR 模型逐字生成的結果在分布上完全一致,否則就是「有損」加速,品質會打折扣。為此,作者設計了一套稱為 Ψ-Spec 的取樣器家族。Ψ-Spec 的運作邏輯與 speculative decoding 神似(先並行提出多個候選 token,再驗證接受),但關鍵差異在於它不需要一個獨立的草稿模型——擴散權重本身就內建在同一個模型裡,直接從 AR 分布擬合出候選,再用可證明無損(provably lossless)的驗證機制篩選要接受的 token 數量。這帶來兩個好處:一是部署更簡單,少了維護、對齊、記憶體佔用另一個模型的麻煩;二是 Ψ-Spec 支援「inference-time scaling at a fixed context length」,也就是說在固定的上下文長度預算下,可以透過調整取樣策略在推理階段換取更高的吞吐量,而不必碰觸模型本身。

最終產出的模型系列稱為 Uno,論文釋出了包含 7B(K2-Horizon-7B-Uno)、0.9B(K2-Horizon-0.9B-Uno)以及基於 Qwen3 架構打造的 8B 版本(uno-qwen3-8B)在內的多個 checkpoint,並公開了程式碼與權重。

實驗結果

論文的實測重點放在兩個維度:推理效率與生成品質,而且刻意強調「無損(lossless)」——也就是說 Uno 加速後的輸出分布跟原本的 AR 模型完全等價,不是靠犧牲品質換速度。

在效率方面,結果顯示 Uno 在所有測試過的 batch size 下,吞吐量都超過目前最領先的 speculative-decoding 方法,而且相較於原始的 AR base model,最高可以取得 3 倍的加速,包括在裝置所能支援的最大 batch size 情境下依然保持這個優勢——這點特別重要,因為許多加速方法(尤其依賴額外草稿模型的方案)在大 batch 時記憶體與計算瓶頸會抵銷掉平行化帶來的好處,而 Uno 在大 batch 下仍能維持領先。

在品質方面,論文用 8B 規模的 Uno 模型,對比目前公認最強的開源 diffusion LLM——26B 的 DiffusionGemma,以及商用的 Mercury 2。結果是這個只有 8B 參數量、體積不到 DiffusionGemma 三分之一的 Uno 模型,在所有評測的 benchmark(涵蓋 agentic 工具呼叫、程式碼生成、長上下文推理三大類任務)上都優於這兩個對手。這個結果直接呼應了論文的核心論點:因為 Uno 沒有放棄 AR 目標函式訓練出來的品質基礎,只是在其上疊加平行取樣能力,所以能用遠小得多的模型規模,打贏那些必須靠擴大模型規模來彌補擴散訓練品質損失的純 d-LLM。

意義

這篇論文的價值不只在於「又快了幾倍」的性能數字,更在於它重新定義了「加速」與「品質」之間的取捨關係。過去業界預設:要嘛守住 AR 的品質天花板、忍受序列生成的速度上限(speculative decoding 雖然無損,但需要額外模型與工程成本);要嘇改用擴散架構換取平行度、但得接受品質妥協或用更大模型堆回品質(如 26B 的 DiffusionGemma)。Uno 展示了第三種可能:把擴散當作一個「輕量掛件」加裝在既有 AR 模型上,既不改變模型本來的知識與判斷力,又能繼承擴散模型平行生成的速度優勢,而且訓練這個掛件的成本低到可以說是「順手」就能整合進現有的訓練管線裡。

對實務落地而言,這意味著現有已經上線、經過大量 RLHF 對齊和調校的開源 AR LLM,理論上不需要重新訓練整個模型,就能透過 Diffusion Distillation 這種相對低成本的方式獲得推理加速——這比重新訓練一個原生 diffusion LLM 的門檻低得多,對已經投入大量資源在某個 AR 底座模型上的團隊格外有吸引力。同時,Ψ-Spec 不依賴獨立草稿模型的特性,也簡化了服務端(serving)的架構複雜度,對於需要在有限 GPU 資源下衝高吞吐量(尤其是大 batch、多用戶併發的線上服務場景)的公司來說,是一個實用性很強的方向。

更長遠來看,這項工作也是「AR 與 diffusion 融合」這條研究路線的一次有力示範:與其把兩種生成範式視為互斥選項,把擴散定位成 AR 模型的「取樣加速器」而非「替代方案」,或許會是短中期內讓 LLM 服務兼顧品質與速度的更務實路徑,尤其考慮到 agentic 應用(需要大量工具呼叫、多輪規劃)對延遲極為敏感,任何在不犧牲推理正確性前提下的加速手段,都會直接反映在使用者體感與服務成本上。

背景

近年推理模型(reasoning model)最熱門的訓練方式之一,是讓模型從自己生成的「on-policy」推理軌跡中學習——模型自己解題、自己產生思路,再靠某種訊號評估這些嘗試的好壞,回饋去更新模型本身。這個「自我進步」的內迴圈聽起來很吸引人,但論文作者(Zixun Huang、Kishan Panaganti、Haitao Mi、Leowei Liang,arXiv 編號 2609.03241)指出,這個迴圈其實相當脆弱。

問題出在兩種監督訊號各有缺陷。第一種是「terminal verifier」,也就是只在答案給出後才判斷對錯的驗證器(例如數學題的最終答案是否正確)。這種訊號可靠,但非常稀疏——只在軌跡結束時給一個 0/1 的訊息,中間每一步該往哪走完全不知道。第二種是「dense same-model guidance」,也就是用模型自己(或模型的某個變體)對每個 token 給出密集的引導訊號。這種訊號雖然資訊量大,卻很危險:模型可能會強化自己原本就有的錯誤自信(false confidence),或者讓學習過度集中在少數幾種「看起來眼熟」的解法模式上,喪失多樣性。

這正是現有方法(如 FlowRL、OPSD、RLSD)所面臨的兩難:要嘛只用稀疏但可靠的 verifier 訊號,要嘛引入密集但可能誤導的自我引導訊號。論文特別點名 OPSD 的失敗模式——直接套用密集自我引導後,模型的回應長度會急遽崩潰(response-length collapse),也就是模型學會用越來越短、越來越單一的方式「應付」問題,而不是維持完整的推理過程。FlowBalance 想解決的,就是如何把這兩種訊號結合起來,既保留 verifier 的可靠性,又能利用密集訊號的資訊量,而不引入它的副作用。

方法

FlowBalance 的核心想法,是把「學一個好的策略」重新表述成「學一個完整回應(complete response)上的正規化機率分布」的問題,而不是逐 token 做模仿學習。具體做法分成幾個環節:

1. 產生 token 級的自我引導分數。 對每一條 on-policy 生成的軌跡,系統會用一個「凍結的訓練時視角」(frozen training-time view)——也就是同一個策略模型的一個固定快照——去重新審視這條軌跡,但這次給它「特權情境」(privileged context),例如參考解答等訓練專用資訊。用這個「事後諸葛」的視角去比對每個已生成 token 的機率,和原本(沒有特權資訊)的參考策略相比,能算出每個 token 的 log-probability 增益。把整條軌跡的 token 級增益聚合起來,就得到一個「軌跡級自我引導分數」。

2. 用 verifier 的 group advantage 校準這個分數。 這是全文最關鍵的設計:自我引導分數不是直接拿來用,而是要跟 verifier 給出的組內優勢(group advantage,類似 GRPO 中同一 prompt 下多個 rollout 互相比較所得的相對優劣)做校準。規則很直白——如果某條軌跡的 group advantage 是正的(即結果比同組平均好,通常對應答對),就保留自我引導訊號;如果 advantage 是負的(結果比同組差,通常對應答錯),就把引導方向反過來;如果整組 rollout 全對或全錯、verifier 完全給不出組內偏好,就直接關閉自我引導。這個機制的目的,是防止模型在「錯誤但看起來自信」的軌跡上被自我引導進一步強化——即所謂對「rejected responses」上的假陽性自我引導做「精確修正」(exact correction)。

3. 用 trajectory balance 擬合正規化目標。 校準後的分數形成一個「能量」(energy),以指數方式重新加權參考策略,構成一個正規化目標分布。FlowBalance 不需要另外訓練一個 token 級模仿損失,而是用 "profiled trajectory balance" 來擬合這個目標——每個 rollout 組只需要估計「一個」對數配分函數(log-partition)純量值,用它吸收掉每個 prompt 共通的偏移量,同時保留組內 N-1 個獨立的相對對比訊息。這比逐 token 學習配分函數網路要簡潔得多。

論文也提供了理論分析支撐這個設計:「組內對比保存」(within-group contrast preservation)、「最小變化的 reverse-KL 特徵化」(即校準後的更新是滿足約束下、對原策略改動最小的解)、「verifier 對目標獎勵的單調控制」,以及前述對假陽性自我引導的精確修正保證。

實驗結果

實驗聚焦在數學推理任務,基座模型分別是 Qwen3-4B 與 Qwen3-8B,對照方法包括 GRPO、OPSD、RLSD 與 FlowRL。

在 Qwen3-4B 上,FlowBalance 在四個核心 benchmark 全面超越 FlowRL:AIME24(Pass@16)達到 80.00%(FlowRL 75.33%、GRPO 78.00%)、HMMT25 達到 32.00%(FlowRL 30.67%)、MATH500 達到 93.28%(FlowRL 92.84%)、OlympiadBench 達到 65.49%(FlowRL 65.25%)。

在 Qwen3-8B 上優勢更明顯:AIME24 達到 89.33%(對比 FlowRL 86.67%、GRPO 85.33%)、HMMT25 34.67%(FlowRL 30.67%)、MATH500 93.52%、OlympiadBench 66.85%。整體四項核心 benchmark 平均分數比 FlowRL 高出約 1.98 個百分點,且在主表所有 benchmark 上都拿下最佳平均值。

訓練效率方面,FlowBalance 僅需約 100 步就能讓 AIME24 驗證準確率達到 50%,而 GRPO 需要約 143 步,快了約 1.43 倍;穩定性上,FlowBalance 能在長達 400 步的訓練過程中維持在準確率高點附近,而 GRPO 大約在 180 步後就開始明顯退化。相較之下,直接套用 OPSD 的密集自我引導,會導致回應長度迅速崩潰為短答案;FlowBalance 則能維持較長、較完整的推理軌跡,避開了這個病態現象。

另外論文設計了一個 AIME24 的「控制診斷」實驗,用 Simpson 多樣性指標衡量模型在答對的前提下,使用了多少種不同的正確解題策略:FlowBalance 得到 0.2194,明顯高於 GRPO 的 0.1017 與 RLSD 的 0.1456,說明 FlowBalance 訓練出來的模型不只答得對,解法也更多元,不會塌縮到單一套路。

意義

FlowBalance 提供的是一個相對通用的框架性答案:自我改進迴圈中「稀疏但可信」和「密集但危險」這兩種訊號,不必二選一,而是可以透過 verifier 的組內優勢作為「開關/反轉」機制,把密集訊號的資訊量收編進來,同時保留稀疏訊號的可信度。這種「用一個訊號校準另一個訊號」的思路,對於任何依賴 LLM 自我評分、自我蒸餾或自我對弈的訓練管線都有參考價值,不只限於數學推理。

技術上,「每組只需一個對數配分函數」搭配 trajectory balance 這個設計,也展示了一種比逐 token 模仿損失更省算力、更好分析的替代方案,理論上有明確的最小變化 reverse-KL 保證,而不只是憑經驗調參數。

實務上更值得注意的是,論文用實驗直接證明了「密集自我引導若不加約束會導致長度崩潰」這個此前只在軼事層面被觀察到的現象(OPSD 的失敗案例),並給出可量化的修正方式與診斷指標(Simpson 多樣性)。這對正在評估或部署 self-improvement / RLHF 類似流程的團隊來說,是一個具體、可檢查的風險點與對照解法,而不只是又一個在 benchmark 上贏一兩分的新方法。