K1 論文詳解

背景

近年「coding agent」已經能夠自主閱讀程式碼、執行測試、修補 bug,但要讓它們在真實專案裡穩定完成長時間任務,光靠一個強大的 agent 還不夠。業界逐漸發展出一種新的實務模式,稱為「Loop Engineering」:與其每一步都由人手動下 prompt,不如設計一個「迴圈(loop)」,由它持續監控 agent 的進度、指派下一步工作、要求驗證、並決定何時該停手。

問題是,這個負責「帶隊」的迴圈本身有沒有做好工作,過去幾乎無法單獨衡量。如果一次端到端(end-to-end)任務失敗了,你分不清楚是執行任務的 coding agent 能力不足,還是負責指揮的迴圈本身給錯了方向——例如相信了一份過時的進度報告、跳過了必要的驗證步驟、把預算(budget)花在錯的地方,或是在任務還不安全的時候就喊停。這篇由 Yi Wang、Haopeng Zhang 等人(2026 年 8 月投稿於 arXiv,編號 2608.28281)提出的論文,便是要解決這個「指揮能力」與「執行能力」糾纏在一起、無法拆解評分的問題。他們提出的 LoopArena,就是專門用來評估「一個模型能多好地指揮另一個獨立 coding agent」的 benchmark。

方法

LoopArena 的核心設計是把角色拆成兩個:被評測的模型稱為 Controller(控制者),它在每一輪 coding 之後,會收到一份結構化的執行摘要(Evidence Packet,包含任務脈絡、工作歷史、驗證證據與待解問題,並附上可追溯的 Worker 對話紀錄引用),然後決定下一步該給 Worker(執行者,固定不變的 coding agent)什麼指令——是「繼續推進」、「先做驗證」,還是「直接停止」。這個決策以「Loop Contract」的形式輸出,內容包含動作類型(推進/驗證/停止)、有邊界的任務指派、完成條件,以及必須保護的不變量(invariant)與理由說明。中間還有一個臨時角色 Reporter,負責把 Worker 的原始執行過程摘要成結構化的 Evidence Packet,但不會污染主要的對話歷史。

為了兼顧評測的精確度與成本,LoopArena 設計了三種互補的評測情境:

• Type I(合約選擇):Controller 在事先凍結、已用實際執行驗證過的決策點上,從四個選項中選出正確的 Loop Contract,評測當下完全不需要真的跑 Worker,共 90 題。
• Type II(任務切片):從一個已經準備好的中間狀態開始,只針對完整任務中的一個階段,反覆測試 Controller 的控制能力,共 27 組配對任務實例。
• Type III(完整任務):從原始初始狀態開始,對同樣的 27 組任務做端到端的完整評測,是最貼近真實情境但成本最高的設定。

任務來源涵蓋 SlopCodeBench(11 個實例)與 BeyondSWE(16 個實例),涵蓋反覆迭代式的編碼工作,以及超出單一倉庫 bug 修復範疇的軟體工程任務。實驗設有執行上限:每次執行最多 600 個 Worker 回合、128 個控制循環,且每個任務與 Controller 組合都會重複執行三次以確保穩定性。

實驗結果

論文評測了多個現行主流模型作為 Controller,包括 Qwen3.7-Plus(同時也是固定的 Worker 模型)、DeepSeek-V4-Flash-0731、GLM 5.2、GPT-5.5 與 Claude Opus 4.8,並以「無控制」與「固定控制」兩種參考策略作為基準線比較。

最關鍵的數字出現在 Type III 完整任務評測:表現最好的 Controller,其嚴格成功率(Strict Success Rate)僅達到 24.69%,也就是說即便是目前最強的模型組合,在長時程(long-horizon)的迴圈控制任務上,四次裡面有三次以上仍然無法完全成功——這說明長程指揮任務的難度遠高於單次程式碼生成。

在成本效率方面,Type II(只評測任務切片而非整個任務)相較於 Type III 的完整評測,平均可以節省 64.4% 的估計推論成本(inference cost),同時排名結果依然高度一致——兩者在 Spearman 等級相關係數上達到 ρ=0.9747,顯示只用局部切片測試,也能可靠地重現完整任務下 Controller 之間的優劣排序。至於最省成本的 Type I(合約選擇,完全不需執行 Worker),不同 Controller 的正確率介於 72.22% 至 87.78% 之間,而且所有模型都沒有出現無效回應,顯示這種免執行的離線評測方式是可行且具鑑別力的初步篩選手段。

意義

LoopArena 的貢獻不在於又推出一個「coding agent 能力」排行榜,而是第一次把「指揮/監督」這件事從「執行」中拆解出來單獨衡量。這對業界正在快速發展的 Loop Engineering 實務有直接意義:當團隊把大量 token 預算和工程時間投入在設計自動化迴圈(何時驗證、何時停止、如何分配下一步工作)時,終於有辦法客觀比較「哪個模型更適合當大腦、哪個更適合當手」,而不是把整個系統的成敗都混為一談。

其次,Type I 與 Type II 提供了大幅降低評測成本的替代方案——正如論文顯示的 64.4% 成本節省與近乎完美的排名相關性(ρ=0.9747),這代表未來研究者不必每次都跑昂貴的完整端到端任務,就能可靠地評估與迭代 Controller 的設計,大幅加快這類「agent 指揮 agent」系統的研發週期。

最後,24.69% 的嚴格成功率也是一記警鐘:即使用上了目前最強的模型作為大腦,長時程任務的自動化管理依然離「可信賴」有很大距離。這提醒業界在把 coding agent 大規模部署到生產流程之前,除了持續強化執行能力本身,更需要投入研究如何讓模型做出更可靠的「進度判斷」與「停止決策」——這正是 LoopArena 想要長期追蹤與推動的方向,也是作者釋出完整 benchmark 資料與評測程式碼(在 GitHub 的 AMAP-ML/LoopArena)的初衷。

背景

近年打造具備多輪工具呼叫（multi-turn tool-calling）能力的自主代理人，幾乎都仰賴「全軌跡模仿」（full-length trajectory imitation）：先讓一個更強的教師模型（teacher）跑出完整的成功互動軌跡，再用 SFT 或蒸餾的方式,逐字逐句要求學生模型複製整條路徑。這套做法在單一路徑任務上還算堪用,但只要任務裡包含多個「順序無關」的子目標——例如先查天氣還是先查航班都能達成同樣結果——最優解空間其實會展開成一個龐大的組合式「鑽石格」(diamond lattice):多條路徑殊途同歸,匯聚到同一個成功終點。

問題在於,傳統訓練把這種豐富的圖狀拓撲硬塞進單一線性軌跡時,會發生作者稱之為「拓撲崩塌」(topological collapse)的現象:只要學生模型探索出的路徑和教師的字面順序不同,即便語意上同樣有效,也會被無差別懲罰,導致策略多樣性嚴重退化,模型逐漸只會死記一種解法,泛化能力受限。這正是 DART-SD(Diamond-topology Aware Retrieval and Tuning for Self-Distillation)想解決的核心痛點,論文於 2026 年 8 月發表(arXiv:2608.18524),作者包含 Hangrui Xu、Yang Yang 等人。

方法

DART-SD 的核心是把「全域強制模仿」換成「拓撲導引的局部修正」。首先,框架把整個工具執行過程建模成一張收斂式的「互動狀態轉移圖」(Interaction-State Transition Graph, ISTG):每次工具回傳的資訊會被抽象成任務相關的「資訊原子」,語意相同的回應會被映射到同一個原子上,藉此忠實還原成功與失敗探索路徑共享的鑽石拓撲結構。圖中節點分為「主節點」(獲得新資訊)與「輔助節點」(無效嘗試),讓系統能精確追蹤學生在探索過程中,是否仍走在教師驗證過的有效區域內。

接著,在學生模型自主 rollout 時,DART-SD 會定位「關鍵拓撲斷點」(Critical Topological Breakpoint, CTB)——也就是學生第一次從「教師可支援的狀態」偏離到「不可投影的狀態」的那個轉折點,並從 ISTG 中檢索出成功路徑上對應的「復原參考」(recovery reference)。最後,訓練損失只計算在 CTB 之後、由模型生成的「復原步驟」上,CTB 之前有效的推理前綴則被明確遮罩(mask)保護,不受破壞性梯度更新影響。這套「漸進式自我蒸餾」流程反覆執行:學生 rollout→映射進 ISTG→定位 CTB→局部監督,形成一個自我調整節奏、逐步拉長有效前綴的課程式訓練。

實驗結果

實驗以 Qwen3-4B 與 Qwen3-8B 為學生模型,教師模型為 Qwen3.6-27B 與 GLM-5.2,訓練資料為 FTRL(涵蓋 Single/Para-Single/Multi/Para-Multi 四種任務結構,共 2,215 筆),並在 FTRL(域內)以及 BFCL、ToolHop、τ-bench、RoTBench(域外)等基準上評估,共跑 5 輪 CTB 導引 SFT,每輪每任務取樣 8 條軌跡。

以 Qwen3-8B 為例,DART-SD 在 FTRL 上的 Solve-F1 達 45.66,相較 Base(23.48)、SFT(41.89)、FTRL-GRPO(40.22)、MatchTIR(35.37)全面領先;五項基準平均分數為 45.58,同樣高於 SFT 的 41.64 與 FTRL-GRPO 的 40.33。在 Qwen3-4B 上,DART-SD 平均分 39.17 亦優於 SFT(37.62)與 FTRL-GRPO(33.66)。值得注意的是,DART-SD 在 FTRL、ToolHop、τ-bench 上甚至超越了參數量大得多的教師模型。

效率方面,隨著迭代從第 1 輪到第 5 輪,Solve-F1 從 40.37 升至 45.66,平均工具呼叫次數卻從 4.23 次降到 3.55 次,比黃金參考路徑的 4.02 次還精簡;CTB 位置也從 0.348 推進到 1.452,顯示模型有效推理前綴持續拉長。消融實驗顯示各模組皆有貢獻:單純自我蒸餾將分數從 23.48 拉到 38.10,加入 CTB 局部化提升至 39.51,加入漸進式 SFT 到 43.93,最終加上完整 ISTG 達到 45.66。此外在 IFEval(45.29 vs SFT 35.30)、AIME24/25(50.00/30.00 vs 43.33/26.67)、MMLU(74.27 vs 71.43)等通用能力測試上,DART-SD 也優於傳統 SFT,顯示其局部監督機制較不容易破壞模型原有能力。

意義

DART-SD 的貢獻不只是又一個蒸餾技巧上的改良,而是提出了一種更貼近真實世界任務結構的訓練視角:多輪工具呼叫任務的「正確答案」往往不是單一路徑,而是一整組等價的探索方式。把這種圖狀結構硬壓成線性序列去模仿,是許多代理人訓練方法長期忽略的盲點。透過 ISTG 顯式建模拓撲結構、CTB 精準定位「哪裡開始出錯」、以及只在必要處施加監督,DART-SD 讓學生模型既能保留自己探索出的有效路徑,又能針對性地修正真正的錯誤,而不是全盤重寫。

實務上,這意味著用較小模型(4B、8B 等級)搭配較少但更精準的監督訊號,就有機會在特定任務上追平甚至超越規模大上數倍的教師模型,同時工具呼叫次數更少、通用能力保留更完整——對於需要在成本與延遲敏感場景中部署代理人的團隊而言,這種「拓撲感知的局部修正」思路提供了一條兼顧效能與效率的可行路徑,也為後續研究如何處理多輪決策任務中的組合式解空間,提供了新的建模範式。

背景

打造能通用操作各種機器人的「通才」Vision-Language-Action(VLA)模型,一直被視為具身智能的聖杯。做法上大家很自然地會想模仿語言模型的成功經驗:堆更多資料、堆更大模型。但機器人軌跡資料跟網路上取之不盡的圖文資料完全不是一回事——收集一條真實機器人操作軌跡,需要實體機台、人工遙操作或示範,成本極高,而且再怎麼收集,也只能覆蓋物理世界裡極小一部分的場景與動作組合。換句話說,機器人資料量注定「稀疏」且難以規模化。

這篇論文的作者(以 Senqiao Yang、Chengyao Wang、Yuxin Chen 為首的 16 人團隊)點出一個關鍵矛盾:在機器人資料預算固定、且短期內難以大幅擴張的前提下,單純堆資料量的邊際效益正在遞減。真正的瓶頸不是「資料夠不夠多」,而是「表徵(representation)品質夠不夠好」——也就是模型能不能把有限的軌跡資料,轉化成可以跨任務、跨機器人本體(embodiment)遷移的視覺-動作知識,而不是死記硬背某一台機器人在某個場景下該怎麼動。

基於這個洞察,作者提出 VLAct:一個「以表徵為核心」的持續預訓練框架,目標是在固定的下游微調協定下,讓 VLM 骨幹網路先在廣泛、異質、多具身的機器人資料上完成一次「打底」,再進入任務專屬的微調階段,藉此把有限的機器人資料榨出更高的遷移價值。

方法

VLAct 的核心思路是:先用一個強大的通用 VLM(視覺語言模型)當骨幹,再對它做面向 VLA 任務的持續預訓練,而不是從頭在小規模機器人資料上訓練一個全新架構。具體設計包含三個關鍵機制:

1. VLM-prior preservation(VLM 先驗保留):機器人資料的多樣性遠不如網路圖文資料,如果直接在機器人資料上做大規模微調,很容易把 VLM 原本從海量網路資料中學到的視覺、語言常識「洗掉」(即災難性遺忘)。VLAct 在持續預訓練過程中特別設計機制保留這些通用先驗知識,讓模型既學會做動作,又不丟失對世界的廣泛理解能力。

2. Multi-head continuous action co-supervision(多頭連續動作協同監督):不同機器人本體(比如單臂、雙臂、人形機器人)的動作空間、自由度、控制頻率都不一樣。VLAct 用多個動作頭(action heads)同時對同一份共享表徵做連續動作的協同監督,逼迫模型學到的不是某個特定機器人的「動作指紋」,而是跨本體都能共用的「動作語義」——例如「抓取」「推」「旋轉」這類動作背後共通的視覺-動作對應關係。

3. Partially unified cross-embodiment action layout(部分統一的跨具身動作佈局):為了讓不同機器人的動作標籤能在一個共同空間裡對齊,同時又不犧牲各機器人獨特的動作維度,VLAct 採用「部分統一」的動作佈局設計——共享的部分促進跨具身知識遷移,保留的部分則允許任務專屬的動作頭在微調階段做客製化調整。

整體訓練分兩階段:先在廣泛、異質、多具身的機器人資料上做持續預訓練,學到通用的視覺-動作表徵;再針對具體下游任務、具體機器人本體做微調,此時可以換上任務專屬的動作輸出頭。值得注意的是,整套訓練僅使用完全開源的資料,且只用了 16 張 GPU 的訓練規模——相較於一般大廠動輒數百張卡的訓練配置,這是刻意展示「表徵品質」而非「算力堆砌」才是決定性因素。

實驗結果

VLAct 在模擬環境、真實機器人、以及未見過的機器人本體(unseen-embodiment)遷移這三個維度上都進行了系統性驗證,且全部固定使用相同的下游微調協定以確保公平比較:

• LIBERO-Plus:VLAct 達到 82.6% 的成功率,超越了包括 ABot-M0、LingBot-VLA 在內的工業級 VLA 系統。
• RoboTwin 2.0(雙臂操作基準):成功率達到 92.5%,同樣領先上述工業系統。
• RoboDojo:在所有參與評測的策略中排名第六,並且在兩項指標上都超過了所有被明確歸類為「世界-動作模型」(World-Action Model, WAM)的參賽方法。
• RoboCasa-GR1(一個 VLAct 訓練階段完全沒見過的人形機器人本體):這是最引人注目的結果——VLAct 僅用 20% 的下游任務軌跡資料,就超越了使用全量資料訓練的 GR00T-N1.6 基線模型。這直接證明了持續預訓練學到的表徵具備真正的跨本體遷移能力,而不只是在訓練分佈內死記硬背。

這些成績的取得,並非依賴海量算力或私有資料——訓練資料完全開源,訓練規模僅為 16 張 GPU,遠低於業界許多對標系統的資源投入。

意義

VLAct 這篇工作對 VLA 領域的啟示,某種程度上是給正在瘋狂堆資料、堆算力的行業潑了一盆冷水,但也指出了一條更務實的路。它證明了在機器人資料註定稀缺、收集成本註定高昂的現實約束下,「怎麼訓練」和「訓練什麼樣的表徵」可以跟「訓練資料量」一樣重要,甚至更重要——這是一個獨立於資料規模擴張之外的性能提升軸線。

對於資源有限的研究團隊或新創公司而言,這個結果特別有意義:不需要對標工業巨頭的算力規模(動輒數百張 GPU、海量私有機器人資料),用完全開源的資料加上 16 卡的訓練配置,也能在多個權威基準上打贏包裝精良的工業級系統。這降低了 VLA 研究的准入門檻,讓表徵設計、跨具身知識遷移等更偏方法論的創新,重新成為與資料規模同等重要的競爭維度。

更長遠來看,RoboCasa-GR1 上「20% 資料打贏全量資料基線」的結果,對人形機器人這個資料極度稀缺的新興領域尤其關鍵——人形機器人的軌跡採集成本和複雜度遠高於傳統機械臂,如果表徵遷移能力能持續驗證有效,意味著未來部署到新型態機器人本體時,不必再從零開始堆資料,而是可以站在通用視覺-動作表徵的肩膀上,用少量目標資料快速適配,這對加速具身智能的規模化落地是相當實際的一條路徑。