K1 論文詳解

背景

近年大型語言模型（LLM）在單步任務上的能力已相當驚人，但一旦任務拉長到「long-horizon」（長時程、多階段）的情境——例如需要連續開終端機、裝環境、除錯、驗證結果的複雜工程任務——即使底層模型完全有能力解決每一個子步驟，整個 agent 仍常常失敗。StateM 這篇論文（arXiv:2608.15089，作者 Ziheng Qin、Yaxin Lu、Zhangyang Atlas Wang、Kai Wang，2026 年 8 月提交）指出，這類失敗通常不是模型能力不足，而是「執行系統」出了問題：agent 會搞丟中途的可變狀態（mutable state）、忘記在更早執行中學到的教訓、跳過已知該做的標準程序，或是在任務還沒真正完成時就提前收工。

作者提出的解法方向很直接：與其花大量算力去換模型權重（例如做更多 RLHF 或再訓練），不如把力氣放在「harness scaling」——也就是擴展圍繞在 agent 外部的執行框架（runtime/harness）本身。這是一個值得注意的思路轉向：過去很多效能提升是靠更大模型、更多訓練資料，而這篇論文賭的是「同一顆模型，換一套更懂得管理狀態與流程的骨架，就能大幅提升可靠度」。這也解釋了論文標題裡那個看似矛盾的雙重賣點——既能衝到 95.3% 的原始準確率（raw accuracy），又能把最終跑分成本壓到約 15 美元，遠低於參照方案的 574.68 美元。

方法

StateM 是一個「agent-native」的執行環境（runtime），核心設計圍繞五個概念：

1. Durable states（持久狀態）：把任務執行過程中的關鍵狀態顯式地保存下來，不依賴 agent 自己在對話上下文裡「記得」進度，避免長任務跑到中段就忘記自己做到哪。
2. Phase-local context（階段局部上下文）：把任務切分成不同階段，每個階段只攜帶該階段真正需要的上下文，減少不相關資訊造成的干擾與 context 膨脹。
3. Checked transitions（受檢查的狀態轉換）：階段與階段之間的切換要經過條件檢查，防止 agent 在條件未滿足時就跳過步驟或提前結束。
4. Recoverable runbooks（可復原的操作手冊）：把標準作業程序（SOP）寫成結構化的 runbook，agent 執行到一半失敗時，可以從對的地方復原，而不是整個重來或卡死。
5. Versioned procedural practices（版本化的程序性知識）：把從實際執行中學到的教訓（例如某類任務常見的陷阱、正確處理方式）沉澱成可版本控管、可被 agent 與人類一起檢視的知識庫，並能在不同模型間「原封不動地轉移」（unchanged transfer）。

換句話說，StateM 把原本隱含在 agent 對話歷史裡、容易遺失的「執行紀律」外部化、結構化，變成一套可檢查、可追溯、可跨模型復用的機制。這種設計哲學把 postmortem（事後檢討）中發現的問題，轉化成「持久且可執行的前置條件與實踐規則」，讓學到的控制邏輯變成明確、可被強制執行的規範，而不是停留在文字建議層次。程式碼已在 GitHub（github.com/henryqin1997/statem）開源。

實驗結果

論文的主要評測場域是 Terminal-Bench 2.1，一個評估 agent 在終端機環境中完成複雜工程任務能力的 benchmark：

• 在 GPT-5.5 xhigh 上，StateM 把準確率從參照基準的 83.1% 提升到 92.1%，同時超過另一個對照組 GPT-5.6 Sol Ultra 的 91.9%。
• 更值得注意的是，同一套 runbook「原封不動」轉移到 GPT-5.6 上依然有效：搭配 GPT-5.6 Sol xhigh，StateM 在 445 次試驗中達到 95.3% 的原始準確率，並且在全部 89 個任務中，每一個都至少成功過一次。
• 對於較弱的 GPT-5.6 Luna，凍結版設定（frozen profile）把準確率從 76.7% 拉高到 85.4%，甚至超過參照的 GPT-5.6 Sol xhigh（84.9%）——意味著搭配 StateM 的較弱模型，可以打贏沒有 StateM 加持的較強模型。
• 在成本敏感的模型 DeepSeek-V4 Flash 上，使用同一套 runtime、runbook 結構與「golden rules」，只花費不到 38 美元的適應成本，就把準確率從 82.7% 提升到標準逾時設定下的 88.1%，在 88 個任務組成的「common core」子集上更達到 89.1%；若額外針對少數延遲敏感任務做擴充，則能匹配官方回報的 GPT-5.6 Sol max 88.8% 的成績。
• 成本面的對比尤其亮眼：以最終分數所需的 API 用量計算，StateM 方案約 15 美元，相較 GPT 參照方案的 574.68 美元；DeepSeek 路線的總花費則是 52.22 美元。這代表在相近甚至更高準確率下，成本可壓低超過一個數量級。
• 論文同時在 BusinessBench 上驗證泛化性：針對特定任務家族、以開發集建立的 runbook，在held-out（held-out set）資料上分別帶來 0.55 macro point 與 1.34 micro point 的提升；而在兩個「機制匹配」（mechanism-matched）的任務家族上，提升幅度更高達 10.04 points。作者指出，具體規則（concrete rules）在任務共享執行結構時效果最好，而整體的控制方法論（control methodology）則適用範圍更廣。

意義

這篇論文最核心的訊息是：agent 的效能瓶頸不見得在模型，而常在圍繞模型的執行框架。過去業界提升 agent 能力多半聚焦在換更強的底層模型（例如從 GPT-5.5 升到 GPT-5.6）或加大訓練投入，但 StateM 顯示，僅僅透過更好的狀態管理、可檢查的流程轉換與可復用的程序性知識，就能讓同一顆模型的長任務成功率大幅提升——甚至讓較弱的模型（GPT-5.6 Luna 85.4%）超越沒有加持的較強模型（GPT-5.6 Sol xhigh 84.9%）。

其次，「runbook 可以在模型之間原封不動轉移」這一點具有實務價值：意味著企業或開發者投入心力打磨出的執行規範，不必因為換了底層模型供應商或版本就報廢，可以持續累積、複利成長，這也呼應了論文將 harness 視為與模型權重同等重要、甚至更值得長期投資的資產的立場。

第三，成本效益的落差（15 美元 vs. 574.68 美元）揭示了一條務實的路徑：與其一味追求最貴、最新的旗艦模型，不如把資源投入到執行框架與流程工程上，用較便宜的模型（如 DeepSeek-V4 Flash）搭配良好的 harness，就能逼近甚至匹配頂級模型的表現。這對成本敏感的企業應用（尤其是需要大量重複執行 agent 任務的場景）具有直接的參考意義。

最後，BusinessBench 上的結果提醒我們：這套方法論的效果高度依賴任務之間是否共享「執行結構」——也就是說，StateM 並非萬能藥，其威力主要來自於把重複出現、可被歸納的執行模式顯式化並強制執行。對於結構高度相似的任務家族（如提升達 10 個百分點的案例），效益顯著；但對結構差異較大的任務，提升幅度就相對有限（0.55–1.34 points）。這也為後續研究指出方向：如何自動偵測任務之間的「機制匹配」程度，可能是讓 harness scaling 進一步規模化的關鍵。

背景

近年來,以 group-relative advantage 為核心的強化學習方法(例如 GRPO 及其變體)已經成為訓練語言模型推理能力的標準做法。這類方法讓模型針對同一題目生成一組 rollout,再用組內的相對表現算出 advantage 來更新策略,不需要額外訓練 critic model,效率高、穩定性也不錯。

但現實中的訓練目標往往不只一個。以數學推理為例,模型不只要「答案正確」,可能還要「格式正確」「推理長度合理」「語言一致」等多個 reward 同時滿足。過去的做法通常是把多個 reward 用固定權重加總成一個純量分數,再對這個純量分數做組內標準化(z-score)來得到 advantage——這正是本文提到的 GDPO 一類方法的核心設計。

作者指出這種「先加總、再標準化」的作法有兩個根本問題。第一,兩組 reward 剖面完全不同的 rollout,經過加總後可能得到一模一樣的純量分數,進而拿到完全相同的 advantage,等於抹掉了模型該從中學到的差異資訊。第二,固定權重意味著不管某個目標是否已經被解決得很好,模型依然會持續分配同樣比例的梯度去「優化」它——換句話說,訓練資源會被浪費在已經飽和(saturated)的目標上,而真正還有進步空間的目標反而得不到足夠關注。這在多目標 reasoning RL 裡是個相當直觀但過去被忽略的問題:模型明明已經把某個簡單目標做到接近滿分,梯度預算卻還在往那裡送。

方法

論文提出 SA-MRPO(Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization),核心想法是把「標準化」與「加權」的順序反過來,並讓權重隨訓練動態調整。

具體做法上,SA-MRPO 對每一個 reward 目標「獨立」做組內標準化,而不是先加總再標準化。這樣一來,每個目標各自的訊號都能完整保留,不會因為和其他目標混在一起而被抵消或蓋掉。

接著,SA-MRPO 引入一個「飽和度感知」的折扣機制:對第 k 個目標,依照批次層級(batch-level)估計出的飽和度 s^(k)(也就是這個目標目前距離其可達到的最大 reward 還有多少「headroom」),動態計算出折扣後的權重 w̃_k = w_k · (1 − s^(k))^γ。直觀理解就是:一個目標越接近被「解決」,它的有效權重就越小,模型自然會把更多優化力氣讓給那些還沒被滿足、headroom 較大的目標。

這個設計還帶來一個有意思的效果:作者發現飽和度加權不只是「縮放」梯度更新的幅度,在某些情況下甚至會「反轉」更新的符號(sign)——也就是說,對一個已經高度飽和的目標,某次更新方向可能從原本的「鼓勵」變成「不鼓勵」,這是單純固定權重的方法做不到的行為。同時,論文也坦承這個機制並不保證已飽和目標永遠維持水準——當跨目標的梯度衝突大到蓋過該目標自身的改善項時,該目標的表現仍可能小幅下滑,這反映的是模型容量有限下的固有取捨,而非萬能解法。

實驗結果

論文在三類任務上驗證 SA-MRPO,並以 GDPO(先加總再標準化的代表性方法)作為主要對照組:

數學推理:在二目標與三目標的 reward 組合設定下(涵蓋 AIME24、AMC23、MATH500 等 benchmark),SA-MRPO 在「更難的正確性目標」上,於 15 組 benchmark 比較中有 12 組優於 GDPO,其中在 AIME24 上最高提升達 5%。同時,原本已經被滿足的「較簡單目標」(如格式、長度等輔助 reward)大致維持在原有水準,沒有明顯退步。

自適應推理(adaptive reasoning):SA-MRPO 在全部五個 benchmark 上都取得準確率提升,平均提升 3.8%,其中 AMC23 上最高提升達 9.2%。

程式碼生成(coding):在 coding benchmark 上,SA-MRPO 將 pass rate 最高提升 2.3%,同時保持程式碼可執行性等其他目標接近原本已滿足的水準。

整體來看,SA-MRPO 在絕大多數設定下都能在不犧牲「已解決目標」的前提下,把訓練資源更有效地導向「還沒解決的難目標」,這正是論文標題「Learn What's Left, Not What's Mastered」想表達的核心訊息。

意義

這篇論文點出一個在多目標 RL 後訓練(post-training)中容易被忽略卻影響深遠的設計缺陷:當我們用固定權重加總多個 reward 再做標準化時,實際上等於假設所有目標「永遠同等重要」,但真實訓練過程中,各目標的難易度與被滿足程度會隨時間動態變化。SA-MRPO 提供了一個相對輕量、不需要額外 critic 或人工調權重排程的解法——只要在既有 group-relative RL pipeline 上,把「先加總再標準化」改成「先各自標準化、再依飽和度動態加權」,就能讓模型自動把梯度預算導向真正還有進步空間的目標。

對從事 LLM 推理能力(數學、程式碼、多步驟工具使用等)post-training 的團隊而言,這種思路具有實際參考價值:當 reward 設計包含多個子目標(正確性、格式、安全性、風格一致性等),與其手動調整並反覆重新訓練權重表,不如讓權重隨訓練過程中的飽和度自適應調整,可能可以省下大量調參成本,同時避免「訓練後期還在死磕已經解決的簡單目標」這種資源浪費。更進一步,論文揭示飽和度加權能夠反轉更新符號這一點,也提示了未來在設計多目標 RL 算法時,梯度方向本身可能需要根據目標的相對完成度動態決定,而不只是幅度的縮放,這對後續 multi-reward RLHF/RLVR 方法的設計會是一個值得延伸的方向。

背景

近年 LLM agent 系統開始被期待能從過去的執行經驗中學習，而不是每次任務都從零開始推理。業界因此發展出各種「記憶」機制：把工具呼叫序列、除錯步驟、驗證流程等存下來，供下次任務重用。其中 Anthropic 在 2025 年提出的「skills」概念特別受關注——它不是原始執行紀錄，而是一份標準化的程序性文件（如 SKILL.md），描述「該做什麼、該檢查什麼、該避免什麼陷阱」。

問題是，過去對 skills 的評估幾乎只看「加了 skill 之後任務成功率有沒有提升」這種聚合式指標，卻沒有回答更根本的問題：skills 到底在什麼時候有用、為什麼有用、又在哪裡會失效？來自 Princeton、UC San Diego、Stanford、USC、Johns Hopkins 的研究團隊（Zhiyuan Jiang 等九位作者）在這篇論文中系統性地打開這個黑盒子，透過對照實驗與軌跡分析，追蹤 skill 從「產生」到「檢索」到「執行」整條鏈路上到底改變了 agent 的哪些行為。

方法

研究設計了四個研究問題（RQ1–RQ4），分別檢驗：程序性經驗的「表徵方式」（直接存成 Workflow Memory 還是蒸餾成 Skill）、「結果標註」（是否需要標記軌跡成功/失敗才有幫助）、「跨框架可攜性」（在 Codex 產生的 skill 搬到 Gemini CLI 還有效嗎）、以及「檢索難度」（skill 池變大、變混淆時會怎樣）。

實驗使用的 agent、模型組合包括 Codex + GPT-5.3-Codex、Gemini CLI + Gemini-3.1-Pro-Preview，RQ4 另外用到 GPT-5.4；檢索實驗則用 Qwen3-Embedding-0.6B 做語意排序。基準測試涵蓋 Terminal-Bench-2、Terminal-Bench-Pro 與專門測 skill 效用的 SkillsBench，執行環境走 Harbor 框架的標準流程，每個任務條件跑 5 次（Terminal-Bench-Pro 為 130 次試驗）。

團隊把每個任務在「Raw（無先驗經驗）」「Workflow Memory」「Skill」三種條件下配成一組三元比較（triple），總共構建了 528 組，涵蓋 SkillsBench 144 組、Terminal-Bench-2 186 組、Terminal-Bench-Pro 198 組，換算成 1,584 個臂級（arm-level）標註。他們正規化了 8,135 筆試驗紀錄，再對其中 240 筆軌跡做開放編碼（open coding），保留 238 個有效標籤，歸納成一套「三大類、十二種模式」的分類法：SC1（成功的程序性引導）、SC2（執行層與驗證失敗，如環境設置錯誤、格式不符、服務生命週期問題）、SC3（skill 的呼叫與適用邊界失敗）。這套分類經人工驗證，714 次軌跡—標籤核對全數確認，人機標註一致率達 95.8%、Cohen's κ 為 0.952，顯示分類穩定可靠。

實驗結果

整體來看，Skill 條件下任務的「oracle 成功率」達 61.9%，高於 Raw 的 59.1% 與 Workflow Memory 的 55.9%；在同源軌跡的配對比較中，Skill 比 Workflow Memory 高出 6.06 個百分點（95% 信賴區間 [0.76, 11.36]）。也就是說，最關鍵的效果並非「skill 打敗完全沒經驗的 Raw」，而是「skill 打敗直接存原始執行紀錄的 Workflow Memory」——這說明重點不在給 agent 更多先驗經驗，而在於怎麼呈現這些經驗。

機制標籤分析顯示，skill 有效的主因是「procedural anchoring（程序性錨定）」，占所有 skill 案例的 65.7%，而「knowledge injection（知識注入）」僅佔 4.5%。換言之，skill 主要不是補足 agent 缺的事實知識，而是穩定它的行動：該用什麼指令順序、做哪些中繼檢查、避開哪些常見雷。具體數字上，skill 讓環境基礎設施失敗率從 Raw 的 5.3% 降到 0.2%，輸出格式不符從 7.4% 降到 3.2%；但同時也帶來新的失敗面——「skill 指引被誤用或忽略」在 skill 臂中佔 10.0%，遠高於 Raw 的 0.8% 與 Workflow Memory 的 0.4%，顯示 skill 不會自動被正確套用。

檢索實驗（在 SkillsBench 上，池大小從 5 增加到 100）揭露另一個瓶頸：embedding 檢索的 top-1 精準率從 88.3% 降到 76.9%，agent 自行選擇的精準率從 70.0% 降到 63.7%，而實際執行時真正用到正確 skill 的精準率（Arm 3）則從 29.6% 崩落到僅 3.3%。但耐人尋味的是，下游任務成功率卻大致穩定在 36%–42% 之間，幾乎不受此影響——這表示精準命中「標準答案」skill 既非充分也非必要條件，agent 常常靠相關但非最佳的 skill 也能拼出可用的程序性支援。此外，論文也測試了兩個輕量對照組：僅用指令生成的簡短計畫成功率 47.7%，以工作流程衍生的「測試優先」模板為 59.2%，皆低於 Workflow Memory 的 62.3%，更遠低於 Skill 注入的 79.2%，證明效果不只是「給任何程序性提示就有用」。

意義

這篇論文把 skill 研究從「有沒有用」推進到「為什麼有用、何時失效」的階段，對正在打造自我演化（self-evolving）agent 的團隊有直接的實務意義。第一，累積更多 skill 不等於更好——關鍵在於能否把雜訊多的執行軌跡蒸餾成乾淨、可重用的程序性抽象，而不是原封不動地保留冗長的探索與失敗分支。第二，skill 檢索系統不能只優化「找到正確答案」的精準率，因為當池子變大、干擾項變得語意相似時，精準率會急速下滑，但這未必直接傷害任務成功率，評估體系應同時看檢索品質與下游結果這兩件相對獨立的事。第三，skill 引入了新的失敗模式——被誤用、被過度套用、或在情境不相容時仍被硬套——這意味著除了「生成更多 skill」，還需要投資在「agent 何時該用、如何調整、何時該放棄某個 skill」的判斷能力上。整體而言，這項研究把 skill 效用重新定義為一個貫穿生成、表徵、檢索、呼叫、適配的完整生命週期問題，為未來設計更可靠的 self-evolving agent 提供了比單一聚合成功率更細緻的評估框架。