K1 論文詳解

背景

讓 LLM agent 在陌生、會變動的環境裡「邊做邊學」,是 agent 走向實用的關鍵能力。現有不少 benchmark 都宣稱在測這件事,但作者指出一個盲點:這些任務的規則,不是直接寫在 instruction 裡,就是預訓練模型早已熟悉(例如常見的網頁操作、經典遊戲、程式環境)。結果是,我們很難分辨 agent 的好表現,究竟來自「在互動中學到新東西」,還是只是「用既有知識推理」。

Learn2Play Bench 就是針對這個問題設計的。它的核心想法很直接:既然預訓練知識會污染評估,那就做一批全新設計、規則新穎甚至違反直覺的文字遊戲,讓 agent 無法靠背景知識猜出答案,只能透過互動發現規則。

方法

遊戲設計。 根據專案網站,benchmark 包含 20 個帶有「隱藏規則」的遊戲模板,網站上列出的例子有 Butterfly、Haunted Inn、GemForge、Mola Tea 等。這些遊戲是純文字的,提供可重現的回饋與自動計分,所以可以做受控的比較。

重複嘗試與泛化測試。 每個遊戲讓 agent 反覆玩多個 episode,藉由分數隨嘗試次數的變化來衡量「學習」。作者也會改變遊戲實例(game instance),檢驗 agent 學到的是可遷移的規則,還是只記住某一局的特定解法。依專案網站,一般遊戲跑 5 個 episode,較難的 challenge 遊戲跑 10 個,每個遊戲做 3 次獨立 trial。

三個比較維度。 論文不只比模型,而是拆成三層:

1. Backbone 模型:網站列出 Claude Opus 5.5、Claude Opus 5、GPT-6 Astra、Kimi K3、GPT-5.6-SOL 等。
2. Self-evolving 方法:讓 agent 從過往經驗中自我改進的各種機制,例如把經驗總結成規則或策略。
3. Agent harness:包住模型的外層框架,決定怎麼組織上下文、記憶與工具。

此外還納入人類玩家作為參考(Top-1、Top-3、Top-5,分別在每個遊戲中挑出得分最高的玩家),人類在沒有 AI 工具或程式碼輔助的情況下遊玩。

實驗結果

論文摘要歸納出三個主要發現:

1. 經驗保留(Experience retention)。 完整保留動作與回饋的原始紀錄,學習效果比把經驗壓縮成「規則」或「策略摘要」更好。直覺上,摘要是有損壓縮:agent 對規則的歸納可能出錯,而一旦錯誤歸納被寫進摘要,後續就很難修正;保留原始軌跡則讓模型每次都能重新檢視證據。

2. 人類與 agent 的差距(Human-agent gap)。 頂尖人類玩家的峰值分數高於受評 agent。行為分析顯示,人類會探索更多樣的策略,也較少重複相同動作;agent 則容易卡在重複嘗試上。

3. Harness 很重要。 在 backbone 固定時,只更換 harness 就能提升表現,同時降低估計的推論成本。

在數字方面,論文頁面與摘要沒有提供完整的結果表,以下僅引用專案網站上可見的片段:GPT-6 Astra 的最高分為 76.25、平均 56.07,Learning Gain 為 +23.79、Learning Slope 為 +5.88;其整體評測花費約 150 美元,涵蓋 600 個完成的 episode,平均每個 episode 約 0.25 美元。網站同時呈現 31 種 agent 配置在「表現 vs. 每 episode 成本」上的比較。Claude Opus 5.5 在網站上被標為最高分的模型,但我手邊的資料沒有其具體分數,所以這裡不做數字比較。各模型間的差距、各 self-evolving 方法的提升幅度,需要讀完整論文的表格才能確認。

意義

這篇論文的價值主要在「評估方法」。把預訓練知識從任務中剝離,能更乾淨地回答「agent 到底有沒有在學」。Learning Gain 與 Learning Slope 這類指標,把重點從單次得分轉到「跨 episode 的進步」,這比只看最終成功率更貼近 continual learning 的本質。

對實務開發者,有幾點啟發。第一,做 agent 記憶機制時,不要太早把經驗壓成摘要;原始軌跡雖然佔用更多 context,卻可能保留了關鍵證據。第二,harness 的設計空間常被低估:同一個模型,換個框架就可能同時更準、更便宜,這對成本敏感的部署特別重要。第三,人類在探索多樣性上仍然領先,這提示未來的改進方向,可能在於鼓勵 agent 主動探索、避免重複動作,而不只是堆更大的模型。

需要留意的限制:這是文字遊戲的環境,遊戲數量(20 個模板)有限,結論能否推廣到更開放的真實世界任務還有待驗證;而我這裡引用的數字多來自專案網站而非論文正文,實際細節仍應以原論文為準。

背景

過去兩年,大型模型的進步重心逐漸從「預訓練多吃資料」轉向「後訓練多花算力」。RLHF、RLVR(可驗證獎勵的強化學習)這類方法讓模型在推理、寫程式、操作工具等任務上大幅進步。MiMo-V2.6 技術報告(Xiaomi LLM-Core Team,arXiv 2610.11959,2026 年 10 月提交)把這個趨勢說得更直接:RL 是讓基礎模型走向「自我改進」的核心訓練範式,所以要繼續往前推,就得把 RL 本身的算力規模拉上去。

不過 RL 一放大就會碰到幾個老問題。第一,長程 agent 任務的 rollout 很長、很慢,同步訓練會讓 GPU 大量閒置。第二,環境不夠多樣,模型容易只學會針對單一 harness 或單一領域的技巧。第三,獎勵訊號不準:任務越長,越難用簡單規則判斷好壞,模型也越容易鑽漏洞(reward hacking)。第四,MoE 架構在 RL 中容易出現 routing 不穩,導致訓練發散。

MiMo-V2.6 是一個 omni-modal(全模態)模型系列,報告的主軸不是提出單一新演算法,而是系統性地回答「RL 要怎麼放大,才能放得穩」。

方法

報告把流程分成「RL 之前」和「RL 本身」兩段。

RL 之前: 團隊先在廣泛的多模態語料上做 mid-training,目的是替後續 RL 提供足夠的「探索空間」,也就是先讓模型具備多樣的能力與行為分布,RL 才有東西可以強化。同時在已預訓練好的 hybrid-SWA(混合 sliding window attention)架構上打好基礎設施,以支援後續放大。

RL 算力沿三個維度放大:

1. 更大的 batch 與更高吞吐。 採用非同步訓練,每個 step 消耗 1,568 個樣本、2.7–3.7B 個 token,context 長度最高到 1M。以這個量級來看,每步處理的 token 數已經相當於一次小型預訓練的規模。
2. 更多元、更複雜的環境。 涵蓋 code、general、visual、cyber 四大領域,並且混合多種 agent harness。換句話說,模型不是只在一種工具介面下練習,而是要適應不同的 agent 框架。
3. 更多 grader 算力。 採用 groupwise agentic grading:不是對單一軌跡獨立打分,而是讓一個具備 agent 能力的 grader 對同一組(group)的多條軌跡一併評比。報告指出這能對長程任務產生更準確的獎勵訊號,並且把模型導向更短、更省 token 的解法,也就是不鼓勵靠冗長的嘗試來碰運氣。

穩定性設計: 為了讓大規模 RL 不崩,團隊凍結 MoE router,避免專家路由在訓練中劇烈漂移;另外建立多層次的 reward hacking 防禦機制,摘要中沒有列出每一層的細節。

基礎設施: 針對混合任務的 agentic RL,他們建了統一的軌跡表示(unified trajectory representation)、高併發的多框架 rollout、拆開的 control plane 與 data plane,以及訓練與推論之間的一致性(training-inference consistency)。最後一項很關鍵,因為推論引擎與訓練引擎的數值差異,在 MoE 加長序列的情況下常常是 RL 不穩定的來源。

實驗結果

必須先說明:我讀取了 Hugging Face 頁面與 arXiv 摘要頁,兩者都只提供摘要層級的資訊,沒有各 benchmark 的分數、模型參數量或與其他模型的比較表。完整的實驗數字在技術報告 PDF 裡,這裡不憑空補數字。

從摘要能確認的具體數字只有訓練規模:

• 每個 RL step:1,568 個樣本、2.7–3.7B tokens
• 最長 context:1M tokens
• 環境領域:4 類(code、general、visual、cyber)

質性的結果則包括:groupwise agentic grading 讓獎勵更準,並使模型輸出更短、token 效率更高;凍結 router 加上多層防禦,讓大規模訓練得以維持穩定。報告也強調會開源 training dynamics(訓練過程的曲線與動態)、RL 環境與 RL 框架。對 RL 研究者來說,公開 training dynamics 特別有價值,因為大部分實驗室只公布最終分數,很少讓外界看到訓練中獎勵、長度、KL 等指標如何演變。要判斷這套配方實際帶來多少提升,讀者需要回頭看完整報告的 benchmark 章節。

意義

這份報告有三個值得留意的地方。

第一,它把「RL 算力 scaling」拆成可操作的三條軸線:batch/吞吐、環境多樣性、grader 算力。其中把 grader 也當成要加算力的對象,是很實用的觀點。過去大家習慣把算力全砸在被訓練的 policy 上,但當任務變成長程 agent 時,判斷「這條軌跡到底好不好」本身就是難題,用更強、更貴的 agentic grader 換取更準的訊號,可能比單純多採樣更划算。

第二,groupwise 評分同時帶來「更短解法」的副作用,與目前業界關心的 token 效率、推論成本高度相關。長 context 模型很容易越想越長,如果 RL 的獎勵設計能直接壓住冗長,對實際部署成本有直接好處。

第三,工程面的經驗,例如凍結 MoE router、訓練推論一致性、多層 reward hacking 防禦,都是在大規模 RL 中很容易踩雷、卻很少被完整記錄的細節。搭配開源的環境與框架,後續研究者有機會重現並檢驗這些做法,而不只是看一張排行榜。

當然,目前能確認的只是方法論與規模,實際效果仍要靠完整報告的數據與社群重現來驗證。「自我改進」在這裡指的也是透過更大規模 RL 持續提升能力,並非模型自主迭代。但就「如何把 agentic RL 做大做穩」這個問題而言,MiMo-V2.6 提供了一份相當具體的工程藍圖。

背景

World model 的基本任務是:給定 agent 的動作,預測接下來會看到什麼。近年 egocentric(第一人稱)world model 很熱門。它們根據穿戴式裝置或機器人的視角,在動作條件下生成後續的影片畫面,可用於模擬、規劃與資料合成。

不過現有工作大多只處理單一 agent。真實的具身(embodied)場景很少只有一個人。多個人或機器人會在同一個環境裡行動、協作、互相遞東西、移動物品。每個 agent 只看得到自己的視角,但大家共享同一個物理世界。

這篇來自 KAIST AI 的論文 ME-World 指出,現有的 multi-agent world model 有兩個缺口:

1. 動作太粗:多數方法只用 locomotion(移動)、camera control(相機控制)或離散指令來驅動。但真正的互動是細粒度的,例如手部操作、拿起物品、把東西交給另一個人。
2. 缺少共享世界的一致性:A 把杯子移走之後,B 的視角裡杯子也必須消失。同一個人從 A 與 B 的視角看起來也應該是同一個人。這些條件沒有被明確建模,也沒有被明確評估。

作者把問題重新定義為「同步的 ego-stream 生成」:多個 agent 透過細粒度動作在共享世界中互動,模型要同時產生每個 agent 的第一人稱影片串流。論文歸納出三項核心需求:

• Cross-view action consistency:一個 agent 的動作,在其他 agent 的視角中也要正確呈現。
• Shared-environment consistency:各視角看到的是同一個環境,場景佈局與物件位置不能互相矛盾。
• Interaction-induced state update propagation:互動造成的狀態改變(例如物體被移動)要一致地傳遞到所有相關視角,並在之後持續維持。

方法

根據摘要,ME-World 有三個主要設計,分別對應上述三個需求。

1. 在共享 token 序列中聯合去噪(joint denoising)。 最直接的做法是對每個 agent 獨立生成一段影片,但這樣各視角之間沒有溝通,很容易互相矛盾。ME-World 把多個 ego stream 的 token 放進同一條序列,一起做去噪。模型在生成每個視角時,能直接看到其他視角正在生成的內容,因此 attention 可以跨視角交換資訊,這是跨視角一致性的基礎。這與一般影片擴散(diffusion)模型的做法一脈相承,差別在於序列中放的是多個同步的視角,而不是單一影片。

2. 以所有 agent 的 target-view pose 作為條件。 每條 stream 不只接收自己 agent 的動作與姿態,也會以「所有 agent 的目標視角 pose」作為條件。這讓模型知道其他 agent 在哪裡、朝向何方,因此能推斷某個 agent 的動作在另一個視角中應該出現在哪裡、長什麼樣子。這也是細粒度動作(例如手的動作)能夠跨視角被看見的關鍵。

3. 共享環境記憶(shared environment memory)。 為了讓生成結果被穩定地「錨定」在同一個世界上,模型維護一份共享的環境記憶,用來記錄場景的持久狀態。當某個互動改變了環境(物品被移動、被拿走),這份記憶可以把改變傳遞給其他視角,並在後續畫面中保持。這處理的是 state update propagation 的問題,也有助於長時間生成時避免場景逐漸漂移。

資料與評估。 作者同時使用真實與合成的多 agent 資料進行訓練與評估。合成資料能提供精確的動作與 pose 標註,真實資料則檢驗模型能否泛化到現實畫面。論文另外提出三類 shared-world consistency 指標:

• Environment consistency:各視角的環境是否一致。
• Update consistency:互動造成的狀態更新是否被正確傳遞。
• Identity consistency:同一個人或物體在不同視角下外觀是否保持一致。

這點值得注意。傳統影片生成指標(例如畫質、與參考影片的相似度)很難衡量「兩個視角是否講同一個故事」,所以新指標本身也是貢獻之一。

實驗結果

我能取得的資料有限:Hugging Face 頁面與 arXiv 摘要頁都只提供摘要,沒有列出模型大小、資料集名稱與規模、baseline 名稱,也沒有具體的數字表格。因此這裡不編造 benchmark 分數或提升幅度,只能轉述作者的結論。

作者在真實與合成的多 agent 資料上做實驗,並與現有方法比較。他們報告 ME-World 在四個面向上優於現有方法:

• Shared-world consistency:包含上述環境、更新、身分三項新指標。
• Action control:模型能更準確地依照輸入的細粒度動作生成對應畫面。
• Identity preservation:跨視角、跨時間的人物與物體身分更穩定。
• Video quality:整體影片品質也有提升。

以上是摘要層級的結論。實際提升多少、哪個 baseline 最強、各模組(聯合去噪、pose 條件、環境記憶)各貢獻多少,需要讀完整篇論文的表格與 ablation 才能確認。對這類工作,建議特別看三件事:新指標與人工評估是否一致、真實資料與合成資料上的表現差距,以及環境記憶在長序列中是否真的抑制漂移。

意義

ME-World 的價值主要在於它把問題重新定義,並補上了評估工具。

第一,它把 world model 從「單人視角」推向「共享世界」。 現實中的協作機器人、AR/VR 多人互動、人機協作,都需要模型理解「我做的事會如何出現在你的眼中」。能同步生成多個一致的視角,是把 world model 用於多 agent 模擬的前提。

第二,細粒度互動是下一步。 只靠移動與相機控制,world model 很難用於操作類任務。把手部動作這類細粒度動作納入多 agent 設定,更貼近具身智慧的實際需求,例如用生成式模擬來產生多人協作的訓練資料。

第三,一致性指標可能比單一模型更有影響力。 環境、更新、身分三類一致性指標,讓後續工作可以更明確地比較「多視角是否說同一個故事」,而不只看單視角畫質。這類指標通常會被後續論文沿用。

也要保留一些謹慎。目前能確認的只有設計與定性結論。共享記憶在更多 agent、更長時間、更複雜場景下的擴展性,以及對運算成本的影響,都有待完整論文與後續工作檢驗。如果你在做多 agent 模擬、機器人資料合成或具身 world model,這篇值得放進閱讀清單。專案頁與 GitHub 程式碼庫已有公開連結,可以進一步查證細節。