K1 論文詳解

背景

近年來最會做事的 LLM agent,強的往往不只是背後那顆語言模型,而是包在模型外面的「harness」——也就是 prompt 設計、控制流程、工具呼叫方式、記憶機制與 context 管理這一整套系統。同一顆凍結不動的 backbone model,換一套 harness 就可能有天差地遠的表現。於是研究者開始嘗試讓 AI 自己去修改、優化自己的 harness:反覆提出修改方案、測試、挑出更好的版本,再繼續迭代——這其實就是一種「代理人系統層級的遞迴自我改進」(recursive self-improvement, RSI)。

問題是,這種自動演化很容易「背答案」。當演化過程一直拿同一組訓練任務當作評分標準,系統很容易學會針對這批任務的特定捷徑或小抄式邏輯,結果在訓練集上分數飆升,一換到沒看過的 out-of-distribution(OOD)benchmark,漲幅就大幅縮水,甚至完全消失,等於是過擬合(overfit)到了訓練任務,而非真正學會更好的通用工作方法。這正是 Google 研究團隊(作者包括 Peng Xia、Chen-Yu Lee 等人)在這篇論文想解決的核心痛點,他們提出的方法叫 RRSI(Regularized Recursive Self-Improvement of Agent Harnesses)。

方法

RRSI 的核心思路很直白:在自我演化的「提案」與「篩選」兩端都加上正則化(regularization)限制,逼系統只留下真正可重複使用的機制,而不是死記硬背的benchmark 專屬技巧。

在提案端(proposer),系統採用「時間退火的編輯預算」(temporally annealed budget):越到演化後期,一次候選修改能綁在一起的編輯數量就越少,避免一次性堆疊太多變動導致難以歸因效果。同時 proposer 會參照完整的演化歷史紀錄,避免重複提出已經被證明無效的假設,並主動把探索預算導向還沒被動過的元件,鼓勵系統嘗試「未探索過的路徑」而非反覆微調同一塊。

在篩選端(selector),系統配備了「critic」與「pruner」兩道關卡。critic 扮演審查者角色,專門攔截那些疑似寫死了任務名稱、答案內容或 benchmark 專屬邏輯的候選方案(可理解為一種「洩題偵測」);同時還設有「雜訊校正門檻」,要求分數提升必須明顯高於評測本身的隨機波動,以及「成本規則」,要求新增的 token 開銷必須有相對應的效能回報才算數。pruner 則負責清掉那些改動太小、太貴、或已經不再有用的元件,持續為 harness 瘦身。整套機制實作上用 git worktree 把每個候選 harness 存成獨立分支,並以 JSONL 紀錄每次編輯的元件、假設、分數與判定結果,方便回溯整個演化史。

實驗結果

研究團隊在橫跨三大領域、共八個 benchmark 上驗證 RRSI,涵蓋程式編寫(coding)、代理人工作空間(agentic workspace,如處理法律/職缺類任務)、以及工程設計(engineering design)。實驗設計把其中幾個 benchmark 當作「演化時看得到」的訓練分割,其餘則完全隔離作為 OOD 測試集。

結果顯示,在演化直接對抗的訓練分割上,RRSI 相較未正則化的版本最多可拉出 14.1 分的進步;更關鍵的是,在五個完全沒被用來訓練、真正意義上的 OOD benchmark 上,RRSI 依然能帶來最多 4.7 分的提升,而且是穩定的正向增益,不是曇花一現。作為對照,傳統不加限制的自我演化方法,雖然在訓練集上也能衝出亮眼分數,但一放到 OOD benchmark 就明顯退步,印證了「背答案」式的過擬合問題確實存在。

除了準確率之外,RRSI 演化出來的 harness 在推論效率上也更精簡:執行同樣任務所需的 policy tokens(即模型在解任務過程中實際產生的 token 量)比未正則化版本減少了 30%。這代表 RRSI 找到的不是靠「講更多話、想更久」硬堆出來的效能,而是更精煉、更聰明的工作流程設計——用更少的計算換到更好且更通用的結果。

意義

這篇論文提醒我們一個容易被忽略的風險:讓 AI 自己優化自己的工作方式,聽起來很酷,但如果評分標準本身有限,系統很可能學會的是「怎麼在這場考試拿高分」,而不是「怎麼把事情做得更好」。RRSI 的貢獻不是提出全新的自我改進框架,而是替既有的 harness 自我演化裝上「防作弊」與「防炒短線」的煞車——透過退火預算、探索導向、洩題偵測、雜訊門檻與成本紀律等一整套正則化手段,讓系統偏好那些能跨任務重複使用的通用機制,而非投機取巧的小抄。

對正在打造 agent 產品的團隊來說,這套思路具有直接的實務參考價值:當你用自動化流程去調校 prompt、工具鏈或記憶機制時,務必留一部分完全隔離、模型從未見過的評測集做為「誠實的量尺」,並且把 token 成本、修改幅度這些變數也一併納入篩選條件,而不是只看單一分數是否上升。更長遠來看,隨著 agent harness 本身逐漸變成一個可被自動演化、甚至可能遞迴改進的「軟體系統」,如何在追求效能提升的同時避免過擬合、控制推論成本,將會是這類自我進化系統能否真正落地、而不只是在 benchmark 上好看的關鍵課題。

背景

近年來,「影片世界模型」(video world model)成為生成式 AI 的熱門方向:給定一張圖片或一段文字描述,模型就能像遊戲引擎一樣持續「生成」出可探索的動態場景,讓使用者用相機在其中自由移動、環顧四周。這類模型的潛力很大——可以用於虛擬場景漫遊、遊戲原型設計、機器人模擬訓練等。然而現有方法有一個長年未解的痛點:長時間探索後,模型會「忘記」先前看過的畫面。舉例來說,使用者從一個房間走出去、繞了一圈再回來,理想情況下應該看到與原本一致的房間佈局與物件位置,但多數影片生成模型只依賴短期的時間上下文(前幾幀畫面),一旦超出這個窗口,場景幾何與外觀就會逐漸漂移、甚至憑空捏造出不同的內容。

這個問題的根源在於 transformer 架構的 token 預算有限:影片生成器每次去噪(denoising)只能處理固定數量的視覺 token,若要把整段探索歷史中的所有畫面都塞進模型,計算量會爆炸性增長。過去也有研究嘗試用顯式的 3D 表示(如點雲、深度圖、NeRF)來記錄場景並提供跨視角一致性,但這類方法通常需要精確的深度估計與幾何對應關係,一旦深度估計出錯,整個記憶系統就會失真,而且计算與儲存成本高,難以支援「串流式」(streaming)的即時探索體驗。

由 Tencent ARC Lab(即 Tencent 互動娛樂事業群旗下研究實驗室)與北京大學合作的團隊,提出了 WorldCrafter,試圖從根本上改變「記憶」的組織方式——不是先建立一個固定的、與視角無關的 3D 場景表示,而是讓「查詢視角」本身決定歷史資訊該如何被壓縮進有限的 token 預算裡。

方法

WorldCrafter 的核心概念是一套「相機可查詢的隱式 3D 感知記憶」(camera-queryable implicit 3D-aware memory)。與傳統做法不同,它不透過顯式的深度估計或幾何對應關係來建立記憆,而是訓練一個記憶編碼器(memory encoder)與一個以相機姿態為條件的讀出模組(pose-conditioned readout module),兩者與影片生成器一起聯合訓練(jointly trained)。

具體運作方式是:當使用者請求某個新視角(例如轉頭看向左邊、或往回走幾步)時,系統會根據這個目標視角的姿態,把過去累積的多視角觀測(multi-view evidence)動態壓縮成一組數量固定的「目標視角專屬記憶 token」。也就是說,記憶不是一份固定不變的場景快照,而是會隨著你「問」的角度不同,重新篩選、重組出最相關的歷史資訊——這解決了 token 預算有限與長時間歷史資訊量龐大之間的矛盾。這組記憶 token 會在去噪(denoising)之前,與最近的時間上下文(recent temporal context,也就是短期畫面,用來維持動作與動態物體的連續性)一起餵入影片生成器,兩者分工互補:短期上下文負責流暢的動作與動態變化,長期記憶負責跨時間、跨視角的場景一致性。

為了讓系統能實現「串流式」場景探索(即使用者可以邊看邊即時操控相機,而非等待整段影片生成完畢),WorldCrafter 額外採用了少步驟蒸餾(few-step distillation)技術,把原本需要多步迭代去噪的擴散模型壓縮成只需極少推理步驟即可生成畫面的快速版本(對應 Hugging Face 上釋出的 WorldCrafter-Fast 模型)。整個系統支援兩種起始輸入:單張輸入圖片,或一段文字描述(text prompt),都能作為探索起點,持續生成長達分鐘等級(minute-scale)的連續場景漫遊影片。

實驗結果

研究團隊在靜態場景與動態場景兩類設定下都進行了實驗評估,建構了涵蓋 145 個場景、共 725 條相機軌跡的評測基準,用以測試模型在長時間探索後「回訪」(revisit)先前區域時的空間一致性,以及相機控制的精確度。評估方式包含從生成影片中重建點雲並比對相機軌跡對齊程度,藉此量化生成內容與真實幾何的吻合度。

結果顯示,相較於既有的影片世界模型基線方法,WorldCrafter 在「長時間視野一致性」(long-horizon consistency)與「相機控制精確度」(camera-control accuracy)兩項指標上都取得顯著提升,尤其在使用者長時間探索、多次繞回原本區域的場景中,物件位置與場景佈局的還原程度明顯優於僅依賴短期時間上下文的方法。同時,在整體影片品質評估(採用業界常用的 VBench 評測工具)中,WorldCrafter 在所有受測方法裡取得最高的綜合分數,顯示其在追求長期一致性的同時,並未犧牲畫面的視覺品質與生成穩定性——這點很重要,因為許多加入額外約束(如強制幾何一致)的方法往往會讓畫面出現模糊或偽影,而 WorldCrafter 透過隱式、與生成器聯合訓練的記憶機制,避免了這種取捨。

意義

WorldCrafter 的價值不只在於「多加了一個記憆模組」,而是提出了一種新的思路:與其把 3D 場景表示與影片生成器分開設計(前者負責幾何正確性、後者負責畫面品質),不如讓兩者聯合訓練、讓「你想看哪裡」直接決定「哪些歷史資訊值得被記住」。這種以查詢視角驅動的記憶壓縮方式,某種程度上呼應了近年 transformer 架構中「動態、任務相關的上下文選擇」這個大方向——與其死板地保留固定窗口的歷史,不如讓模型學會按需取用。

對於實際應用而言,少步驟蒸餾帶來的即時串流能力,意味著這類技術有機會被用在互動式虛擬場景漫遊、遊戲關卡原型快速生成、甚至機器人在模擬環境中進行長時間導航訓練等場景——這些應用都高度依賴「探索越久、場景越穩定可信」這個特性,而不是短短幾秒的示範影片。同時,不依賴顯式深度估計的設計,也降低了模型對高品質深度標註資料的依賴,理論上更容易泛化到多樣化、甚至動態(有移動物體)的真實場景中。

當然,目前釋出的評測規模(145 個場景)相對有限,是否能推廣到更大規模、更複雜的開放世界場景,以及記憶 token 數量固定是否會在極長時間探索後出現容量瓶頸,都是後續值得關注的問題。但整體而言,WorldCrafter 展示了一條清晰可行的路徑,讓影片世界模型從「短暫的視覺特效」邁向「可信賴、可長時間互動的虛擬空間」。

背景

現代電玩遊戲其實是個天然的 AI 測試場：一款遊戲同時考驗視覺理解（看懂畫面資訊）、指令拆解（把「打贏這場戰鬥」拆成一連串具體操作）、目標規劃（決定先做什麼後做什麼），以及精準的動作控制（按對按鍵、瞄準游標）。這些能力橫跨了從「下一步該按什麼鍵」到「接下來幾分鐘該怎麼打」的不同時間尺度（horizon），正好對應到當前 VLM（視覺語言模型）與遊戲代理人（game agent）最被關注的能力光譜。

問題是，現有的遊戲資料集和 benchmark 都有明顯短板：有些只涵蓋單一或少數遊戲（例如 Minecraft），類型單一、泛化性差；有些完全沒有語言指令標註，模型無法被評估「聽懂指令再執行」的能力；還有些依賴線上即時互動（online rollout）評測，結果受隨機性影響很大，難以重現、也難以公平比較不同模型。此前規模最大的同類語料，像 gaming-500-hours 只有 500 小時、D2E 只有 300 小時，遠不足以支撐大規模、跨遊戲的能力評測。

為了填補這個空缺，研究團隊提出 GameHorizon Suite，一套統一的資料與評測體系，專門用來衡量模型在「短、中、長」三種時間尺度下的遊玩能力，並且同時支援可重現的離線測試與能定位失敗步驟的線上測試。

方法

GameHorizon Suite 由三個核心部分組成：

GameHorizon-Annotator（自動標註管線）：採用由下而上（bottom-up）三階段流程。第一階段「動作感知影片切割」把鍵盤滑鼠事件對應到遊戲語意，用 VLM 消歧義，切出 1–5 秒的短片段（L₁）。第二階段「由下而上時間合併」，用動態規劃把朝同一目標推進的 L₁ 片段合併成 1–2 分鐘的 L₂ 片段，再合併成 5–8 分鐘的 L₃ 片段。第三階段由 VLM 針對每個層級生成對應指令：L₁ 給畫面加動作、L₂ 給畫面加動作加下層 L₁ 指令、L₃ 只給畫面加下層 L₂ 指令（不含具體動作）。

GameHorizon-Data（首個大規模 AAA 遊玩資料集）：由 100 名資深玩家貢獻，共 5,000 小時錄影、涵蓋 21 款 AAA 遊戲（類型橫跨開放世界、動作 RPG、競技射擊、生存建造等），其中 Valorant 佔比最高（617.5 小時，12.35%），Honor of Kings: World 最少（35.9 小時，0.72%）。整體含 4,571 支 60fps 影片、4.11 億次鍵鼠事件（平均每秒 22.84 次），以及 618.4 萬條多時間尺度指令（其中 L₁ 594.8 萬條、L₂ 18.9 萬條、L₃ 4.7 萬條），平均時長分別為 2.63 秒、82.6 秒、330.4 秒。

GameHorizon-Bench（評測基準）：離線賽道共 5,000 題選擇題，分三大主任務——T₁ 單層動作預測（根據畫面與 L₁ 指令選正確操作）、T₂ 跨層拆解（把 L₂ 目標拆成正確順序的 L₁ 動作序列）、T₃ 跨層一致性（判斷影片、三層指令與動作是否對齊），另外還有 10 種診斷變體（各 200 題），用來拆解「觀察 vs 預測未來」「由上而下拆解 vs 由下而上歸納」等具體能力差異。線上賽道則設計 10 個有先後依賴的因果任務與 10 個主題彈性任務，共 62 個短時子任務，每個子任務最多給模型 400 次調用機會，一旦某個環節失敗即整體任務失敗，藉此定位模型具體在哪一步出錯。

實驗結果

研究團隊總共評測了 47 個模型（35 個通用 VLM、4 個統一多模態模型 UMM、2 個 GUI 代理人、3 個程式碼代理人、3 個專門遊戲代理人），累計超過一百萬次模型調用。

離線主任務整體平均準確率為 64.7%，遠高於隨機猜測的 25% 基準，最高與最低模型相差達 35.6 個百分點（44.6% 至 80.2%）。三個任務難度呈現清楚層級：T₁（動作預測）最難，僅 57.3%；T₂（目標拆解）居中，65.1%；T₃（跨層一致性，因為有更豐富上下文）最容易，71.6%。第一梯隊由 GPT-6-Astra 以 80.2% 居冠，其後是 Gemini 3.8 Flash（77.3%）、Gemini 3.7 Flash（76.7%），唯一進入第一梯隊的開源模型是 Kimi-K3（74.5%，第 6 名）。同系列模型也呈現明顯世代進步，例如 GPT 系列從 GPT-5.2 的 62.8% 一路提升到 GPT-6-Astra 的 80.2%。

值得注意的是，統一多模態模型（UMM）與 GUI 代理人整體表現偏弱，最差的 InternVL-U-4B 只有 44.6%；而三個專門遊戲代理人在陌生 AAA 遊戲上幾乎等同亂猜（約 25%），例如 JARVIS-VLA 在 AAA 遊戲上只有 28.1%，但在其訓練過的 Minecraft 上卻有 54.2%，顯示嚴重的領域依賴問題。診斷變體實驗也發現，模型在「辨識已發生的動作」上比「預測未來動作」準確 9.9～23.8 個百分點；加入多層指令能讓未來規劃能力提升 7.0 個百分點。線上賽道結果與離線分數高度相關，驗證了離線分數確實能反映真實遊玩能力，但長時任務的整體成功率普遍偏低——即使是最強的 GPT-6-Astra 也只有 45.0%，其餘十二個模型中有十個成功率不到 10%。

意義

GameHorizon Suite 的價值在於，它第一次把「多時間尺度的遊玩能力」變成一把可重現、可拆解、可規模化的量尺。過去業界要嘛只能用少量遊戲的小資料集，要嘛只能依賴高變異的線上實測，難以做跨模型、跨版本的公平比較。這套 5,000 小時、21 款 AAA 遊戲的資料與配套的離線/線上雙軌評測，讓研究者能同時看到「模型整體強不強」，也能精確定位「模型到底卡在動作執行、目標拆解、還是跨層一致性理解」。

對從業者而言，這也提供了一個具體訊號：目前最強的通用 VLM（如 GPT-6-Astra、Gemini 3.x）在短時動作預測上仍只有五、六成準確率，長時任務成功率普遍不到五成，說明遊戲式的長程具身推理（long-horizon embodied reasoning）依然是各家模型的共同弱點，而非某一家獨有的落後。同時，專用遊戲代理人在未見過的 AAA 遊戲上表現近乎隨機，也提醒業界「領域特化」與「通用泛化」之間存在明顯取捨。隨著作者承諾釋出資料集、標註管線與 benchmark 程式碼，這套體系有機會成為評估遊戲類 AI（乃至更廣泛的具身智能、agent 系統）多時間尺度能力的標準化工具。