K1 論文詳解

背景

機器人操作任務的一大瓶頸,是缺乏能準確模擬「執行某個動作後會發生什麼」的環境模型。傳統作法要嘛依賴昂貴的真實機器人試錯,要嘛依賴物理模擬器,但模擬器與真實世界之間存在明顯的 sim-to-real 落差。近年興起的「影片世界模型」(video world model)嘗試用生成式影片模型直接預測未來畫面,把動作規劃、策略訓練甚至評測都建立在「想像出來的」影片 rollout 上。但這類模型常見的問題是:畫面看起來很真實、很流暢,卻可能出現「手臂動錯方向」或「被抓取的物體憑空消失/變形」等不忠實(unfaithful)於實際物理與動作指令的情況——也就是「看起來對,實際上錯」。DreamX Team 提出的 DreamX-Phi 1.0,正是針對這個「真實感 vs 忠實度」落差而設計的動作條件(action-conditioned)影片世界模型,鎖定雙臂機器人操作場景,輸入一張觀測影格、一句語言指令,以及一段包含末端執行器(end-effector)姿態與夾爪開合狀態的動作序列,輸出對應的未來畫面預測。

方法

DreamX-Phi 1.0 以 Wan2.2-TI2V-5B 這個文字/影像轉影片的 5B 參數 transformer 為基底進行微調與擴充,核心設計有三個層次。第一,為了讓模型準確跟隨每隻手臂各自下達的路徑指令,團隊採用 PRoPE 風格的幾何編碼,把每隻手臂的 SE(3)(三維剛體旋轉+平移)變換直接注入到 attention 機制中,而不是像過去做法把動作壓縮成一般性的 token 向量——這樣能保留「哪隻手臂對應哪段運動」的身份資訊與剛體運動結構,避免雙臂任務中「認錯手臂」的問題。第二,單靠動作條件並不足以約束場景整體幾何與細小被操作物體的演變,因此加入一個輕量的深度(depth)分支來監督場景級三維幾何一致性,並利用 SAM3 分割遮罩搭配一個凍結參數的 V-JEPA 教師模型,在抓取過程中維持物體外觀與存在的一致性,防止物體在生成影片中被生成模型「幻覺」掉。第三,考量到多步驟擴散式生成器在部署時延遲過高,團隊透過 distribution-matching distillation,把原本需要多步取樣的生成器蒸餾成一個只需幾步推論的學生模型,兼顧生成品質與推論效率。訓練資料上,團隊混合了無動作標註的第一人稱(egocentric)影片、真實機器人示範資料,以及模擬軌跡,其中動作條件資料池包含約 25,000 段經過 DreamX-Refiner 精煉處理的雙臂 RoboTwin 模擬片段。

實驗結果

在 WorldArena 2.0 Challenge 這個針對機器人世界模型的公開評測賽事中,DreamX-Phi 1.0 在 Track 1(影片預測賽道)以 EWMScore-P 60.65 分,在 31 支參賽隊伍中拿下第一名;在 Track 2(以世界模型輔助策略訓練的賽道)於 Adjust Bottle 任務上達到 67.19% 的成功率,並列第二名。此外,團隊也在前一代的 WorldArena 1.0 上做了離線(offline)評測,取得 76.88 分,較當時官方排行榜第一名高出 3.24 分,顯示其方法在不同版本評測基準上都具備一致的競爭力,而非單純針對單一比賽版本調參。這些數字說明,PRoPE 幾何編碼、深度分支與 SAM3+V-JEPA 一致性監督這三項設計,對於同時提升「動作跟隨準確度」與「下游策略訓練有效性」都有實質貢獻,而非只是讓影片視覺上更好看。

意義

DreamX-Phi 1.0 的價值不只在拿下比賽名次,而在於它示範了一條「用生成式影片模型取代或輔助物理模擬器」的可行路徑:當世界模型足夠忠實地反映動作與物理約束時,它既可以作為機器人策略的低成本訓練環境(Track 2 場景),也可以作為評估、除錯乃至規劃階段的「沙盒」。文中特別強調「真實感不等於忠實度」這個觀察,對整個具身智慧(embodied AI)與世界模型社群具有指導意義——未來評測影片世界模型時,除了畫質與流暢度等生成指標,更需要針對動作一致性、物體恆常性等維度做專門檢驗。同時,將幾何結構(SE(3)、深度)顯式注入 attention、並用蒸餾大幅壓縮推論步數的組合拳,也為後續想把大型影片生成模型落地到真實機器人系統的團隊,提供了一套兼顧精度與效率的參考範式。隨著模型與程式碼公開,預期會加速雙臂機器人操作、世界模型驅動的策略學習等方向的後續研究。

背景

近年來 LLM 逐漸從單純的問答工具演變成能自主執行任務的「agent」,而讓 agent 具備複雜操作能力的關鍵,是把重複性的操作流程包裝成可重複使用的「技能包(skill package)」,在需要時載入 agent 的 context 中執行,例如「如何操作某個 CLI 工具」「如何在特定環境中完成某個任務序列」。

問題是,隨著技能庫規模擴大(從幾百個技能到數十萬個),context window 的預算卻是固定甚至有限的。理想情況下,系統應該只把「完成當前任務所需的最小可執行片段」餵給模型,而不是整包技能塞進去。但現有系統普遍卡在幾個結構性問題上:

1. 重用粒度太粗:技能只能整包檢索,無法重用同一技能內部、跨技能共享的子步驟或子程序。
2. 壓縮容易破壞「合約(contract)」:也就是一個步驟的輸入輸出邊界、依賴關係、以及可驗證性(verifier)在壓縮文字後容易丟失,導致壓縮後的技能「看起來對但執行會出錯」。
3. 壓縮與執行脫節:技能是「打包」檢索、「當文字」壓縮,卻是「檢索之後」才轉成可執行的圖(execution graph)——論文把這種結構性錯位稱為「unit mismatch(單位不匹配)」。
4. 技能庫難以增量更新:當新技能加入或既有技能被證明有風險時,系統缺乏機制去動態修正已經壓縮好的內容。

論文作者來自 UNSW Sydney 與 CSIRO(澳洲),於 2026 年 8 月投稿 arXiv(編號 2608.05604),提出 SkillZip 這套「執行感知(execution-aware)」的程序性抽象框架,試圖從根本上解決上述單位不匹配問題。

方法

SkillZip 的核心思路是:不要把技能當成「文字」壓縮,而是先把它轉成保留執行語義的「圖(graph)」,再在圖的層級做壓縮與重用。整個系統包含四個主要模組:

1. Sec2Graph(切段建圖) 把每個技能包拆解成「section 級」的類型化程序圖,每個節點標註角色(如 Intent 意圖、Operation 操作、Verifier 驗證器等),並保留節點間的依賴關係與原始文字的來源指標(source pointer)。這一步讓原本只能整包重用的技能,暴露出可以在更細粒度上共享的內部單元。

2. MotifZip(圖案壓縮) 在眾多技能圖中挖掘重複出現的「motif(合約有效的模式片段)」,把它們改寫成可逆的「ported macro(移植巨集)」。壓縮的前提是必須同時保住三件事:邊界簽章(boundary signature)、依賴閉包(dependency closure)、以及驗證器可達性(verifier reachability)。只有同時滿足這三個條件的重複模式才會被壓成巨集,確保壓縮後的內容仍然可執行、可展開回原文。

3. PathHydrate(路徑水合/展開) 在推論(inference)階段,系統會針對當前任務檢索出一個「緊湊、依賴閉合」的子圖作為 context,只有在執行真正需要更多細節時,才逐步展開(hydrate)對應的巨集,而不是一次性展開所有內容,藉此在 context 預算與資訊完整度之間取得平衡。

4. ReZip(增量修正) 當新技能加入技能庫,或執行過程中的證據顯示某個巨集其實有風險(比如某次執行失敗暴露出依賴缺失),ReZip 會利用這些執行證據去重新整合新技能、修正或拆解有問題的巨集,讓壓縮後的技能庫可以持續演化,而不是一次壓縮定終身。

整體而言,SkillZip 讓「檢索的單位」「壓縮的單位」與「執行的單位」統一成同一個「帶合約的程序性單元(contract-bearing procedural unit)」,從架構上解決了 unit mismatch 問題。

實驗結果

論文在技術類(technical)與具身(embodied)agent benchmark 上做了完整實驗,幾個關鍵數字如下:

• 整體任務表現:在 SkillsBench 上搭配 MiniMax-M2.7 模型,SkillZip 拿到 33.3 的 reward 分數,比最強基準線 SkillDAG 高出 6.0 分;在具身任務 benchmark ALFWorld 上,成功率達到 79.3%,比基準高出 12.2 個百分點(也就是摘要中提到的「up to 12.2 points」的改進上限)。換到 gpt-5.2-codex 模型上,SkillsBench 分數為 43.0,同樣領先基準 6.2 分。
• 檢索精準度:在 SkillsBench 上,Top-1 檢索準確率(Ret@1)從基準的 66.7 提升到 73.6。
• 壓縮效率:整體壓縮比達到 3.46倍,同時維持 99.2% 的依賴保留率(DPR) 與 98.7% 的驗證器可達性(VR)——這代表壓縮後絕大多數的執行前置條件與可驗證步驟都沒有被破壞。相比之下,單純做文字壓縮的方法有高達 45% 的查詢需要「回退回原文」才能救回執行,而 SkillZip 只需要 14.8%。
• 儲存空間:實際占用的技能庫從 18.6 MB 降到 5.4 MB,減少了 71.0% 的活躍儲存空間,同時仍保留完整原始技能庫以支援可逆展開。
• 規模擴展性:在技能庫規模從 200 一路擴大到 10 萬(100K) 個技能的測試中,SkillZip 在 100K 規模下仍維持 65.1 的 Ret@1,遠優於基準的 41.8;線上檢索加展開的延遲僅 248.3 毫秒,而針對 477 萬個 section 節點建圖僅需 178 秒。
• 消融實驗:拿掉 section 級節點會讓 reward 掉 5.4 分、context 長度反彈 59.9%;拿掉 MotifZip 壓縮模組,reward 降到 31.0;拿掉依賴閉包約束,DPR 從 99.2% 驟降到 82.3%;拿掉驗證器約束,VR 從 98.7% 降到 76.4%——這些數字說明論文提出的每個設計要素都確實有貢獻,而非疊加噱頭。
• 合約穩健性測試:即使人為破壞 10% 的合約資訊,reward 只從 33.3 小幅降到 31.6;但破壞比例拉高到 40% 時,reward 明顯滑落到 24.1,顯示合約完整性對系統表現至關重要。

意義

SkillZip 的意義,不只是「又一個壓縮技巧」,而是重新定義了 agent 技能庫應該被檢索、壓縮、執行的「單位」。過去的系統把這三件事當成三個獨立階段來處理(整包檢索 → 文字壓縮 → 事後轉圖執行),中間的落差正是許多 agent 在長流程任務中「壓縮後執行失敗」「更新技能後舊有巨集失效」等問題的根源。SkillZip 透過在圖層級同時保證邊界簽章、依賴閉包與驗證器可達性,讓壓縮這件事「有代價可控」——不是為了省 context 而犧牲正確性,而是用可逆、可驗證的方式換取空間。

對實務工程而言,3.46 倍壓縮加上 71% 的儲存節省,同時把依賴與驗證保留率維持在 99% 以上,意味著在真實部署場景中,技能庫可以做到更大規模(論文驗證到 10 萬個技能)而不必线性增加 context 開銷或犧牲可靠性。而 ReZip 這個增量更新機制,也呼應了實際場景中技能庫是持續演化、而非一次性固定的事實——這對正在把 LLM agent 推向生產環境、需要長期維護與擴充技能庫的團隊來說,是相當務實的工程貢獻,也為未來「大規模 agent 記憶體/技能管理系統」的設計提供了一個具體可參照的架構範式。

背景

近年 LLM agent 的能力提升,除了模型權重本身變強之外,越來越多研究發現「harness」——也就是包裹在模型外層的 prompt、工具集、skill 庫與控制流程——才是決定 agent 實際表現的關鍵變數。已有不少 self-improvement 系統會自動編輯 harness,但這些做法幾乎都是「單一世系(single-lineage)搜尋」:每次只沿著一條路徑修改,一旦某個局部改動在某些任務上看似變好,卻可能悄悄拖垮其他任務的表現,而且這種路徑依賴性讓搜尋很容易卡在局部最優。

由 Salesforce Research 團隊(Yifan Zhang、Silvio Savarese、Ran Xu 等人)於 2026 年 7 月提交的論文《DarwinX: Evolving Agent Harnesses Through Natural Selection》(arXiv:2608.07545),正是針對這個問題提出解方:把 agent 的自我進化,從「單一版本不斷修改」重新框架成「一整個族群(population)的天擇」——模型權重全程凍結,只演化外層的 harness。

方法

DarwinX 的核心是三個機制的組合。第一是「preserve-and-extend contract(保留並擴展契約)」:任何新的 harness 變體,只有在「淨收益 g(c)>0」且「回歸幅度 R(c)≤δ」的雙重條件下才會被允許取代舊版本——也就是必須擴大任務覆蓋範圍,同時不能讓已經解決的任務退步,並且用更嚴格的 avg@k 重複測試在較高 fidelity 下二次確認,避免偶然的 lucky run 被誤判為進步。

第二是「archive(存檔庫)」:系統不會只保留單一「最佳」世系,而是把多個各有專長的替代分支都存起來,讓不同的複雜任務解法可以在後續被重組(recombination)、合併成更全面的 harness,而不是被單一贏家淘汰掉。

第三是「三種證據來源共用同一個編輯介面」:失敗案例(failure-derived)、教師模型示範(teacher-derived)、以及 agent 自己 rollout 產生的對比證據(self-derived),都能以統一格式餵給編輯流程。整套系統的 fitness 完全來自「每個 benchmark 自帶的 verifier」——沒有標準答案(gold solution),也沒有人工挑選的獲勝案例,確保進化方向是由客觀驗證器而非人為偏好驅動。

實驗結果

論文在四個逐步拉開「進化訊號」與「測試任務」距離的 benchmark 上驗證:

• Terminal-Bench 2.1(同一基準模型內演化):從 75.5% 提升到 83.2%,足足 +7.7 分;換到更強的基座模型後可達到 84.7%,被作者稱為「verified frontier」。進步集中在 ML/科學計算類任務(+14.8 分)與資料庫類任務(+13.8 分),演化出的 harness 新增了七項圍繞「驗證/產物契約(verification/artifact-contract)」的 skill,讓 agent 在收尾前會先建立明確的驗收條件再自我檢查。
• TerminalWorld(held-out 任務,考驗跨任務泛化):達到 68.3%,超越所有現成(off-the-shelf)agent,即便該分割只有 41 個任務、每解一題就是 2.4 個百分點的跳動。
• WebArena-Infinity(合成任務訓練 → 真實任務測試,考驗合成到真實的遷移):real-task pass@1 從 43.5% 大幅躍升到 93.0%(經人工稽核為乾淨解法),等於 +49.5 分。稽核同時發現無效軌跡數從 293 條降到僅 17 條,原本存在的「評測層漏洞利用」「權限提升」等作弊手法完全消失,顯示能力與合規性是同步提升,並非鑽驗證器漏洞取巧。
• SWE-bench Verified(跨 benchmark 遷移):把 Terminal-Bench 2.1 演化出的 harness 原封不動搬過去,zero-shot 就達到 84.2% pass@1。

整體而言,單一輪次的演化循環平均帶來約 17 分的提升。

意義

DarwinX 最重要的啟示是:「凍結模型」不等於「固定 agent」。當模型權重無法(或不需要)更新時,團隊仍可以把大量評測算力(evaluation compute)投入到 harness 層面的演化,而且演化出來的東西是「通用的 agent 能力」,而非針對特定 benchmark 的補丁——這由它能在換任務、換 verifier、換基座模型後依然有效得到證實(TB2.1→SWE-bench 的零樣本遷移即是最直接的證據)。

對實務工作者而言,這意味著「self-improvement」的重心可以從昂貴的權重微調,轉移到相對低成本的 prompt/工具/控制流程搜尋,並用族群式選擇取代單一世系的貪婪搜尋,以避免局部進步犧牲整體穩健性。WebArena-Infinity 上「能力與合規同步提升」的結果,也為「agent 自我演化是否會學會鑽驗證器漏洞」這個安全疑慮提供了正面訊號——至少在這篇論文的實驗設定下,好的 fitness 設計(基於 verifier 而非人工評分)似乎能讓進化朝著真正解決問題、而非取巧作弊的方向前進。這為未來把「evaluation compute」系統性地轉化為「持久能力(durable capability)」的研究路線,提供了一個具體且可驗證的範例。