K1 論文詳解

背景

從廚房裡切菜、修理家電,到專業的手術或維修流程,人類做的許多事都靠工具完成。要讓 AI agent 在現實世界裡幫上忙,它得先看懂「工具是怎麼被使用的」。這不只是認出畫面裡有一把螺絲起子。模型還得理解幾件事:

• 這個工具能拿來做什麼(affordance)。
• 手、工具、目標物三者之間的幾何關係。
• 整個流程進行到哪一步。
• 這個動作對目標物造成了什麼因果效果。

現有的多模態影片模型在 captioning 和一般 video QA 這類偏感知的任務上表現已經不差。但這篇論文認為,一旦要求模型做以工具為中心的具身推理,這些模型仍然有明顯缺口。

作者指出兩個原因:缺少真實世界的第一人稱(egocentric)資料,也缺少能精準診斷問題出在哪裡的 benchmark。因此很難判斷模型究竟是真的「看見」了工具的使用,還是靠語言先驗猜出答案。EgoTools 就是為了補上這兩塊而提出的,作者稱它是第一個針對第一人稱工具使用理解的完整資源套件。

方法

EgoTools 由兩個互補的部分組成。

EgoTools-Data 是訓練用的語料,規模為 100 小時、以工具為中心的第一人稱錄影。每段影片除了畫面,還附有:

• 同步的音訊。
• 密集的 captions(dense captions)。
• 偏重推理的敘述(reasoning-heavy narrations),不只描述發生了什麼,也說明為什麼這樣做、做完會怎樣。
• 補充的 3D 資訊,用來支撐手與工具、物體之間的幾何理解。

EgoTools-Bench 是診斷用的 benchmark,共 1,000 題 QA,分成四個 track。這四個 track 涵蓋從「感知與幾何」到「流程與因果推理」的完整光譜,其中一個 track 是 Perception & Grounding。論文摘要沒有逐一列出其他 track 的完整名稱。四個 track 這樣拆開,是為了讓研究者看出模型在哪一層出問題,而不是只得到一個總分。

另外,作者也把 EgoTools-Data 當成訓練資源來驗證。他們用它對 Qwen3-VL-8B-Instruct 做完整的 supervised fine-tuning(SFT),並且採用嚴格的來源影片分離(strict source-video separation)。也就是訓練用的影片和評測用的影片不會出自同一支來源影片,以避免資料洩漏造成的虛高成績。

實驗結果

閉源前沿模型仍然不擅長把工具使用「接地」到視覺證據上。 Gemini-3.1-Pro 在 1,000 題上的整體準確率是 66.9%,但在 Perception & Grounding 這個 track 只有 51.7%,比整體低了約 15 個百分點。換句話說,模型在需要高階推理的題目上看起來還行,但一遇到「畫面裡到底發生了什麼、工具和物體的相對位置是什麼」這類必須依賴視覺證據的題目,表現就大幅下滑。這個落差顯示,現階段不少模型的推理能力可能有一部分是靠語言常識補出來的,而不是真的建立在看到的畫面上。

EgoTools-Data 作為訓練資源確實有效。 Qwen3-VL-8B-Instruct 在完整 1,000 題 benchmark 上的準確率,從原本的 50.0% 提升到完整 SFT 後的 60.9%,進步 10.9 個百分點。這個數字是在訓練與評測影片嚴格分離的條件下取得的,因此比較能說明模型學到的是可泛化的工具使用理解,而不只是記住了特定影片。

值得留意的是,微調後的 8B 模型(60.9%)仍低於 Gemini-3.1-Pro 的整體成績(66.9%),但差距已從約 17 個百分點縮到約 6 個百分點。這說明針對性的資料能有效縮小小模型與前沿模型之間的差距,不過距離「解決」問題還很遠。

需要說明的是,我能取得的資料只有論文摘要和 arXiv 摘要頁,沒能取得全文中各 track 的細項分數、其他模型的比較,以及資料標註流程的細節。因此以上數字僅限於摘要中明確報告的部分。

意義

第一,EgoTools 把「工具使用理解」從泛泛的影片理解中獨立出來,當成一個可以診斷的能力。對做具身智慧、機器人或 AR 輔助系統的團隊來說,這比單一的 video QA 總分更有參考價值,因為它能指出模型的弱點在感知、幾何、流程還是因果。

第二,51.7% 這個數字給了一個清楚的訊號:即使是目前最強的模型之一,在需要真正看懂畫面的接地任務上依然不可靠。如果要讓 agent 在現實中依照影片判斷「這個步驟做完了沒」或「這個工具是不是用對了」,光靠現有的通用影片模型並不夠。

第三,這項工作同時提供了訓練資料和評測基準,而且在驗證時特別注意來源影片分離。在 benchmark 常被資料污染質疑的當下,這種設計讓 +10.9 個百分點的提升比較可信,也讓後續研究有一個相對乾淨的比較基準。

當然也有一些限制需要保留。1,000 題的規模適合診斷,但統計上不算大。100 小時的資料量對於訓練更大的模型也未必足夠。此外,這個提升是在單一 8B 模型上驗證的,是否能在其他架構與規模上維持,還需要後續工作確認。整體而言,EgoTools 比較像是這個方向的起點:它清楚標出了現有模型的缺口,並提供了一條可行的補強路徑。

背景

現在的 multi-agent LLM 系統常把不同模型放在不同角色上。例如用一個模型做規劃,另一個做程式碼生成,再由第三個做審查。各代理之間最常見的溝通方式是傳文字:sender 產出文字,receiver 把這段文字當 prompt 重新讀一遍。

這種做法有明顯的冗餘。當多個代理共用同一份長上下文(長文件、對話歷史、工具輸出)時,sender 已經算過一次 key-value(KV)cache。receiver 還得從頭做 prefill,也就是把整段上下文再跑過一次 transformer 來建立自己的 KV cache。上下文越長,prefill 越貴,長上下文場景的延遲和算力成本也越高。

直覺上的解法是直接重用 sender 的 KV cache,省掉 receiver 的 prefill。同一個模型的不同實例之間,這已經是成熟的做法。但在異質代理系統裡,sender 與 receiver 往往來自不同的模型家族,直接搬 cache 會遇到至少三個障礙:

1. Tokenization 不同:兩個模型的切詞方式不同,同一段文字的 token 序列長度與邊界都對不上,KV cache 沒辦法逐 token 對應。
2. 模型深度不同:層數不一樣,sender 第 N 層的 cache 在 receiver 裡沒有明確的對應位置。
3. KV 表示不同:即使位置對上了,各家模型內部 key/value 的向量空間也不一樣,直接塞進去,receiver 看到的只是它無法解讀的數值。

論文要解決的就是這個問題:在 sender 與 receiver 都保持 frozen(不微調任何一方)的前提下,做到 prefill-free 的跨家族 KV cache 傳遞。

方法

論文提出 HeteroFold。依摘要的描述,它的流程分成三個步驟,對應上面的三個障礙:

• 對齊模型結構(align model structures):先處理 tokenization 與深度的差異,讓 sender 的 cache 與 receiver 的結構有可對應的關係。
• 映射到 receiver 空間(map the sender cache into the receiver space):把 sender 的 KV 表示轉換成 receiver 能夠理解的表示。
• 校準(calibrate):映射後的 cache 還是會與 receiver 自己 prefill 出來的 cache 有偏差,所以再做一次校準,目標是讓 receiver 的行為維持原樣。

「兩邊模型都保持 frozen」是這個設計的重點。需要微調 sender 或 receiver 的方法,在實務上很難套用,因為你得為每一組模型配對重新訓練,也可能破壞原本的能力。HeteroFold 把需要學習或擬合的部分限制在 cache 轉換這一層。

需要說明的是,我只能取得論文摘要與 arXiv 摘要頁,拿不到全文。Hugging Face 頁面抓到的內容也沒有方法細節。所以三個步驟各自的具體實作,例如對齊用什麼規則、映射是線性還是非線性、校準的目標函數,這裡不做推測。想重現或深入評估的讀者,請直接看論文全文。

實驗結果

論文在 六個 transfer 方向(六組 sender → receiver 的模型配對)上做評估,比較的對象有:

• Native Prefill:receiver 自己完整 prefill,可視為品質與速度的參考基準。
• Dense Latent 與 KV Ridge:論文稱它們為目前最先進的 prefill-free 基線。
• 文字溝通:在 multi-agent benchmark 上做比較。

摘要給出的主要結論如下:

• 長上下文:HeteroFold 在 全部四個 長上下文 benchmark 上,都取得所有 cache-transfer 方法中最好的表現。
• 短上下文:在大部分短上下文設定中也是最佳,摘要用的是「most」,表示並非每一個設定都贏。
• 多代理 benchmark:表現與文字溝通相當(matches)。這個結果很重要,因為文字溝通是 receiver 完整讀過內容的做法,cache 傳遞能追平它,代表省下的 prefill 沒有以任務品質為代價。
• 速度:在 32K context 下,Llama-3.1-8B → Ministral-3-14B 的傳遞比 Native Prefill 快 10.7 倍,比 Dense Latent 與 KV Ridge 快 1.18 到 1.47 倍。

這組數字有兩層意義。第一,對 Native Prefill 的 10.7 倍加速,說明 receiver 免 prefill 的收益在 32K 長度下相當可觀。第二,相對於其他 prefill-free 方法仍快 1.18–1.47 倍,說明 HeteroFold 在轉換本身的成本上也有控制。在長上下文裡轉換成本也會累積,不能只看有沒有省掉 prefill。

這些加速數字只來自 Llama-3.1-8B → Ministral-3-14B 這一組,摘要沒有說其他五個方向的加速幅度。各 benchmark 的名稱與絕對分數,摘要也沒有列出。

意義

對多代理系統的工程意義:異質模型組合越來越普遍,選模型也常按角色分工,而不是全部用同一個。如果跨家族的 KV cache 可以直接重用,多代理流程裡「共享長上下文」這個最大宗的重複計算就能省下來。工具輸出很長、文件很大、代理之間要來回交接的場景,受益會最明顯。

對部署的意義:sender 與 receiver 都不用動,只要在中間加一層轉換,就能在既有的模型組合上使用。這比要求重新訓練的方案容易落地。

需要保留的地方:

• 摘要只能說明「六個方向」的整體趨勢,實際泛化性要看全文裡各配對的差異,特別是模型家族差距更大、或 tokenizer 差異更極端的情況。
• 「most short-context settings」說明在短上下文下它並非全面領先。短上下文本來 prefill 就便宜,收益也較小。
• 跨家族轉換需要的對齊與校準資料或流程,要多少額外的離線準備成本,是實務上要評估的部分。摘要沒有交代。
• 與文字溝通「相當」不等於「更好」。cache 傳遞的主要賣點是效率,不是品質提升。

整體來看,這篇論文把 KV cache 重用從同模型推進到跨模型家族,並同時保持品質與速度。如果全文中的實驗細節站得住腳,它對異質多代理系統的推論成本會是一個實用的優化方向。

背景

多步驟 agent(例如在網頁上操作、在模擬實驗室做科學任務的 agent)通常用「扁平的動作序列」訓練。不論是 SFT 還是 RLVR(帶可驗證獎勵的強化學習),每個 token 的權重基本一致。模型看到的是一長串點擊、輸入、跳轉,卻看不出哪一段是會在不同任務中反覆出現的子流程。

人類做事不是這樣。我們會把「登入」「搜尋商品並篩選」「加入購物車」這類常用流程打包成例程,由上而下規劃,再往下展開。這種階層結構在軌跡資料裡其實已經存在,但扁平訓練完全沒用到。軌跡本來就稀缺,這等於每一條都沒有被充分利用。

近期也有 agent 嘗試利用這種結構,做法是讓 LLM 寫出「技能」,再放進 context 當檢索材料。論文指出這種做法的問題有兩個:技能只存在於 prompt 裡、沒有進到權重,所以增益大多停在檢索層面,難以泛化;而且生成這些技能還得額外呼叫 LLM。

X-Tree 的出發點是:不靠 LLM 寫技能,直接從資料本身把階層結構找出來,並且拿它來訓練模型。

方法

核心類比是文字 tokenizer。像 BPE 這類 tokenizer 只靠統計頻率,就能把常見的字元組合逐步合併成詞彙表,完全不需要語意理解。X-Tree 把同樣的思路搬到 agent 的動作序列上:

1. 動作正規化(canonicalization):先把原始動作整理成可比較的標準形式,讓不同任務中「實質相同」的動作能被算成同一種。摘要沒有交代具體規則。
2. 為動作片段(action span)打分:依「可重用性」評分,也就是這段動作出現得多頻繁、是否與成功的軌跡相關。論文用「frequent and success-bearing」形容被保留的技能。
3. 合併成 X-Tree(eXperience tree):高分的片段被逐層合併,形成一棵樹。每個節點記錄一個技能是怎麼由更小的子技能組成的,例如「完成購買」由「搜尋」「選規格」「結帳」組成。

整個過程是純計數與合併,不呼叫任何 LLM。這棵樹同時具備兩個性質:它來自真實軌跡,所以貼近資料;它帶有階層,所以能表達由上而下的組合關係。

論文把 X-Tree 接進三種訓練設定:

• Offline RL:樹中的每個節點本身就是一個訓練樣本,模型直接學習技能如何由子技能構成。
• Online RLVR:在可驗證獎勵之外加上「自適應技能獎勵(adaptive skill bonus)」,鼓勵模型使用高價值的技能。
• On-policy self-distillation:X-Tree 作為 self-teacher 的特權資訊(privileged context)。老師版本的模型能看到樹,學生版本看不到,學生再向老師對齊,於是技能結構被蒸餾進權重,而不是只留在 prompt 裡。

這個設計的重點是「結構進入權重」,與先前把技能放在 context 的路線不同。

實驗結果

論文在三個 agent benchmark 上評估:WebArena(真實網站環境的任務)、ScienceWorld(文字式科學實驗環境)、WebShop(模擬電商購物),並涵蓋三種模型規模。比較條件是資料量與訓練預算相同的標準訓練方法(standard recipes)。

摘要給出的最大提升幅度為:

• WebArena:最多 +4.5% SR(success rate)
• ScienceWorld:最多 +5.8% SR
• WebShop:最多 +4.1% success

這些是「最多」的數字,不是所有設定下的平均值,實際提升會因模型規模與訓練方式而異。論文另外做了配對分析(matched analyses),把增益歸因於 X-Tree 的結構本身以及上述三種整合方式,意思是效果不只來自多給了資訊,而是來自樹的階層組織。

要說明的是,我這次只能取得摘要層級的資訊。模型的具體參數量、各基線的完整數字、逐項消融(ablation)的數值,以及可重用性分數的精確公式,都不在我讀到的內容裡,這裡不推測。需要精確比較的讀者,建議直接看論文的結果表格。頁面標示這是進行中的專案,附有程式碼與專案首頁連結。

意義

第一,它提供了一條不依賴 LLM 的低成本路線。許多近期 agent 方法要靠強模型反覆生成、整理技能,成本高,結果也受生成者品質影響。X-Tree 用純統計方式取得結構,可重現、便宜,也容易擴展到新環境。

第二,它把「技能」從 prompt 搬進權重。技能放在 context 裡只能靠檢索,遇到檢索不到的新情境就失效。經過 offline RL、RLVR 或 self-distillation 內化後,模型有機會在新任務上自行組合子技能,這正是論文所說的泛化。

第三,它說明了在軌跡稀缺的情況下,「如何讀懂資料」可能比「再蒐集更多資料」更划算。tokenizer 的成功經驗,在 agent 的動作空間上也許同樣適用。

也有幾點需要保持謹慎。目前的增益在 4–6 個百分點的量級,有意義但不是翻倍式的突破。方法的效果取決於動作正規化是否合理,而在介面差異很大的環境中,要把動作對齊成可計數的單位可能不容易。最後,論文標示為進行中,結論仍待更完整的版本與外部重現來驗證。

整體來看,X-Tree 是一個概念乾淨的嘗試:不另外訓練或呼叫一個「技能生成器」,只要數一數、合併一下,就能把人類式的階層規劃帶進 agent 的訓練。