K1 論文詳解

背景

近年推論(inference)系統的上下文長度突飛猛進,不少商用模型已經能處理百萬 token 等級的輸入。但用來打磨模型行為的 RL post-training(強化學習後訓練)卻遠遠跟不上——訓練工作負載大多還停留在 256K token 甚至更短,實務上只能依賴「長度泛化」(length generalization),也就是希望模型在訓練時只看短序列,部署時卻能自動適應更長的輸入。

這個落差對 AI agent 特別致命。Agent 在執行任務時,觀察(observation)、工具呼叫的回傳結果、參考文件、以及過去的決策紀錄會不斷疊加,整條軌跡(trajectory)動輒累積到數十萬甚至上百萬 token。如果 RL 訓練端沒辦法在這種長度下運作,模型就只能「假裝」自己會處理長上下文,實際訓練時從沒真正見過這種規模的資料,行為與部署環境自然脫節。LongStraw 這篇論文,就是想在有限的 GPU 資源下,把 RL 訓練的可用上下文長度真正推到百萬 token 等級,而不是靠外推蒙混過去。

方法

LongStraw 是一套「架構感知」(architecture-aware)的執行棧(execution stack),以 Group Relative Policy Optimization(GRPO)作為 RL 演算法的具體實作載體。GRPO 的做法是對同一個 prompt 產生一組(group)不同的回覆,再用組內相對分數計算優勢(advantage),省去額外的價值網路(value model)。

問題在於:當 prompt 長達百萬 token、且每個 prompt 要配上多條回覆分支時,傳統做法會為每一條分支都保留完整的計算圖(computation graph)與梯度資訊,記憶體需求隨組大小(group size)線性暴增。LongStraw 的核心優化有三步:

1. 共享 prompt 不掛 autograd:因為同一組內所有回覆共用同一段 prompt,LongStraw 先用不需要梯度追蹤的方式跑過這段共享 prompt,避免重複建立計算圖。
2. 只保留模型專屬的必要狀態:針對後續 token 生成真正需要的模型內部狀態(如遞迴狀態、KV 相關資訊)才保留,其餘捨棄。
3. 短回覆分支逐一重播(replay):各條較短的回覆分支不是同時攤開在記憶體中,而是一條一條重新計算(replay),用「多花一點運算時間」換取「大幅降低同時佔用的顯存」。

這套方法被實作在兩種截然不同的模型架構上,驗證其通用性:一是 Qwen3.6-27B,採用混合式的遞迴(recurrent)與全注意力(full-attention)架構;二是 GLM-5.2,是採用壓縮注意力(compressed-attention)機制的 mixture-of-experts(MoE)模型,共有 78 層。

實驗結果

在 8 張 H20 GPU 上,LongStraw 完成了 Qwen 模型的分組打分(scoring)與回覆反向傳播(backward),達到 210 萬(2.1M)個 token 位置的處理規模。更關鍵的是記憶體效率:把 group size 從 2 提高到 8,尖峰配置記憶體(peak allocated memory)只增加了 0.21 GB——幾乎可以說是「群組愈大、邊際成本愈低」。另外在單獨的壓力測試(stress test)中,系統極限甚至衝到了 446 萬(4.46M)個 token 位置。

在更大規模的 32 張 H20 GPU 環境下,研究團隊針對 GLM-5.2 完整的 78 層架構,驗證了 LongStraw 端到端(end-to-end)執行路徑在 210 萬 token 長度 prompt 下確實可行。

不過作者相當坦誠地標註了限制:這些數字驗證的是「執行容量」(execution capacity),而非「完整訓練正確性」——因為目前捕捉的 prompt 狀態是被 detach(去除梯度追蹤)處理的,部分分散式(distributed)前向傳播與梯度組合路徑尚未完全打通。換句話說,LongStraw 目前證明的是「跑得動、記憶體撐得住」,而非「訓練出來的模型品質已完全驗證」。

意義

LongStraw 的價值不在於刷新某個 benchmark 分數,而在於補上了 agent 訓練管線裡長期被忽視的一塊拼圖:讓 RL 後訓練的上下文長度真正貼近推論端的能力。如果 agent 的觀察與工具輸出可以在訓練時就以百萬 token 規模真實出現,模型學到的策略會更貼近部署時的實際情境,而不是靠長度泛化去「賭」模型能撐住。

當然,這個方向也有值得留意的侷限。社群討論中就有使用者(@O96a)指出,現實中許多 agent 迴圈的工具輸出是「邊跑邊回傳」(streaming),上下文成長並非線性、可預測,這與 LongStraw 目前「共享 prompt」的假設有落差——也就是說,論文驗證的更像是靜態長 prompt 的極限情境,離真正動態、交錯式的 agent 軌跡訓練還有距離。

整體而言,LongStraw 提供的是一套可以在 8 張到 32 張 H20 這種相對「平民」規模的 GPU 叢集上,把 RL 訓練上下文推向 200 萬 token 等級的具體工程路徑,並誠實地劃出了目前「執行可行」與「訓練完備」之間的界線。對於正在打造長軌跡 agent 的團隊來說,這是一份很實用的工程參考,也預告了下一階段需要補齊分散式梯度組合的方向。

背景

現在許多大型語言模型（LLM）都內建了「上網搜尋」能力，變成所謂的 Tool-Integrated 資訊搜尋代理（agent）。但當任務變複雜、需要查很多輪、累積很長的互動歷史時，這些代理常常會迷失方向：它們搞不清楚「我已經查到什麼」、「還缺什麼」，於是不斷重複相似的搜尋、掉進迴圈，白白浪費搜尋預算，最後交出來的答案既不完整也不可靠。

這個問題在單一代理（single-agent，例如 ReAct、Plan-and-Solve）系統上很明顯，在多代理（multi-agent）系統上其實也沒有真正解決——因為現有系統普遍把「搜尋進度」隱含地藏在對話歷史或代理的內部記憶裡，沒有一個明確、持久、可共享的狀態表示，導致代理彼此之間、甚至代理自己前後輪次之間，都無法準確掌握任務進度。

來自中國人民大學與相關團隊（Yuyao Zhang、Zhicheng Dou、Ji-Rong Wen 等 14 位作者）在 2026 年 7 月提出的 SearchOS，正是針對這個痛點：把「開放領域資訊搜尋」重新定義成一個「關聯式表格（relational schema）補全」任務——代理要發現實體（entity）、填入跨表格連結的屬性欄位，並且每個填入的值都要有可追溯的引用來源（grounded citation）。這種形式化方式讓「進度」變成一個可以明確量測、明確共享的資料結構，而不再是模糊的對話紀錄。

方法

SearchOS 的核心是一套稱為 Search-Oriented Context Management（SOCM）的機制，把原本隱性、脆弱的搜尋進度，轉換成外部化、持久化、可共享的四種狀態物件：

1. Frontier Task（前沿任務池）：一個具依賴關係感知的任務佇列，記錄每個任務的類型、狀態（Pending/Running/Completed）、優先度、依賴關係、目標欄位與嘗試次數，並有防止循環重試的機制。
2. Evidence Graph（證據圖）：把每一筆搜尋到的原子事實存成節點，包含數值、來源網址、支持的文字片段（span）、對應的欄位綁定、信心分數與來源可信等級；節點間再用「支持／衝突／修正」三種邊關係連結，選取證據時依可信度、schema 對齊程度與信心分數做字典序排序。
3. Coverage Map（覆蓋地圖）：把整張目標表格的每個儲存格標記為「缺失／已填／不確定／不可達」，並記錄支持證據與衝突旗標，覆蓋率計算公式還會把「尚未發現的表格列」計入分母，避免代理提早誤判任務已完成。
4. Failure Memory（失敗記憶）：記錄失敗的搜尋模式——無效查詢、無法存取的來源、失敗的技能、被放棄的分支、被拒絕的主張，並附上失敗類型、任務特徵、修正建議與重現次數，讓代理不會一再重蹈覆轍。

在此基礎上，SearchOS 採用「pipeline-parallel」排程機制：不像傳統批次同步執行子代理，而是事件驅動地持續派工——只要有子代理的執行槽（slot）空出來，就立刻用「未覆蓋欄位」的高優先任務補上，讓探索（Explore）、搜尋（Search）、撰寫（Writer）等角色的執行盡量重疊，減少批次等待造成的閒置。

為了實際監控與介入代理行為，系統設計了 Search Tool Middleware Harness，包含三個攔截層：Context Middleware（組裝每次呼叫模型前的上下文與相關技能）、Evidence Extraction Middleware（從工具回傳結果中萃取出綁定 schema 與文字片段的候選證據，原子性地更新 Evidence Graph 與 Coverage Map）、以及 Sensor Middleware（用滑動視窗偵測覆蓋率與證據是否停滯，並計算迭代次數、搜尋次數、時間三者中最大的預算壓力）。

最後還有一套階層式技能系統（280 個預建技能），分為「策略技能」（如查詢改寫、實體列舉、結構化擷取、多跳推理、卡關恢復）與「存取技能」（針對資料庫、政府入口網站、百科、公司官網、媒體目錄等特定來源的擷取方法），透過查詢導向的路由器選用，避免代理在不同任務中重複踩到同樣的失敗搜尋模式。

實驗結果

SearchOS 在兩個 benchmark 上進行評測：WideSearch（200 題，中英文各 100 題）與 GISA（373 題人工設計查詢），骨幹模型使用 GLM-5，證據萃取模型為 Qwen3.5-35B-A3B，資源上限為 50 次協調器迭代、8 個平行子代理、每代理 20 次搜尋、1800 秒時限，評測採 Max@3（三次取最佳）。

在 WideSearch 上，SearchOS 的 item-level F1 達到 80.3（精確率 83.9%、召回率 79.7%），比最佳基準線 A-MapReduce 的 76.0 高出 4.3 分；row-level F1 為 56.5，比 Web2BigTable 高 2.0 分。在 GISA 上，Set 類問題的 F1 為 76.5，比最佳基準線的 63.1 高出 13.4 分（是所有指標中改善幅度最大的一項）；Table 類問題 item F1 為 76.9、row F1 為 59.7；List 類問題 F1 為 68.1；item-level 精確匹配（Exact Match）達到 50.0%，與最佳基準線持平。整體而言，SearchOS 在所有評測的六項 F1 指標上都領先所有單代理（ReAct、Plan-and-Solve）與多代理（A-MapReduce、Web2BigTable、Table-as-Search）基準線，尤其在「完整性」導向的 Set 類任務上優勢最明顯，印證了 Coverage Map 這種以覆蓋率驅動設計的效果。

消融實驗也很有說服力：在 40 題需要多表格結構的問題上，SearchOS 自主選擇單表格 schema 的比例為 87.5%、多表格為 12.5%，而即便讓一個「先知」（oracle）在兩種固定 schema 中挑最好的一種，其表現仍比 SearchOS 動態規劃低 8.2（item F1）與 7.7（row F1）分，證明動態決定表格結構優於任何固定方案。在排程機制上，pipeline-parallel 排程相較批次排程可將端到端時間縮短 24.3%，且減少 LLM 呼叫次數、item F1 也有一致提升。技能系統的消融顯示，有無階層式技能會讓 item F1 提升 2.0 分、row F1 提升 3.4 分，同時將任務執行時間減少 36.6%、搜尋呼叫次數減少 39.1%、網頁瀏覽呼叫次數減少 42.7%——顯示技能能用更少的試錯達成更高品質的結果。

意義

SearchOS 的貢獻不只是「又一個做得更好的搜尋代理」，而是提出了一個系統層級的解法：把 agent 之間協作最容易出錯的「進度追蹤」問題，從隱性的對話記憶轉換成顯性、結構化、可共享的狀態（Frontier Task、Evidence Graph、Coverage Map、Failure Memory）。這種設計哲學其實跟資料庫系統、分散式系統裡「顯式狀態管理優於隱式狀態」的思路一脈相承，也呼應了近期許多 agent 系統開始強調「外部記憶」與「可觀測性」的趨勢。

對從業者來說，幾個實用啟示值得留意：其一，把開放式任務形式化成「表格補全＋引用溯源」這種結構化目標，能讓系統知道什麼時候真正「做完了」，而不是靠代理自己判斷；其二，pipeline-parallel 排程證明了在多代理系統中，持續補位式的資源調度比死板的批次同步更有效率（24.3% 的時間節省相當可觀）；其三，可重複使用的階層式技能庫能顯著降低代理的試錯成本，這對於需要大規模部署、控制 API 成本的實際產品尤其重要。

當然，SearchOS 目前仍依賴特定的骨幹模型（GLM-5）與人工設計的 280 個技能庫，其可移植性、以及在更開放、無法预先枚舉技能的領域中的表現，仍待進一步驗證。但作為一套將「搜尋進度管理」系統化、工程化的框架，SearchOS 為打造更穩健、可擴展的資訊搜尋代理協作系統，提供了一個具體且可驗證的技術路線。

背景

近年來，機器人控制領域出現了一種新型基礎模型——世界動作模型（World-Action Model, WAM）。與傳統只輸出動作序列的政策模型不同，WAM 的核心特色是把「動作生成」和「未來世界預測」綁在一起學習：模型一邊想像接下來會發生什麼畫面（imagination），一邊據此規劃動作。這種設計被業界寄予厚望，認為它能同時帶來三個好處——魯棒性、可解釋性、安全性，因為理論上你可以拿機器人「想像的未來」去反過來檢查它「打算執行的動作」是否合理，等於內建了一層自我校驗機制。

但這篇來自新加坡國立大學（Qi Li、Xinchao Wang）與香港理工大學（Xingyi Yang）的論文提出了一個尖銳的問題：這個「想像—動作」對齊的假設,真的牢固嗎？作者的答案是否定的。他們指出，只要對機器人攝影機看到的畫面加入極小的視覺擾動（人眼幾乎難以察覺），就可能讓 WAM 的「想像」和「動作」之間產生偏離——模型依然生成一個看似合理的未來畫面，但實際執行的動作卻已經悄悄跑偏，導致任務失敗。這類攻擊被命名為 World-Action Drift Attack（世界—動作漂移攻擊），而 BadWAM 就是用來系統性建模與評估這類攻擊的統一框架。

方法

BadWAM 從兩個維度刻畫這種攻擊面：攻擊強度（attack strength）與隱蔽性（stealthiness），並據此設計出兩種攻擊型態：

1. Action-only 對抗攻擊：目標單純，就是想辦法讓模型輸出的動作偏離正確軌跡越多越好，直接把機器人推向任務失敗的動作，不在乎「想像畫面」是否還合理。

2. Imagination-preserving 對抗攻擊：在追求動作偏移的同時，額外加入一個限制項，讓模型的「預測未來」盡量貼近沒被攻擊時的原始想像。換句話說，攻擊者想要「表面上想得一樣好，但實際上做得不一樣」，這正是最危險、最難被察覺的情況。

技術上，兩種攻擊都採用黑盒、基於查詢的零階（zeroth-order）優化方法：用隨機 Rademacher 方向做有限差分搜尋，每次重新規劃（replan）只需要 17 次模型前向查詢，優化迭代 8 輪，擾動預設限制在 ℓ∞ 範數下 ε = 0.06（相當小的像素擾動）。目標函數同時包含「動作距離」D_act 與「想像距離」D_img，imagination-preserving 版本則透過 Lagrangian 鬆弛，用係數 λ = 0.015 來權衡「攻擊力」與「隱蔽性」之間的取捨。

實驗涵蓋三種 WAM 變體架構，都基於 FastWAM 框架、搭配 Wan-AI 的影片骨幹與 tokenizer：

• Action-only WAM：純粹把觀測映射成動作序列；
• Joint WAM：同時聯合預測未來畫面與動作；
• IDM WAM：先建構未來想像的表徵，再從中解碼出動作。

實驗結果

作者在兩個機器人操作 benchmark 上做閉環（closed-loop）執行測試：

LIBERO（40 個任務，涵蓋 Spatial、Object、Goal、Long-horizon 四個子集合，每任務 20 次試驗）：

• Action-only WAM 的任務成功率從 96.5% 暴跌到 43.1%，掉了 53.4 個百分點；
• Joint WAM 從 96.7% 降到 61.5%（action-only 攻擊）或 63.0%（imagination-preserving 攻擊）；
• IDM WAM 從 100.0% 降到 66.1% 或 67.0%。

按子任務拆解，Action-only WAM 在 Spatial 任務上從 96.5% 崩到僅剩 16.0%，Goal 任務從 97.0% 降到 40.0%，Long-horizon 任務從 92.5% 降到 23.5%，唯獨 Object 任務較為抗打（97.0% → 93.0%）。

RoboTwin（雙臂操作、長時程任務）：

• Action-only WAM：91.3% → 66.9%；
• Joint WAM：93.3% → 58.8%（action-only）/ 62.5%（imagination-preserving）；
• IDM WAM：95.8% → 70.0%（action-only）/ 77.5%（imagination-preserving）。

值得注意的是 imagination-preserving 攻擊的隱蔽效果：在維持相近攻擊力的前提下，模型預測未來的偏移距離從 14.01 降到 13.04，代表攻擊者確實能「保住想像的合理性」同時仍讓動作出錯。此外，作者也測試了簡單防禦手段：JPEG 壓縮加噪音前處理可以把被攻擊後的成功率救回到 89.2%（Joint）與 90.0%（IDM），但若用簡單的異常偵測方法，在 5% 誤報率下也只能抓到 13.4%～21.4% 的攻擊，防禦效果相當有限。研究也發現，攻擊造成的失敗是透過閉環執行「漸進式惡化」而非瞬間崩潰，且攻擊模式在不同 WAM 變體之間具有一定的可遷移性，並非隨機雜訊，而是集中影響連續動作通道與特定動作時間段。

意義

這篇論文的核心警示在於：業界普遍認為「動作能被想像未來校驗」是 WAM 天生自帶的安全機制，但 BadWAM 證明這個假設相當脆弱——只要極小的視覺擾動，就能讓「想像」與「動作」脫鉤，模型表面上仍然畫出一幅合理的未來場景，實際上卻執行完全不同、甚至危險的動作。這種「dream right but act wrong」的現象，意味著單純依賴想像一致性做安全把關是不夠的，未來若要把 WAM 部署到真實機器人（尤其是涉及人身安全的場域），必須額外建立針對動作—想像對齊本身的完整性驗證機制，而不能只信任模型自己生成的「解釋」。同時，論文也提醒安全社群：像 JPEG 前處理這類簡單防禦雖有一定效果，但遠不足以應對更精心設計、以隱蔽為目標的攻擊，這為具身智能的對抗魯棒性研究打開了一個新的、亟待填補的方向。