K1 論文詳解

背景

近年來「deep research」類型的 AI agent 蔚為風潮：使用者丟出一個複雜問題,agent 自動上網搜尋、瀏覽網頁、彙整證據，最後給出一份有憑有據的答案。但這類任務有一個根本困難——答案往往必須同時滿足「多重限制條件」（例如「找出 2010 年代某位獲獎、任職於某機構、又發表過某類論文的學者」），而找到滿足所有條件的答案，成本遠高於「驗證某個候選答案是否成立」。換句話說，發現答案很貴，驗證答案卻可以拆解成一條條可獨立檢查的條件，相對便宜。

現有的 deep research agent 大多只是「搜尋更久、想更多步」，屬於單向的線性推進：一路蒐證、一路推理，直到湊出答案就結束，很少回頭系統性地檢查每個限制條件是否真的被滿足。這種做法在任務簡單時堪用，但面對 BrowseComp、Humanity's Last Exam（HLE）這類需要層層限制、極易出錯的長鏈推理任務時，錯誤很容易在中途累積，且無法被及時發現與修正。

AREX（arXiv:2607.21461）的作者群（由 Shuqi Lu 領銜、共 23 位作者）正是針對這個「發現—驗證不對稱」的結構性洞察，提出了一個「遞迴式自我改進（Recursively Self-Improving, RSI）」的 agent 框架，主張 agent 不該只是搜得更久，而應該把「驗證」變成一個主動的控制訊號，用來反覆修正自己的研究狀態。

方法

AREX 的核心是一個雙層迴圈架構：

1. 內層研究迴圈（inner research loop）：負責實際動手做事——搜尋、瀏覽網頁、彙整證據，逐步建構出一個「暫定答案（provisional answer）」。
2. 外層自我改進迴圈（outer self-improvement loop）：不直接做研究，而是把暫定答案拆解成一條條限制條件（constraint-wise），逐項稽核，找出尚未被證實的主張（unresolved claims），然後針對這些漏洞發動有目標的後續研究（targeted follow-up research），再把結果餵回內層迴圈。

這種設計讓「驗證」不只是最後把關的濾網，而是全程參與、驅動下一步該查什麼的引擎。推論時，內層迴圈最多執行 300 輪工具呼叫，外層自我改進迴圈最多執行 5 次稽核操作。

要讓這套遞迴機制在長時間、多輪對話下還能撐得住，關鍵挑戰是「互動歷史會越滾越長」，容易撐爆上下文視窗。為此，AREX 訓練了一個自主上下文更新工具（Autonomous Context Update, ACU），能把不斷膨脹的互動紀錄壓縮成一個精簡的「改進狀態」，只保留已驗證的證據和尚未解決的限制條件，且完全不依賴外部模型輔助壓縮。實測中，ACU 在 BrowseComp 測試裡有 80.3% 的案例被觸發，觸發時平均上下文只有 25,721 tokens（中位數 25,386 tokens），遠低於 128K 的視窗上限；觸發原因主要是「搜尋策略需要修正」（66.9%）與「候選答案被推翻」（13.6%），且更新後的狀態有 95.5% 保留了未解決的限制條件、96.4% 保留了下一步計畫。

訓練上，AREX 採用「agentic mid-training + 長時程強化學習（long-horizon RL）」兩階段流程：

• 多階段 mid-training：先用「瀏覽密集型」任務打底工具使用與證據蒐集能力，接著加入「專家推理型」任務訓練假設驗證與高難度題目，最後混合各類任務並搭配「關鍵步驟重播（key-step replay）」做整合。
• 關鍵步驟強化監督：作者發現在標準訓練後，「發現關鍵證據」「推翻錯誤方向」「觸發上下文更新」這三類步驟的 loss 明顯高於一般步驟（分別高出 19%、28%、29%），顯示這些是模型較難學會、也最關鍵的節點，因此訓練時特別加重這些步驟的監督權重。
• 步驟感知式 RL（Step-Aware RL）：因為長任務的最終獎勵訊號稀疏，作者對長度做正規化的步驟級別策略比值（用幾何平均聚合），並只對成功軌跡中的關鍵步驟給予額外獎勵加成，而非對整條軌跡一視同仁。

模型有兩種規模：AREX-Turbo（4B 稠密模型，以 Qwen3.5-4B 為底座）與AREX-Base（122B 總參數、僅啟用 10B 的 Mixture-of-Experts 模型，以 Qwen3.5-122B-A10B 為底座）。

實驗結果

在 BrowseComp、GAIA、xbench-2510、DeepSearchQA、WideSearch-en、HLE（文字子集）等六個 benchmark 上：

• AREX-Base：BrowseComp 82.5%、GAIA 85.4%、xbench-2510 71.0%、DeepSearchQA 89.9%（F1）、WideSearch-en 82.0%（Item-F1）、HLE 52.4%。其中 WideSearch-en 分數是所有受測模型中最高的，且在多數 benchmark 上追平甚至超越參數量大得多的 Qwen3.5-397B，也在 DeepSearchQA、HLE 上優於 MiroThinker-H1，在 DeepSearchQA、WideSearch、HLE 上優於 DeepSeek-V4-Pro，在 GAIA、WideSearch 上優於 Kimi-K2.6。
• AREX-Turbo（僅 4B）：BrowseComp 70.7%、GAIA 81.6%、xbench-2510 57.0%、DeepSearchQA 78.5%、WideSearch-en 68.5%、HLE 40.6%——在六項中的五項超越參數量是自己 8.75 倍的 Qwen3.5-35B。

消融實驗（以 BrowseComp 準確率為指標，滿分基準 82.5%）也證實各設計都有實質貢獻：

• 拿掉漸進式多輪 mid-training、直接混合訓練：降至 77.5%（-5.0 points）
• 拿掉關鍵步驟監督、改用隨機步驟重播：降至 74.1%（-8.4 points）
• 拿掉步驟感知式 RL、改用標準 GRPO：降至 79.4%（-3.1 points）
• 拿掉 ACU 且拿掉外層迴圈：只剩 59.6%；加回外層迴圈但沒有 ACU：69.8%（+10.2 points）；同時具備 ACU 與外層迴圈才能到 82.5%，顯示兩者疊加的效果最大。

此外，作者分析模型輸出的信心分數校準度：正確答案中有 95.9% 落在 90–100 分信心區間，錯誤答案中有 55.2% 落在 60 分以下，顯示模型的信心判斷相當可靠，能有效支撐「該接受、該修正、還是該重來」的決策機制。附錄中一個初步的自我蒸餾（self-distillation）實驗也顯示，用中間版 agent 產生的軌跡訓練，比直接用原始軌跡訓練效果更好（在簡化情境下由 52.3% 提升到 57.1%，+4.8 points），暗示這套遞迴改進框架未來還有進一步自我迭代提升的空間。

意義

AREX 最重要的貢獻，是把「驗證」從研究流程的終點，重新定位成貫穿全程的控制訊號——這呼應了論文標題裡「recursively self-improving」的核心主張：與其讓 agent 無止盡地搜更久、想更多步，不如讓它像人類研究者一樣，邊做邊查、發現漏洞就回頭補強。這種「內層做事、外層審查」的雙迴圈設計，加上不依賴外部模型、能自主決定何時壓縮歷史紀錄的 ACU 機制，讓小模型也能在長時程、多限制條件的任務上撐得住，而不會被無限膨脹的上下文拖垮。

實務意義上，AREX-Turbo 用僅 4B 參數就打贏 35B 模型，AREX-Base 用 10B 活躍參數就追平甚至超越數百億活躍參數的旗艦模型，這對於想要壓低推論成本、卻又需要高可靠度深度研究能力的產品（例如企業知識檢索、法規遵循查核、學術文獻整合）非常有吸引力。更長遠來看，這篇論文示範了一種訓練長時程 agent 的通用配方——用關鍵步驟監督緩解稀疏獎勵問題、用步驟感知式 RL 取代整條軌跡的粗粒度獎勵——這套方法論很可能會被延伸到其他需要多輪工具使用、長期規劃的 agent 任務上，而不僅限於「深度研究」這個垂直領域。

背景

隨著大型語言模型邁向兆級參數規模,採用 Mixture-of-Experts(MoE)架構的模型在推論成本上雖有優勢,但在後訓練(post-training)階段卻帶來極為棘手的系統工程難題。全參數(full-parameter)微調兆參數 MoE 模型需要同時處理龐大的記憶體壓力、計算與通訊無法重疊導致的效率損失,以及底層 kernel 執行不夠優化等問題。目前絕大多數大規模 LLM 訓練系統都是圍繞 GPU 叢集打造,相關的並行策略、通訊函式庫與 kernel 生態也高度依賴 NVIDIA 的軟硬體堆疊。這篇由 SLAI-AITP 團隊(以 Dongfang Li 為首,共 65 位作者)發表的技術報告,選擇了一條不同的路——在華為的 Ascend NPU SuperPOD 上,針對 DeepSeek-V4 模型家族進行端到端的全參數後訓練優化。這不僅是單純的工程移植,而是要證明在非 GPU 的國產算力基礎設施上,同樣能支撐兆參數規模模型的高效後訓練,並進一步延伸到高價值的垂直領域應用——複雜的 Operations Research(OR,作業研究/運籌優化)任務。

方法

團隊提出了一套層級式(hierarchical)優化框架,涵蓋三個層面:模型層級的並行策略(model-level parallelism)、計算與通訊的協同編排(computation-communication orchestration),以及底層 kernel 執行優化。具體而言,框架需要針對 Ascend NPU 的硬體特性重新設計切分策略,讓專家並行(expert parallelism)、張量並行等多種並行維度能夠更好地匹配 NPU 的記憶體頻寬與互聯拓撲;同時透過細粒度的計算-通訊重疊(overlap)技術,盡量消除訓練過程中因跨卡通訊而產生的計算閒置;並在算子層面對 kernel 進行客製化改寫,提升每一步矩陣運算的實際吞吐效率。整套系統被命名為 SLAI T-Rex。在打造出高效的訓練基礎設施之後,團隊進一步針對 DeepSeek-V4-Flash 建立了一套結合持續預訓練(CPT)與監督微調(SFT)的完整工作流程,目標是打造專精於 OR 任務的模型。為此,他們建立了 OR 導向的資料管線,整合了蒐集而來的領域資源,以及透過求解器驗證(solver-verified)方式合成的優化問題文件,確保訓練資料的正確性與品質。最終產出的資料集包含 1 萬筆高品質 SFT 樣本,涵蓋四種任務類別與三種問題表示形式(problem representations),力求讓模型學會不同格式、不同難度的運籌建模與求解流程。

實驗結果

在系統效率方面,這套優化框架讓 Ascend SuperPOD 上的訓練達到 34.22% 的 Model FLOPs Utilization(MFU),相較於開源基線方案(open-source baseline recipe)提升了 2.93 倍,且在整個訓練過程中維持穩定收斂,沒有出現數值不穩或崩潰的情況——這對兆參數規模的長時間訓練而言是相當關鍵的指標。在下游應用效果上,經過 OR 專項 CPT 與 SFT 之後的 DeepSeek-V4-Flash 專用模型,在零樣本(zero-shot)Pass@1 指標上取得平均 71.81% 的成績,是評測中所有模型裡表現最好的。相較之下,它比 GPT-5.4-Mini 高出 3.98 個百分點,比尚未經過領域特化的基礎版 DeepSeek-V4-Flash 更是高出 11.27 個百分點。這說明僅用 1 萬筆精心設計的訓練樣本,就能讓模型在特定領域的推理與建模能力上產生顯著且穩定的提升,而不需要依賴海量的通用資料。這份技術報告篇幅達 73 頁,附有 22 張圖與 20 張表,詳細記錄了從並行策略選擇、通訊優化到資料管線設計的完整工程細節。

意義

SLAI T-Rex 的價值不只在於一份效率數字亮眼的系統報告,而在於它示範了「非 GPU 算力基礎設施 + 兆參數模型全參數後訓練 + 垂直領域專精化」這條完整的全棧(full-stack)路徑是可行的。對於算力來源受限、或希望降低對單一供應商依賴的團隊而言,這提供了一個具體的參考範例:透過系統層級的深度優化,Ascend NPU 叢集同樣可以支撐起頂尖規模模型的後訓練工作。同時,OR 任務作為一種對精確性、邏輯一致性要求極高的複雜推理場景,其成功案例也證明了「基礎設施優化」與「資料驅動的領域特化」兩者結合,能讓相對輕量的 Flash 版模型,在特定垂直領域超越規模更大或更通用的商業模型(如 GPT-5.4-Mini)。這對正在尋求將前沿模型能力落地到具體產業場景(如供應鏈優化、生產排程、資源分配等運籌決策問題)的企業與研究團隊,提供了兼具工程可行性與資料效率的具體方法論。

背景

想像你請一台送貨機器人「跟著穿紅色外套、拿著背包的那位客人」，機器人只靠一顆前置攝影機，就要在人來人往的環境中鎖定目標、持續跟隨，還不能撞到人或迷失目標——這就是「具身視覺追蹤」（Embodied Visual Tracking, EVT）任務。它比普通的視覺追蹤難得多,因為機器人不是被動地在畫面中框選一個框，而是要一邊理解自然語言描述、一邊自主移動、一邊持續辨認「這還是不是我要跟的那個人」。

近年的 vision-language-action（VLA）模型嘗試把「認出目標」和「規劃路徑」這兩件事統一放進同一個模型裡處理，透過 chain-of-thought（CoT）式的推理鏈,讓模型在內部的抽象空間座標中「想」出目標位置與行走軌跡。這種做法有其優雅之處,但論文作者指出一個關鍵缺陷：這些抽象的空間潛在表徵（spatial latents）難以被監督與除錯,而且和影像中實際偵測到的邊界框（bounding box）對應得並不緊密。換句話說,模型「說」它在跟蹤某人,但這個判斷未必真的紮根在畫面裡看到的具體物件上,一旦場景中出現長相相似的干擾者,或描述本身有點模糊,模型就容易跟丟或跟錯人。

現有的 benchmark——EVT-Bench——把這個任務拆成三種難度：單一目標追蹤（single-target）、有干擾者的追蹤（distracted）,以及描述本身具有歧義性的追蹤（ambiguity）。多數表現較好的系統仰賴多顆攝影機提供的環繞視野來彌補辨識上的不足,但現實中許多機器人（尤其是人形機器人、輕量四足機器人）成本與算力有限,往往只有一顆前置攝影機可用。這就是 ReferTrack 想解決的核心問題：能不能只靠單一前視攝影機,依然做到精準辨識與穩定追蹤？

方法

ReferTrack 提出「先辨識、再追蹤」（referring-then-tracking）的兩階段架構,核心精神是把「目標是誰」這個判斷,強制錨定在畫面中真實可見、可監督的物件框上,而不是讓模型在抽象空間裡自由推理。

具體流程分兩步：首先,系統用 YOLO11 搭配 ByteTrack 這類偵測與追蹤演算法,對當前畫面中的行人進行偵測與編號,產生一份「索引化候選清單」，例如把每個偵測到的人標記成 ⟨ped1⟩、⟨ped2⟩……直到 ⟨pedk⟩,並保留一個 ⟨NO_EXIST⟩ 選項應對目標暫時不在畫面中的情況。接著,模型（以 Qwen3-4B 作為語言骨幹）在「Refer-CoT」階段,從這份索引清單中以單一 token 預測的方式選出目標是哪一個;然後在「Action 階段」，模型再依據這個已經確定的目標選擇,解碼出後續的追蹤路徑點（waypoints）。

這種設計的巧妙之處在於,目標辨識這一步的輸出是一個離散、可讀、可驗證的索引,而不是一團看不懂的向量,這讓訓練與除錯都變得容易得多,也讓辨識決策和影像中的具體偵測框緊密掛鉤。

為了讓模型記得「目標曾經在哪裡、怎麼移動」，作者設計了「時序-視角-邊界框指示符」（temporal-viewpoint-bbox indicator, TVBI）token。做法是維護一個滑動視窗佇列,存放過去 H-1 個時間點被選中的目標邊界框,把這些框的幾何特徵透過一個 MLP 投影器編碼後,注入到視覺歷史的 embedding 中;而當前畫面的觀測則只使用單純的時序-視角指示符（TVI），不直接注入邊界框資訊。這樣的設計刻意逼迫模型必須依靠「歷史幾何軌跡」來判斷目標的持續身份,而不是每一幀都重新用當下的視覺線索「認一次人」，藉此強化目標在時間軸上的連貫性,對抗干擾者混入或目標暫時被遮擋的情況。

訓練資料上,ReferTrack 採用雙資料集共同訓練策略：一是來自 EVT-Bench（建構於 Habitat 3.0 模擬環境）的 130 萬筆導航軌跡數據,二是作者自建的 Refer-QA 資料集,同樣有 130 萬筆樣本,取材自 SYNTH-PEDES 行人資料集,專門用來加強模型的指代消解（referring）與目標辨識能力。兩者以 1:1 比例混合訓練,共用同一套「索引化邊界框」介面。損失函數則是軌跡均方誤差（權重 α=10）、Refer-CoT 分類交叉熵,以及 Refer-QA 文字交叉熵三者的加權組合,讓辨識與路徑規劃兩個目標可以聯合優化。值得一提的是,整套系統僅用監督式微調（SFT）訓練完成,並未額外引入強化學習（RLHF 之類）的精煉步驟。

實驗結果

在 EVT-Bench 的單視角（single forward-view）設定下,ReferTrack 交出以下成績：單一目標追蹤成功率（Success Rate, SR）達 89.4%（追蹤率 Tracking Rate 92.5%,碰撞率僅 1.6%）；有干擾者的追蹤任務成功率為 73.3%（追蹤率 81.8%,碰撞率 7.6%）；描述具有歧義性的追蹤任務成功率為 74.1%（追蹤率 85.7%,碰撞率 7.7%）。這些數字創下了單視角設定下的新紀錄（state-of-the-art）。

與主要的單視角對照組 TrackVLA++ 相比,ReferTrack 在「干擾者」任務上成功率提升 6.8 個百分點、追蹤率提升 13.0 個百分點；在「歧義」任務上更是大幅領先,成功率提升 22.9 個百分點、追蹤率提升 22.3 個百分點。這說明「先辨識再追蹤」的架構,在需要精準判斷目標身份的高難度場景中,效果特別顯著。

更值得注意的是,儘管 ReferTrack 只用單一前置攝影機,其表現卻能與多顆攝影機環繞式輸入的基準模型「打平甚至反超」,尤其在辨識壓力大的任務上。這暗示,把辨識決策明確錨定在影像空間中的做法,可以有效彌補相機視野受限所帶來的資訊劣勢。此外,ReferTrack 的模型骨幹只有 4B 參數規模,相對許多對比模型動輒 7B 參數更輕量,卻能達到相近或更好的效果。

在真實世界部署測試中,研究團隊把系統裝上 Unitree Go2 四足機器人與 Unitree G1 人形機器人,兩者都只配備一顆 Intel RealSense D455 前置攝影機。Go2 成功在雜亂障礙物環境中穿行,並在目標部分被遮擋時仍保持追蹤；G1 人形機器人則在多人干擾的場景下,依然能維持正確的目標辨識。系統透過 WebSocket 服務架構運行,搭配 torch.compile 優化與平行 CUDA 特徵提取,平均推理頻率達 10.6 Hz,偵測延遲僅 12 毫秒,證明這套模型不只是模擬環境裡的高分選手,也能撐得起真實機器人在線即時運算的需求。

意義

ReferTrack 的核心貢獻,某種程度上是對近期 VLA 模型「一味追求端到端抽象推理」路線的一次務實修正。它提醒我們,把辨識這一步「外顯化」成可監督、可對應到真實畫面框的離散決策,不僅沒有犧牲太多性能,反而在最考驗辨識能力的干擾與歧義場景中帶來明顯提升。這對工程落地非常關鍵——當系統出錯時,工程師可以清楚看到模型選錯了哪一個候選框,而不是面對一堆難以解讀的潛在向量,這大幅降低了除錯與迭代的成本。

從硬體成本的角度看,ReferTrack 證明了單一前視攝影機配合恰當的架構設計,也能達到接近甚至超越多攝影機系統的辨識準確度。這對於許多預算有限、體積受限的機器人平台(尤其是消費級四足或人形機器人)是個好消息,因為多攝影機方案往往意味著更高的硬體成本、更複雜的標定與更大的算力需求。

另外,TVBI token 這種「用歷史幾何資訊、而非重複視覺特徵來維持目標身份」的設計思路,也為其他需要長時間目標持續性的任務(例如長時間監控、多人環境中的個人化服務機器人)提供了一個值得參考的範式:與其讓模型每一幀都從頭辨認,不如讓它學會「記住並延續」先前的判斷。

最後,論文在 Unitree Go2 與 G1 上的真實部署驗證,展示了良好的 sim-to-real 遷移能力,說明這套方法並非只是模擬器裡的數字遊戲,而是具備實際商業化與產品化潛力的技術路徑。隨著人形機器人與服務型機器人逐漸走入商用場景,像 ReferTrack 這樣「輕量、單鏡頭、可解釋」的具身視覺追蹤方案,可能會成為未來機器人自然語言互動能力的重要基礎模組之一。