K1 論文詳解

背景

訓練能實際部署的機器人操作(manipulation)策略,長期卡在一個資料兩難:透過真實機器人遙操作(teleoperation)蒐集的示範資料精準、貼近部署場景,但成本極高、難以規模化;而「UMI」(Universal Manipulation Interface,免機器人的手持式資料蒐集裝置)蒐集起來快又便宜,卻因為姿態估計誤差、雙手相對位置不準、多感測器不同步、視野狹窄等問題,精細度不足以直接拿來訓練最終部署的策略。業界目前的折衷做法,是把 UMI 資料拿來做預訓練(pre-training),但在後訓練(post-training)階段仍然要摻入一小部分真機遙操作資料當作「錨點(anchor)」,以修正 UMI 資料的失真。

來自 Simple AI 團隊的這篇論文(arXiv:2607.25895,cs.RO/cs.CV/cs.LG,2026年7月28日提交,33頁、15圖、4表)提出一個反向假設:與其想辦法縮小真機資料的占比,不如直接把 UMI 資料本身的「保真度(fidelity)」拉高,是否就能徹底拿掉真機錨點?他們設計了一套名為 HiFi-UMI 的可攜式資料蒐集系統來驗證這個問題,並同步釋出了名為 HiFi-UMI-2K 的大型公開資料集。

方法

HiFi-UMI 的核心思路是「在資料源頭就把保真度做足,而非事後修補」,具體從四個環節同時下手:

1. 姿態精度:採用頭戴式的離線雙目慣性 SLAM(stereo-inertial SLAM),搭配手部標記方塊做定位,達成 3 毫米的工作空間局部末端執行器(end-effector)精度,且完全不需要外部動作捕捉基礎設施。
2. 雙手相對位姿:直接量測「原生(native)」的雙手相對姿態,而非靠事後重建推算,避免傳統做法中誤差被放大的問題。
3. 同步機制:所有感測器共用一個微秒級 GPIO 硬體觸發訊號,跨感測器同步誤差控制在 40 微秒以內,每 27 萬幀才掉一幀。
4. 視野覆蓋:每隻手加裝兩顆超廣角魚眼相機,加上頭部立體相機對,總覆蓋角度約 200 度,大幅降低操作過程中的視野遮蔽。

蒐集流程是一套六階段的資料「飛輪」:蒐集與雲端上傳(含即時品質警示,偵測曝光不足、動態模糊、手部離開視野等)→ 離線軌跡重建(局部一致性 SLAM,重建成功率 98%)→ 模擬回放驗證(將軌跡在模擬器中做全身運動驗證,通過率同樣約 98%,兩階段相乘後有效資料良率約 96%)→ AI 輔助標註(多視角語言與時序標註)→ 人工抽樣覆核 → 統計分析與平衡取樣匯出。最終累積語料達到超過 2 萬小時、432 萬段以上的操作片段,橫跨 480 多個場景。

為了驗證「零機器人後訓練(zero-robot post-training)」是否可行,研究團隊挑了三個橫跨 VLA(vision-language-action)與 WAM(world-action-model)兩大家族的骨幹模型:StarVLA-QwenPI(Qwen3-VL-4B 視覺語言編碼器 + flow-matching DiT 動作頭)、OpenPI-π₀.₅(PaliGemma 視覺語言流 + Gemma 連續動作專家)、以及 LingBot-VA(先預測未來影片潛在表示,再透過逆動力學解碼出動作的世界動作模型)。三種模型分別只用 HiFi-UMI 資料做後訓練,再直接部署到真實機器人上,與同樣後訓練但改用真機遙操作資料的基線做對比。

實驗結果

評測涵蓋擦拭汙漬、疊衣服(雙手可變形物體操作)、遠端插入(精密定位任務)、蔬果分類(語意條件操作)四類任務,每個任務—策略組合跑 40 次,並由兩位獨立評審打分。結果顯示,純 UMI 後訓練的策略成功率與真機遙操作基線幾乎打平:StarVLA-QwenPI 為 -2.5 個百分點(51.3% vs. 53.8%)、OpenPI-π₀.₅ 為 +3.1 個百分點(77.5% vs. 74.4%)、LingBot-VA 為 -0.6 個百分點(56.9% vs. 57.5%),差距落在抽樣誤差範圍內,且正負號都有出現,說明沒有系統性劣勢。最強的策略在精密插入任務上達到 85% 成功率——值得注意的是,遙操作基線資料就是在評測場景中蒐集的,而 HiFi-UMI 資料完全沒有來自該場景的軌跡,對照之下更凸顯 UMI 資料的泛化能力。

資料規模的消融實驗也很直觀:針對遠端插入任務,OpenPI-π₀.₅ 的成功率隨示範數增加從 400 筆的 37.5%、800 筆的 65.0%,一路提升到 3,200 筆的 85.0%,並在此附近趨於飽和。此外,用同一語料中的 4,000 小時資料做預訓練,能讓十個未見過任務的動作誤差降低 41%,並讓 StarVLA-QwenPI 的真機成功率再進一步提升 18.1 個百分點。作者也坦言這並非「樣本數對齊」的公平比較(UMI 用了 3,200 條軌跡,遙操作只用 300 條),因此結果更適合理解為「實務流程」層面的比較,而非嚴格的樣本效率結論。

意義

這項工作如果成立,意味著長期困擾機器人學習領域的「真機資料瓶頸」有機會被繞過:只要把免機器人的資料蒐集裝置做到足夠精準(3 毫米級)、同步(微秒級)、視野夠廣(200 度),後訓練階段就不再需要昂貴的真機遙操作錨點,大幅降低取得可部署策略的門檻與成本。這對於想要擴展任務種類、場景數量的團隊尤其有意義——資料蒐集可以交給不需要機器人硬體的操作員,規模化速度遠高於遙操作。同時,研究團隊開源了 HiFi-UMI-2K(2,000 小時、微秒同步、超廣視野,採 CC-BY-4.0 授權並對人臉做遮罩處理),為社群提供了一個大規模且高保真的公開資源,有助於後續研究直接驗證或延伸「資料源頭保真度優先於資料量」的設計哲學,也為 VLA 與世界動作模型兩條技術路線提供了可共用的訓練資料基礎。

背景

當我們讓大型語言模型（LLM）去「搜尋」一個龐大的文件庫來回答複雜問題時，最常見的做法是靠「相關性」（relevance）分數：對每個查詢，估計哪些文件或段落可能含有有用證據，再挑出分數最高的前 k 筆餵給模型。這套做法在簡單問答上很管用，但遇到需要跨文件比對、逐步定位細節、或反覆驗證證據的複雜問題時就顯得力不從心——因為「這篇文件相關」不等於「證據就在這裡、就是這幾句話」。

近期出現了「Direct Corpus Interaction」（DCI）這類方法，讓 agent 像工程師一樣直接對文件庫下 grep 指令，逐步探索、定位、組合證據。這種做法更貼近人類研究問題的方式，但缺點也很明顯：grep 本身不懂什麼是「相關」，它只是機械式地依序掃描，這代表最有用的線索可能很晚才出現，導致 agent 要花很多輪次、很多次工具呼叫才能收斂到答案，效率低落。

後續的改進方案（如 RISE）嘗試用相關性先把整個語料庫縮小成一個「工作空間」（working space），讓 agent 只在這個子集裡做 grep 互動。這確實有幫助，但問題在於：一旦進入互動階段，相關性資訊就被丟棄了——grep 依然不知道該先搜哪份文件、也分不清楚一大堆比對結果（matches）裡哪些片段才是真正有價值的線索。換句話說，相關性只被用在「篩選要不要看」，卻沒有被用在「用什麼順序看、先看什麼」。

這篇論文（arXiv:2607.24223，由騰訊與中國科學院信息工程研究所的 Jiangnan Li、Yuqing Li、Mo Yu、Jinchao Zhang、Jie Zhou 於 2026 年 7 月提出）正是針對這個缺口：能不能把相關性從單純的「篩選器」升級為貫穿整個搜尋互動過程的「執行先驗」（execution prior）？

方法

論文提出的系統叫做 RARG（Relevance-Aware RipGrep Search Agent），核心想法是把相關性資訊注入到 grep 式互動的每一個環節，做到「由粗到細」（coarse-to-fine）的引導。具體包含三層機制，對應論文中的三個遞進版本：

1. 文件層級排序（RARG 基礎版）：先用一個 embedding 檢索模型（實驗中用 Qwen3-Embedding-4B，在 BRIGHT 上則搭配 NVIDIA 的 llama-nv-embed-reasoning-3b）為語料庫中的文件打分排序，產生一份「scope 檔案」，列出依相關性排列的文件路徑清單。接著透過在 ripgrep 指令中加入 -j1 參數，強制單執行緒、依序掃描這份已排序的清單，這樣一來全域最相關的文件會被優先掃到，讓有用線索更早浮現，而不是像原本 DCI 那樣隨機或按檔案系統順序漫無目的地掃。

2. 段落級初始化（RARG+）：除了排序整個文件掃描順序，RARG+ 還會從排名最前面的文件中抽取「與查詢高度相關的段落」，作為 agent 一開始就能看到的「入口點」（entry points），相當於幫 agent 先預覽最有希望的起手式，減少一開始瞎子摸象的嘗試次數。

3. 匹配層級重排（RARG++）：即使文件排序做得再好，一次 grep 呼叫往往還是會回傳一大批（論文設定池大小 M=500）比對結果，若把全部丟給 LLM 會超出上下文與注意力負擔。RARG++ 因此結合「全域檢索分數」與「局部關鍵字比對」，對這 500 個 match 重新排序，只挑出最有資訊量的前 m（實驗中 m=30 或 60）筆優先呈現給模型，避免真正有用的線索被淹沒在大量表面相關但實質無用的片段中。同時，scope 檔案的規模上限設為 1 萬份文件，確保系統在超大語料庫下依然可控。

整套系統是建立在 DCI-Agent-Lite 架構之上，agent 具備 Bash 與 Read 兩種工具可用，本質上仍是「LLM 用命令列工具探索文件庫」的互動範式，只是每一步都被相關性訊號重新導向。

實驗結果

論文在兩類任務上做了系統性評測：

BrowseComp-Plus（BC+）：100 道高難度問答題，語料庫規模為 10 萬份文件，並進一步擴充到 100 萬份文件（額外混入 90 萬篇來自 FineWeb-Edu 的長文章）以測試可擴展性。準確率由 GPT-5.1 擔任 LLM-as-judge 評分。

在 10 萬份文件、使用 GPT-5.4-mini（中等思考強度）的設定下：

• 基線 RISE 準確率 78%，需要 28.7 次工具呼叫、24.3 輪對話；
• 基線 DCI 準確率同樣 78%，但效率差得多，需要 99.1 次工具呼叫、48.8 輪；
• 而 RARG++ 準確率達到 84%，卻只用了 23.9 次工具呼叫、17.6 輪——同時在準確率與效率兩個維度都超越對手。

換到更強的 GPT-5.4 模型時，RARG++ 準確率來到 91%，相較 RISE 的 82% 提升了整整 9 個百分點。

擴展到 100 萬份文件的極端規模測試中（GPT-5.4-mini），RARG++ 依然維持 79% 準確率，對比 RISE-BM25 的 69%，優勢達到 10 個百分點，顯示相關性引導在語料庫變大時反而更加關鍵。

在 BRIGHT 檢索基準（涵蓋生物、地球科學、經濟、機器人四個子集，每個子集約 103–116 道題、5 萬到 12.1 萬份文件，以 nDCG@10 衡量）上，RARG+ 在 GPT-5.4-mini 下取得平均 53.36 分，超過 DCI、RISE，也優於 NVIDIA 專門設計的 NeMo agent（52.89 分）。

論文的分析部分也指出：RARG 讓 grep 命中的文件明顯「前置化」（front-loaded）在相關性較高的文件上；而 RARG++ 的匹配重排機制能把原本排名較低文件裡的有用證據「撈回來」，同時集中模型的注意力在真正有效的片段上。此外，scope 檔案在百萬文件規模下仍維持 95%–97% 的召回率，證明粗篩階段沒有把關鍵文件漏掉。

意義

這篇論文的核心貢獻其實很直白：相關性不該只是一次性的「篩選開關」，而應該貫穿 agent 與語料庫互動的整個過程——決定先看哪份文件、決定從哪裡切入、決定一堆搜尋結果裡先讓模型看哪幾條。這個思路把「檢索」（retrieval）與「探索」（grep-style interaction）兩種原本割裂的搜尋範式縫合了起來：檢索模型的全域語意理解負責「排優先順序」，而 grep 的精確字串匹配負責「抓細節」，兩者疊加後既保留了細粒度定位、驗證證據的能力，又不會像純 grep 那樣浪費大量輪次瞎找。

對實務工程而言，這代表建構 agentic search 系統時，值得投資的不只是「用不用得到好的 embedding 模型」，還有「怎麼把 embedding 分數轉譯成 agent 執行順序上的具體指令」——像是簡單地控制 ripgrep 的掃描順序、限制單執行緒、預先注入高分段落、對比對結果重排——這些看似工程細節的設計，實驗顯示能帶來 6–9 個百分點的準確率提升，同時省下約 24% 的工具呼叫次數。這種「準確率-效率前沿」（accuracy-efficiency frontier）的同時改善，對於需要控制 API 成本與延遲的實際部署場景（例如企業內部知識庫問答、法規/合規文件檢索）尤其有價值。

更長遠來看，隨著語料庫規模持續增長（論文測試到百萬份文件依然維持優勢），單純依賴「先切出一個小工作空間再自由探索」的策略會越來越吃力，而像 RARG 這種把相關性訊號一路帶進互動細節的設計，可能會成為下一代檢索增強 agent（RAG agent）的標準配置。同時，論文也誠實列出限制：系統效果仍高度依賴底層 embedding 模型品質、單執行緒 grep 帶來延遲成本、且對模型的指令遵循能力（instruction-following）較敏感——這些都是後續工作可以優化的方向。

背景

Diffusion model（擴散模型）如今已是影像與影片生成的主流架構，而要讓這類模型又快又好，蒸餾（distillation）技術是關鍵一環：讓一個小、快的 student 模型去學習大、慢但品質更好的 teacher 模型的行為，藉此把多步驟採樣壓縮成少步驟推論。近年興起的 on-policy distillation（OPD）做法是讓 student 沿著「自己生成的軌跡」去詢問 teacher 該怎麼走，而不是死記 teacher 事先生成好的資料，這樣能減少 student 在自己生成分佈上遇到陌生狀態時的誤差累積。

另一方面，classifier-free guidance（CFG）幾乎是現代 diffusion 系統的標配技巧：模型同時計算一個「有條件」（positive branch，例如根據文字提示或控制訊號）與一個「無條件／負向條件」（negative branch）的預測，然後用兩者的加權外插（guidance scale γ）來加強生成結果對條件的服從度。問題是，OPD 通常直接針對「CFG 合成後的最終速度預測」做匹配（velocity matching），但這篇來自阿里巴巴 Qwen 團隊的論文指出：這個看似合理的目標函數其實存在數學上的漏洞——它在「分支層級」是欠定的（under-identified）。也就是說，只要 positive branch 的誤差與 negative branch 的誤差滿足某種抵銷關係（γe₊ + (1-γ)e₋ = 0），composed 後的總誤差就可以是零，即便兩個分支本身都預測錯了。這意味著模型可能在「看起來」學得很好、但實際上內部兩個分支各自跑偏而互相掩護。這正是本文標題「rethinking CFG in on-policy diffusion distillation」要處理的核心問題。

方法

作者先透過兩組對照實驗，具體刻劃這個欠定性何時會變成真正的麻煩：

1. 共享負向條件（shared negative conditioning）：teacher 與 student 的 negative branch 都使用相同的空文字（null-text）條件，例如在 SD3.5-Medium 搭配 OCR 專用 teacher 的文字渲染蒸餾任務中。此時兩個分支的誤差會「同步下降」，naive matching（直接匹配合成後速度）依然有效。
2. 特權負向條件（privileged negative conditioning）：teacher 的 negative branch 拿到了 student 完全看不到的額外資訊（例如參考圖片、控制訊號），像是 FLUX-2-klein-base-4B 的參考圖蒸餾任務。這時候聯合下降就會崩潰，出現作者定義的核心失效模式——Negative Branch Asymmetry（NBA，負分支不對稱）：訓練過程中 positive branch 誤差持續下降，negative branch 誤差卻反而上升，兩者呈現對抗式（antagonistic）動態。

為了解決 NBA，作者提出 Positive–Direction Matching（PDM），一個「分支感知」（branch-aware）的目標函數。PDM 不再只盯著合成後的速度，而是拆成兩塊分別監督：

• 直接匹配 positive branch 的預測本身（||e₊||²，即 teacher 與 student 各自的有條件速度）；
• 匹配 CFG 的「條件方向」（conditional direction，即 positive 減 negative 兩分支速度的差 d = v⁺ - v⁻）。

這樣設計的好處是：只有當兩個分支的誤差都真正為零時，總損失才會是零，等於堵死了兩分支互相補償的漏洞。作者也對照了另一個更直白的基準做法 Independent Branch Matching（IBM）——直接分別匹配 positive 與 negative 分支、並依 guidance scale 加權；雖然 IBM 與 PDM 在理論上有相同的「零損失條件」，但實驗顯示 PDM 效果更穩定（作者也坦承兩者相對優劣的理論解釋目前還不完整）。

實驗結果

論文把方法落地在「dense-to-sparse video control」（密集到稀疏的影片控制）任務上，這是 teacher-student 間存在明顯資訊落差的典型場景：teacher 拿到每一幀的密集控制訊號（pose、depth、scribble），student 只拿到 81 幀中第 0、20、40、60 幀的稀疏關鍵幀控制。實驗基於 Wan2.1-VACE-1.3B 影片模型，用 LoRA（rank=32, scale=32）微調，在 8 張 GPU 上訓練 2000 步，訓練時 guidance scale γ=5，評測資料為 OpenHumanVid benchmark 中 600 段 832×480、81 幀、依難度分層的測試片段。

主要結果（Table 2）顯示，在三種控制模態（pose 用 MPJPE／PCK@0.1、depth 用 SI-RMSE、scribble 用 F1）上，PDM 全面優於 naive matching 與 IBM，取得最一致的改善。更關鍵的是 guidance-scale 泛化能力（Table 3）：模型固定在 γ_train=5 訓練，但推論時測試 γ=1、3、5、7 不同guidance scale。naive OPD 在偏離訓練 scale 時（尤其 γ=1）出現嚴重效能崩壞，而 PDM 在整個掃描範圍內都維持穩定表現——這正好驗證了「naive guided matching 對推論 guidance scale 高度敏感」的問題確實存在，也證明 PDM 從根本上修補了這個脆弱性。

此外，λ（方向匹配權重）消融實驗（Table 4）顯示 λ=1 時控制精準度與關鍵幀誤差最佳，λ=0（只用 positive）表現較差，λ≥2 雖然分布品質上升但控制準確度反而下降。監督視野（K，沿軌跡監督的步數）消融（Table 5）也很值得注意：K=1 每步耗時 23 秒，K=50（完整軌跡）耗時 790 秒，而 K=8 就能達到最佳控制精準度，相較全軌跡監督節省約 98% 運算成本，效率與效果兼顧。

意義

這篇論文的貢獻不只是提出一個新的蒸餾損失函數，更重要的是釐清了一個長期被忽略、卻普遍存在於「CFG + 蒸餾」組合中的結構性盲點：合成後的速度匹配目標本質上是欠定的，只是在 teacher/student 負向條件相同時「恰好」不會出問題；一旦 teacher 的負向分支握有 student 拿不到的特權資訊（這在真實應用中其實很常見，例如可控生成、參考圖引導、密集控制訊號蒸餾成稀疏版本等），naive 方法就會在訓練中悄悄失衡，且症狀會以「對 guidance scale 極度敏感」的方式在推論階段爆發出來——這對任何依賴 CFG 做少步驟蒸餾的系統都是潛在風險。

PDM 提供的解法相對簡單、計算成本增加有限，卻能同時提升精度與魯棒性，對於將大型 teacher 模型（如 FLUX、Wan2.1 這類）蒸餾成可在稀疏控制或低算力場景部署的小模型，具有直接的實務價值。更廣義地看，這項工作提醒研究者：任何涉及「多分支組合後再做監督」的訓練目標（不限於 CFG，也可能包括其他形式的複合條件推理），都可能潛藏類似的欠定性問題，值得在設計蒸餾或對齊算法時提前檢視分支層級的可辨識性（identifiability），而不是只看最終合成輸出是否匹配。