K1 論文詳解

背景

訓練會做家事、會轉螺絲、會操作工具的靈巧機器人,靠的是大量「示範資料」——也就是機器人（或人類）如何完成任務的動作序列。問題是,真正由機器人採集的資料極其昂貴：每一項新任務都要重新佈置場景、找人遙控操作、反覆錄製,難以覆蓋現實世界裡長尾般繁多的操作情境。與此同時,YouTube 等網路上其實存在著近乎無窮無盡的人類「手在做事」的影片——切菜、開瓶蓋、轉水龍頭、疊衣服,應有盡有。問題是這些影片視角雜亂、背景各異、常被身體或物體遮擋手部,過去沒有辦法從中系統性地挑出「跟目標任務動作相似」的片段。RoboTok 這篇論文要解決的正是這個「檢索」瓶頸:給定一段人類操作查詢影片,如何從百萬等級的網路影片庫中,精準撈出動作上真正相關的示範,再拿去訓練機器人的操作策略。

方法

RoboTok 的核心想法是把「手部動作」抽象成一種可以跨視角、跨場景比較的「潛在動作空間」(latent motion space)。整個流程分幾步：首先用 WiLoR 在弱透視相機模型下重建 3D 手部姿態,並用 MoGe-2 估計場景的度量深度(metric depth),讓手部軌跡有真實世界尺度;若某些畫面手部暫時消失或被遮擋,再用 HaWoR 補齊軌跡缺口。接著,團隊訓練了一個輕量級的「軀幹座標系估計器」,只用手腕軌跡就能推算出示範者的身體參考系,把手部動作轉換到「以人為中心」(actor-centered)的座標下——這樣一來,同一個轉瓶蓋的動作,不管鏡頭從左邊拍還是右邊拍、背景是廚房還是工作台,在這個座標系裡都會長得很像。

有了統一座標的 21 個關節點手部軌跡(取樣率 5 fps)後,團隊用 Dynamic Time Warping(DTW)計算兩段軌跡在容許執行速度略有差異下的相似度,作為訓練用的「真實相似度」標籤。編碼器結構是先做位置編碼,再用一個輕量的交叉注意力(cross-attention)網路把整段軌跡壓成一個 L2 正規化的 d 維向量,之後只需比對餘弦相似度(cosine similarity)就能做大規模檢索。訓練目標結合了兩種損失:一種是「集合損失」,要求真正的前 K 個近鄰(oracle top-K)分數要高於邊界負樣本;另一種是「排序損失」,要求嵌入空間裡的相對順序要盡量貼近 DTW 算出的真實排序。每個訓練批次由 49 個錨點(anchor)組成,每個錨點搭配 2 個來自 DTW 前 20 名的正樣本,以及 1 個剛好落在前 20 名之外的邊界負樣本,總批次大小 196。檢索出來的示範最終用來引導策略學習:機器人策略會得到一個基於「距離重定向後示範狀態的 k 近鄰距離」所設計的獎勵(reward shaping),形式上類似 β·Φ(s) 加上 potential-based 的 w(γ·Φ(s′)−Φ(s)) 項,把檢索到的人類動作轉化為訓練訊號。

實驗結果

在自建的 Action100M 語料庫上,團隊用 10,000 筆保留查詢影片評測檢索品質:RoboTok 的 mAP@20 達到 0.3531、Recall@20 高達 0.996、nDCG@20 為 0.5836、MRR@20 為 0.8576,Kendall τ 相關係數 0.4867,平均 DTW 對齊誤差僅 1.333 公尺,只比理論最優的 1.145 公尺高出約 16%。相較之下,既有的檢索方法差距懸殊:STRAP 的 mAP@20 僅 0.0071(Recall@20 只有 0.12)、HAND 為 0.0009、FlowRetrieval 為 0.0004,隨機檢索則接近 0。在跨資料集的 AssemblyHands 基準(831 段雙手組裝影片)上,RoboTok 的 mAP@5 為 0.2614,同樣大幅領先 STRAP 的 0.1330,DTW 對齊誤差 1.095 公尺、逼近最優的 0.966 公尺。

檢索品質最終也反映在下游機器人任務上。在原版 VTDexManip 的 6 項任務中,使用 RoboTok 檢索到的示範訓練策略,平均成功率比基準方法在「已見過物體」上提升 7.45%,在「未見過物體」上提升 5.83%,例如轉瓶蓋任務達到 90.2%(已見)/85.2%(未見),鎖螺栓/轉水龍頭任務達到 91.3%(已見)/77.5%(未見)。在難度更高的改良版 VTDexManip 設定下,優勢更明顯:轉瓶蓋任務成功率 77.3%,比 HAND 基準高 18 個百分點;轉水龍頭任務 44.8%,高出 38 個百分點;推拉槓桿任務 79.3%,足足高出 59.8 個百分點。

意義

RoboTok 的貢獻不只是提出一個更準的檢索演算法,而是證明了「手部姿態感知的軌跡檢索」可以把浩瀚且持續增長的網路影片,轉化成機器人學習可規模化使用的監督訊號來源——不再受限於昂貴、覆蓋面窄的機器人自採資料。透過把動作壓縮成與視角、場景、遮擋無關的緊湊嵌入,RoboTok 讓「以動作找動作」的搜尋在百萬級影片規模下依然高效可行,也讓持續索引新影片、持續擴充示範庫成為可能。對於想讓機器人應付現實世界長尾任務的研究者而言,這意味著未來訓練靈巧操作策略時,「找到相關示範」這一步可以像做網路搜尋一樣簡單,而不必事事仰賴人力遙操作收集資料,為機器人學習開闢了一條更具擴展性的資料來源路徑。

背景

近來被稱為 on-policy distillation(同策略蒸餾,簡稱 OPD)的訓練法在前沿模型的 post-training 階段引起不少關注。它的做法是:讓學生模型（student）自己產生 rollout(也就是在推理任務上自行生成的答案序列），再由教師模型（teacher）針對這些學生自己走過的每個 token 給出密集的機率分佈監督，取代傳統只在整段輸出結尾給一個獎勵訊號的強化學習方式。相較於單純模仿教師輸出的離線蒸餾（off-policy distillation），OPD 因為監督訊號建立在「學生自己實際會遇到的狀態」之上,被認為能更有效地修正學生的錯誤傾向，且比稀疏獎勵的 RLHF 式訓練更快收斂。

然而,過去的研究幾乎都聚焦在演算法本身的行為(例如用什麼散度、如何加權 token),卻很少有人問一個更基本的問題:訓練資料在其中到底扮演什麼角色？OPD 到底需不需要大量、多樣的 query 才能生效，還是資料的貢獻其實很小？這篇論文用一個近乎極端的方式回答:把訓練集壓縮到只剩「一筆」query,看看 OPD 還能學到多少。這個「資料最小化」的實驗設計,直接挑戰了「更多資料等於更好效果」的直覺假設。

方法

研究團隊在數學推理、程式碼生成、指令遵循與工具呼叫（agentic tool use）等多個任務領域，選用多組學生—教師模型配對進行 OPD 訓練，例如以 DeepSeek-R1-Distill-Qwen-1.5B 作為學生、搭配同尺寸但經過額外強化訓練的教師模型，涵蓋 1.5B 到 7B 等級的模型家族。核心操作變因很單純:訓練集只放入一筆 query(one-shot OPD),讓學生針對這單一問題反覆生成 rollout、持續吸收教師的逐 token 監督數百個訓練步驟,再與使用完整資料集訓練的 full-data OPD 做對照。

為了解釋「一筆資料為何也能有效」，作者提出「狀態覆蓋率（state coverage）」這個量化指標:先用教師模型在每個狀態（即每個 token 位置)的最後一層隱藏向量表示,經 PCA 降維後以 K-means（K=200）分群，把 full-data OPD 訓練過程中走訪過的狀態當作參照母集合，接著計算「某個 query 集合的 rollout 覆蓋了多少比例的參照狀態群」。這讓他們能把「資料的廣度」與「學生對齊教師的速度」拆開來單獨測量,而不是只看最終準確率這個混合了兩者的指標。此外,論文也把單一教師擴展到多教師版本(Multi-teacher OPD,簡稱 MOPD),讓一個學生同時對接多個領域專精的教師,驗證前述發現是否能延伸到更複雜的訓練設定。

實驗結果

結果相當出乎意料。單一 query 的 rollout 就已經觸及 full-data OPD 所走訪狀態的 71.5%,而且大部分覆蓋在訓練的前 100 步內就已達成 — 也就是說,狀態空間的探索其實很快就飽和,並不需要靠海量資料慢慢累積。當語意上彼此不同的 query 逐步增加時，覆蓋率與驗證準確率同步上升,直到湊齊 16 筆語意多樣的 query 時,覆蓋率來到 98.9%,表現已經追平使用完整資料集的 full-data OPD。

具體到各任務領域:在數學推理上,one-shot OPD 的驗證準確率達到 68.5，相對 full-data OPD 的 69.8 已相當接近，等於在第 300 步時就追回了師生準確率落差的 69%、以及 full-data OPD 總增益的 87%。其他領域也呈現類似趨勢:程式碼生成領域回收了 73% 的增益、指令遵循約 66%、工具呼叫（agentic tool use）約 64%。這些數字說明,即便只用一筆訓練樣本,OPD 也能拿到大部分的效果,資料多樣性帶來的邊際效益其實遞減得很快。

然而,論文也指出一個「反常」現象:不論是訓練一筆 query 還是整個資料集,學生「對齊」教師分佈的速度幾乎一樣慢——即便鎖定同一組固定狀態集合,學生也需要數百步才能把監督訊號充分吸收。換句話說,rollout 很快就能暴露出寬廣的監督範圍,但學生消化這些監督的速度卻沒有因為資料變少而加快,也沒有因為資料變多而變快太多。研究團隊將這個現象總結為一句話:OPD 是「資料吃得太飽,演算法卻餓著」(data-overfed but algorithm-starved)。作為壓力測試,他們甚至用內容空洞的模板句子、以及與任務領域無關的 WildChat 對話當作 query,結果狀態覆蓋率依然逼近真實任務 query 的水準——顯示「任務內容」與「所誘發的狀態覆蓋」其實可以脫鉤。在多教師設定 MOPD 中,同樣只要每個領域準備 16 筆語意多樣的 query,就能匹配使用全部資料訓練的效果。

意義

這篇研究對目前業界瘋狂堆疊訓練資料量的直覺提出了反思:如果 OPD 的效果瓶頸主要不在資料規模,而在學生模型吸收密集監督訊號的「速度」上,那麼投入更多算力去蒐集、清洗、擴充 query 資料集,報酬可能相當有限。真正值得優化的方向,反而是如何提升每一步訓練的「步效率(step efficiency)」——例如改良學生對齊教師分佈的最佳化方式、調整 token 級別的損失權重或取樣策略,讓學生能在更少步驟內吸收同樣份量的監督。

更深一層的意涵在於,這項發現促使我們重新檢視近期前沿模型 post-training 成功案例背後真正的機制:當業界宣稱某個新資料集或更大規模的訓練資料帶來顯著提升時,論文提醒我們,真正發揮作用的關鍵也許只是「資料是否觸及了關鍵的狀態空間」,而不是資料本身的數量或表面上的任務相關性——畢竟連內容空洞的模板句、甚至領域外的閒聊資料,都能達到接近真實任務資料的狀態覆蓋率。對於資源有限的團隊而言，這是個好消息:或許不需要昂貴、龐大的標註資料集，只要精心挑選少量、語意多樣的 query，再搭配對演算法效率的持續打磨，就能在同策略蒸餾上獲得接近完整資料集的訓練效果，把資源省下來投入在演算法層面的改進。

背景

近年來,大型語言模型社群開始流行「混合式架構」(hybrid LLM):把傳統的 softmax attention 與線性注意力(linear attention)層混搭使用,藉此降低長文本推理的記憶體與運算開銷。以 Qwen3.8-27B 為例,其架構包含 48 層 Gated DeltaNet(GDN,一種線性注意力變體)與 16 層一般 attention。GDN 的核心特色是用一個固定大小的「遞迴狀態」(recurrent state)來壓縮整段上下文,不像 attention 那樣把每個 token 的 KV 都存下來。

問題在於量化。社群過去在把這類模型壓到 4-bit 時,普遍會「放過」GDN 層,讓它維持在 8-bit 或甚至 16-bit,尤其是控制狀態衰減(decay)與寫入強度(write-strength)的 gate 投影層。背後的直覺很直白:遞迴結構會不斷把前一步的誤差帶到下一步,積少成多,4K token 可能還好,32K token 恐怕就會爆炸性放大誤差。這聽起來合理,但從未被嚴格驗證過。本篇論文(arXiv:2609.04098)的作者 Sergii Kozyrev 與 Davyd Maiboroda 決定實際檢驗這個假設,並打造了一個把「全部」線性層都量化到 NVFP4 W4A4(4-bit 權重、4-bit 激活值)的模型,命名為 Minima,連 GDN 的 gate 投影也不例外——Qwen3.8-27B 全部 496 個線性層無一倖免。

方法

Minima 使用 NVIDIA 的 NVFP4 格式做後訓練量化(PTQ),其關鍵設計是「每 16 個元素一組」的區塊縮放(16-element block scaling),比起傳統整張量或整通道縮放,粒度更細,理論上能更精準地捕捉激活值裡的極端離群值(outlier)。校準資料使用 128 筆、每筆 32K token 的樣本。實驗硬體為支援原生 NVFP4 運算的 RTX PRO 6000(96GB),推理服務則跑在 vLLM 0.27.1 上,並搭配 FP8 KV cache。

為了解釋「為什麼 GDN 撐得住 4-bit」,作者做了四段式的機制分析:第一,NVFP4 的 16 元素區塊縮放能把殘差流(residual stream)中的極端離群值侷限在局部區塊內,使不同角色的層(attention vs. GDN)的激活誤差被拉平到同一水準(約 7.5%–9.2%);第二,原本被認為最脆弱的 gate 投影(用 softplus/exponential 與 sigmoid 參數化控制衰減與寫入)其實最不敏感——約 11% 的 GEMM(矩陣乘法)誤差,經過這些非線性壓縮函數後只剩約 2% 的輸出誤差;第三,delta-rule 遞迴本身有自我修正機制:每次寫入都會沿著當下 key 的方向覆寫舊狀態,因此人為注入的雜訊在 32K token 內會維持在一個平坦的誤差高原,而不是持續累積,一次狀態脈衝(impulse)大約在幾百步內就會被「遺忘」;第四,逐 token 的量化成本會隨著上下文變長而被稀釋,而非疊加放大。

此外,作者還發現並修補了一個實務上的部署 bug:當 llm-compressor 以「每個模組個別校準」的方式產生 NVFP4 scale,但 vLLM 推理引擎又會把相鄰模組融合成單一 GEMM 運算時,兩者的 scale 比例(1.82–2.75 倍)會對不上,導致 gate 用錯誤的權重計算——這個問題甚至會「意外地」讓長文本困惑度看起來更好(因為遺忘閘壞掉了),卻悄悄拖垮推理任務表現,是個容易被忽略的陷阱。

實驗結果

在困惑度(perplexity)、MMLU-Pro、GSM8K、AIME'25、GPQA-Diamond、LiveCodeBench,以及最長到 64K 的 RULER 檢索任務上,Minima 的表現與原始 BF16 模型幾乎沒有差距——五項任務平均分差僅 -0.52 分,落在隨機種子造成的雜訊範圍內。具體來看,AIME'25 在四組不同種子下都拿到 26/30,與 BF16 完全一致;RULER 在 32K 與 64K 上下文長度下的檢索準確率都是 100%。困惑度方面,4K 上下文的差距是 +0.72,32K 上下文反而縮小到 +0.49——這與「誤差隨上下文累積」的直覺恰恰相反,論文進一步分解發現:量化造成的困惑度代價在前半段文本是 +0.081 nats,後半段降到 +0.011,到最後 2K token 甚至轉為負值。

效益上,Minima 是所有比較方案中體積最小(17.5 GiB,對比 BF16 的 50.1 GiB,縮小約 2.9 倍)且 prefill 速度最快的版本,比其他 NVFP4 方案快 14%–19%,體積也比社群現有的 NVFP4 版本小 7%–13%。至於 KV cache 量化,FP8 KV cache 在任務分數上完全沒有影響(在雜訊範圍內),雖然 32K 困惑度會有 +0.13(BF16)到 +0.41(Minima)的懲罰,但只要用校準過的逐層 FP8 scale,就能挽回其中約 83% 的損失,近乎「免費」。

意義

這篇論文最重要的貢獻,是用實證推翻了業界一項未經檢驗的直覺:線性注意力的遞迴狀態並非量化的「弱點」,反而可能是相對「好啃」的一半。它告訴我們,決定量化容錯度的關鍵不是「有沒有遞迴結構」,而是具體的數學性質——delta rule 這種會主動覆寫狀態的更新機制,天生就帶有雜訊抑制能力;而 gate 常用的 softplus、sigmoid 等飽和型非線性函數,本身就會壓縮誤差而不是放大它。

對實務工程而言,這意味著在部署混合式 LLM 時,不必再對 GDN 或類似線性注意力模組另眼相待、保留額外精度預算,而可以放心採用「全部量化」的統一策略,同時省下可觀的顯存與加快 prefill 速度——這對需要長上下文、大規模服務的場景(如 agent、RAG、長文件問答)特別有價值。此外,論文揭露的「模組融合導致 scale 失配」這個部署層級的坑,也提醒工程團隊:量化正確性不能只看訓練後校準,還要考慮推理引擎實際執行時的算子融合方式,否則可能出現「困惑度看似變好、但下游任務悄悄變差」的假象。整體而言,這是一份兼具理論解釋與工程可複製性的量化研究,為往後混合式架構的低精度部署提供了具體的方法論與檢查清單。