K1 論文詳解

背景

過去幾年，語言模型的能力成長高度依賴「可驗證的經驗」——程式碼倉庫、編譯器與測試讓 AI 的行動可觀察、結果可檢查，進而支撐監督微調（SFT）與可驗證獎勵的強化學習（RL）。但科學領域一直是個例外。科學程式碼往往牽涉數十年累積的物理模型、數值方法與領域慣例：一份天文流體模擬程式可能用隱式單位換算、一份氣候模式可能有未寫明的守恆量容差，這些「暗知識」讓一般的程式碼 benchmark 難以直接套用。論文團隊將這個困境稱為「科學經驗瓶頸」（scientific experience bottleneck）：論文、程式碼與資料集不會自動變成可訓練的環境，既有的科學程式碼與可重現性 benchmark（如 SciCode、ScienceAgentBench）只能評估智能體，卻無法提供能夠持續擴充經驗的生產基礎設施。

由 AItonomy Foundation 主導、45 位以上作者共同完成的 ScienceIDE，正是要解決這個問題：把散落在世界各地的科學程式碼倉庫，轉換成可程式化操作、可產生訓練訊號的智能體環境。

方法

ScienceIDE 的核心設計理念是「專家判斷一次性投入，任務生產可重複利用」。整套流程分五步:先取一個有版本控制的科學程式碼庫（pinned source），由智能體檢視其官方測試與範例，抽取出「模組」（scientific module）——一個具有明確科學職責與可執行覆蓋範圍的單位；接著把模組打包成「環境」（environment），附上執行時期、校準過的科學檢查（pointwise 容差比對或分佈/守恆量等不變量比對）與私有驗證器；再由「工廠」（factory）依環境特化出任務生產規則，涵蓋修復（Repair）、實作（Implementation）、加速（Acceleration）、發現（Discovery）、重現（Reproduction）、整合（Integration）、校準（Calibration）七大類；候選任務必須通過「已知正確解能過關、未修復版本會失敗」的可執行驗證後才算合格；最後每次智能體與任務的互動（episode）都會記錄軌跡、獎勵與資源消耗，同時供評測、SFT 資料與 RL 獎勵三種用途重複利用。

目前 ScienceIDE 已從 27 個科學程式碼庫中萃取出 64 個環境、共 2,812 個已驗證任務（2,515 個修復、295 個實作、2 個加速），並附帶 1,076 個可執行的數值檢查。公開評測子集 ScienceIDE-Hard 從 PLUTO、Athena++、MITgcm、LAPS、PHANTOM 等 18 個環境中精選出 85 個高難度任務（52 修復 + 33 實作），涵蓋天文磁流體、電漿物理、海洋大氣模擬與粒子模擬，程式碼規模落在 1 萬至 10 萬行之間。

研究團隊用這套基礎設施訓練出 PhAI-IDE-72B、PhAI-IDE-9B、PhAI-IDE-4B 三個模型（分別以 Qwen2.5-72B-Instruct、Qwen3.5-9B、Qwen3.5-4B 為底座），一部分用 SFT（軌跡由 GPT-5.6-sol 生成、以數值等價驗證器篩選，訓練集 4,567 段來自 564 個任務、驗證集 544 段來自 81 個任務，使用 ms-swift 對所有線性層做 LoRA、訓練 3 個 epoch），一部分用線上 RL（在 LAPS 這個 3D 擬譜 Hall-MHD 求解器與 MITgcm 海洋生物地球化學環境上，用類 GRPO 目標搭配非對稱 PPO 裁剪，訓練框架建立在 veRL 之上）。

實驗結果

在 ScienceIDE-Hard 的智能體對戰中，研究團隊透過 Codex、Claude Code、Gemini CLI 三種執行框架，比較了來自 8 家廠商的 15 個模型，統一給予一小時的任務預算。結果顯示 Claude Fable 5.1 成功率最高，達 67.1%，其次是 Claude Opus 5 的 64.6% 與 GPT-6-astra 的 63.1%，GPT-5.6-sol 為 55.0%；其餘 11 個模型全部低於 40%，最低的 MiniMax-M3 只有 4.4%。即便是表現最好的模型，仍有約三分之一的科學任務在一小時內無法解決。成本效率上也出現有趣反差：Astra 平均每個任務只花 3.56 美元、9.4 分鐘、1.39 萬輸出 token 就拿下 63.1%，而 Fable 要花 7.90 美元、16.8 分鐘、8.57 萬 token 才多拿 4 個百分點，顯示花費與正確率是兩個獨立的維度（相關係數僅 -0.22）。

SFT 訓練後的效果也很明確：在留出的科學修復任務上，PhAI-IDE-4B 在 PLUTO-Particles-Dust 環境的修復獎勵從 0 提升到 0.3333（+33.33 個百分點），9B 版本在 PLUTO-RMHD/ResRMHD 從 0 提升到 0.2857（+28.57 點）、在 LAPS 從 0.3125 提升到 0.5000（+18.75 點）。更值得注意的是遷移效果：4B 模型在 HumanEvalFix JavaScript 上提升 10.98 個百分點、QuixBugs Java 提升 10.00 點、CodeXGLUE 缺陷偵測提升 7.03 點；9B 模型在 BBH Word Sorting 上從 0.240 大增到 0.576（+33.60 點）；72B 模型在 APPS Introductory、LiveCodeBench Execution 等泛用 benchmark 上也都有 3~6 個百分點的提升。RL 實驗方面，Qwen3.5-4B 在 LAPS 環境的留出任務獎勵從 0.357 提升到 0.857（成長 2.4 倍），在 MITgcm-biogeo 上從 0.286 提升到 0.571（成長 2.0 倍），同時預算截斷率（任務因超時而失敗的比例）從 39.5% 降到 6.6%。

意義

ScienceIDE 的價值不在於刷新某個單一 benchmark 的分數，而是提出了一套「專家判斷可重複利用」的工程範式：領域專家只需要為一個模組定義一次科學等價標準與容差，之後便能自動衍生出成百上千個修復、實作、重現任務,不必為每個任務重新做人工標註。這解決了科學智能體訓練長期缺乏大規模、可驗證訓練資料的痛點。實驗也提供了「科學經驗可以反哺通用能力」的初步證據——在科學程式碼修復任務上訓練出的模型，同時在程式碼理解、邏輯推理、知識類的泛用 benchmark 上出現正向遷移,雖然論文也坦承這些提升尚未達到全面或前沿水準。對於想推動 AI for Science 的團隊而言，ScienceIDE 提供了一個開源（GitHub: aitofound/ScienceIDE）、可持續擴充的基礎設施雛型；而對整個產業而言，它示範了如何把人類數十年累積在科學軟體中的知識，轉換成訓練下一代科學智能體的共同基石。

背景

在用強化學習訓練大型語言模型(例如做數學推理)時,Proximal Policy Optimization(PPO)是最常見的演算法之一。PPO 之所以比 GRPO、RLOO 這類「critic-free」方法更講究,是因為它額外訓練了一個 critic 網路,用來估計每個中間狀態(也就是回應生成到某個 token 時)的「價值」——白話說,就是「從這裡繼續生成下去,最終答對的機率有多高」。有了這個逐步的價值估計,PPO 才能算出更精細的 token 級 advantage,理論上應該比只看最終對錯的方法更擅長「功勞分配」(credit assignment),尤其適合數學證明、長鏈推理這種需要一步步判斷的任務。

但這篇由上海交通大學、上海人工智慧實驗室、西湖大學、南京大學等機構合作的論文發現,實際訓練出來的 PPO critic 幾乎沒有做到這件事。作者用一個診斷手法:對同一個中間狀態,獨立採樣多條(K 條)後續延續路徑,取其最終成功率的平均,得到一個「蒙地卡羅價值」(Monte Carlo value, MC value)作為地面真值參考。結果發現,MC value 在一段回應的不同位置之間常常劇烈變化——例如某個關鍵推理步驟走錯,MC value 可能從 0.7 驟降到 0.1——但同一時間點 critic 自己預測出來的價值曲線卻幾乎是條平線,完全捕捉不到這種局部劇變,甚至方向都可能反過來。作者把這個現象稱為 Value Flattening(價值扁平化)。

更值得注意的是,這不是個案:在 Qwen3-4B-Base 用 DAPO-Math-17k 資料集訓練的多個訓練檢查點(checkpoint 50、150、250、350)上都能重現;而且在無關 LLM 的簡化環境——隨機版本的 FrozenLake(格子世界,終點與冰洞,回報 0 或 1)——中,只要把迷宮大小從 n=32 擴大到 n=64 再到 n=128,critic 預測的價值圖就會愈來愈平滑、愈來愈脫離真實價值圖,誤差指標也隨之惡化。這說明 Value Flattening 是一個會隨著狀態空間變大而加劇的系統性問題,而不是某個模型或任務的偶發現象。

方法

論文接著從理論上拆解了 critic 的均方誤差(MSE)損失,找出兩個造成 Value Flattening 的根源:

一、隱性的變異數懲罰(implicit variance penalty)。 在終端獎勵(terminal-only reward)、γ=λ=1 的常見設定下,一條回應裡每個 token 位置的訓練目標都是同一個最終結果 R。作者證明,把 MSE 損失對整條軌跡的所有位置取平均後,可以分解成兩項:一項是「所有預測的平均值」與 R 的誤差,另一項恰好是「這些預測彼此之間的變異數」。也就是說,critic 損失函數本身就內含一個懲罰項,會主動壓低同一回應內部價值預測的變化幅度——監督的位置越密集,這個懲罰越強。

二、時間相關性帶來的冗餘更新。 LLM 的狀態就是「目前為止生成的所有 token」,相鄰位置只差一個 token,彼此高度重疊。作者實測 critic 的隱藏表徵與梯度,發現位置越接近,梯度方向越一致(cosine 相似度接近 100%),意味著對密集的相鄰狀態做逐 token 監督,實際上只是在重複打同一種梯度,並沒有帶來多少新資訊,反而讓預測進一步趨同、變平。

基於這兩點診斷,作者提出 SP³O(SParse Proximal Policy Optimization):policy 目標、rollout 流程、GAE 的 return 計算全部維持 PPO 原樣,唯一改動是——critic 的價值損失只在每條回應裡挑選少數幾個「間隔開來」的位置計算,而不是對每個 token 都算。具體設定是在回應進度 30%、60%、90% 三個相對位置設監督錨點(anchor),另外對長度達 6144 token 以上的回應,再加一個 95% 位置的「尾端錨點」以覆蓋回應結尾。這個設計同時削弱了上述兩個病因:錨點少,變異數懲罰的作用範圍就小;錨點之間刻意拉開距離,也降低了因狀態高度相關而產生的冗餘梯度。

實驗結果

作者在 Qwen3-4B-Base 與 Qwen3-8B-Base 上,用 DAPO-Math-17k 訓練,比較 Base、PPO、GRPO、SP³O 四種設定,分別在 7 個數學推理 benchmark(AIME24/25/26、AMC23、MATH500、Minerva、OlympiadBench,avg@32)與 6 個跨領域 OOD benchmark(ARC-C、MMLU-Pro、GPQA、AGIEval、BBH、ZebraLogic-Grid,avg@4)上評測。

數學推理平均分數上,Qwen3-4B-Base 從 Base 的 17.95 分,PPO 訓練後提升到 37.60,GRPO 為 39.26,而 SP³O 達到 45.57,比標準 PPO 多出 7.97 個百分點;Qwen3-8B-Base 上 PPO 為 48.50、GRPO 47.91,SP³O 則是 50.51。OOD 泛化評測方面,4B 模型 PPO 得 51.95,SP³O 提升到 59.28(多 7.33 個百分點);8B 模型 PPO 為 64.38,SP³O 為 66.37。也就是說,SP³O 在兩種模型規模、兩套評測體系上都一致優於 PPO 和 GRPO。

作者也直接驗證了 SP³O 是否真的緩解了 Value Flattening:比較 SP³O critic 與 PPO critic 相對於 MC value 的曲線契合度,SP³O 在回應進度 30%、60%、90% 三處分別把 MSE 降低 36%、11%、21%;衡量隱藏狀態多樣性的「有效秩」(effective rank)中位數也從 4.33 提升到 5.63,顯示 critic 學到了更豐富、更能區分狀態差異的表徵。訓練動態上,SP³O 的策略更新幅度更小、更穩定,驗證準確率和 rollout 獎勵都持續高於 PPO,生成的回應長度成長也更快、更早穩定在較長區間。

消融實驗顯示,監督錨點數量 K 並非越多越好:K=3、4、8 時訓練獎勵最高且穩定,K=16、64 時效果反而明顯下滑,逐漸逼近逐 token 密集監督的 PPO 基準——印證了「稀疏且分散」才是關鍵,而非單純減少計算量。錨點位置的安排也有講究:固定位置(0.3/0.6/0.9)優於隨機位置(45.57 對 36.59,幾乎與 PPO 打平);而加入應對長回應的尾端錨點(0.95)能讓分數再從 44.10 提升到 45.57,同時把重複生成的比例從 18.33 大幅壓低到 1.12,顯示覆蓋回應尾端對抑制模型「碎碎念」式退化也有直接幫助。

意義

這篇論文的核心貢獻,不是又一個「調參更好」的 PPO 變體,而是揭露了一個此前被廣泛忽視、卻可能潛藏在幾乎所有以 critic 為基礎的 LLM 強化學習方法中的結構性缺陷:即便 critic 在「哪個回應對、哪個回應錯」這種粗粒度上學得不錯,它在「同一個回應內部,價值是怎麼隨推理步驟變化」這種細粒度上,可能完全失靈,而且問題會隨著任務複雜度、狀態空間增大而更嚴重——這對長鏈推理、agentic 任務等場景是個警訊,因為這些場景正是最需要精細功勞分配的地方。

更重要的是,解法出奇地簡單:不需要改動 policy 目標、不需要額外的 rollout 或蒙地卡羅估計成本(VinePPO 等方法為了做精細功勞分配需要對每個中間狀態額外採樣,成本高昂),只需要把 critic 的監督位置從「每個 token」改成「三、四個間隔開的位置」,就能同時緩解變異數懲罰與冗餘梯度兩個病因,且在 4B 與 8B 兩個規模、in-domain 與 OOD 兩套評測上都帶來實打實的個位數到接近 8 個百分點的提升。這也提醒研究社群,在設計 critic 監督方案時,監督的「密度」本身可能是一把雙面刃——密集監督看似資訊更多,實際上可能因為狀態高度相關而互相抵消、拖累訓練,稀疏但精心佈局的監督反而更有效率。這個思路也可能遷移到其他需要序列級信用分配的強化學習場景。

背景

過去兩年，大型語言模型的應用重心逐漸從「單輪問答」轉向「長時間、多步驟的 agent 工作流」。這類 agent 需要不斷把工具輸出、網頁內容、程式碼、對話歷史等資訊塞回 context window，導致輸入端（prefill）的 token 量遠大於輸出端。這帶來一個直接後果：模型的推理成本瓶頸,已經從「生成速度」轉移到「輸入處理的運算量」與「KV cache 的儲存與搬運頻寬」。

KV cache 是 transformer 在自迴歸生成時，把每一層 attention 的 key/value 向量快取起來以避免重算的機制。context 越長、模型層數與 head 數越多，KV cache 就越龐大。它必須長駐在 HBM（高頻寬記憶體）中才能被快速存取，而超長 context（例如百萬 token）的模型還需要把大量歷史 KV 暫存到 SSD 或主機記憶體，再視需要換入 HBM。這個「儲存 + 搬運」雙重負擔，是目前部署百萬 token 級模型最大的成本來源之一，也是各家實驗室在架構層面持續攻堅的方向（例如 Multi-Head Latent Attention、GQA、滑動視窗注意力等）。

DeepSeek-V4.1-Flash 正是在這個脈絡下推出的模型：作為前代 DeepSeek-V4-Flash 的延伸版本，它把目標明確鎖定在「在不犧牲效能的前提下，把 KV cache 壓到前所未有的小」，同時兼顧多模態輸入與長達 100 萬 token 的上下文長度，以服務日益普及的長時程（long-horizon）agent 場景。

方法

DeepSeek-V4.1-Flash 是一個多模態 Mixture-of-Experts（MoE）模型，backbone 總參數量達 552B，但透過稀疏路由，實際運算量遠低於總參數量：decode（生成）階段每個 token 只啟動 16B 參數，prefill（輸入處理）階段更只啟動 8B 參數。這種 prefill 遠低於 decode 的不對稱設計，正是針對「輸入遠多於輸出」的 agentic workload 量身打造——輸入端的每個 token 運算更輕量，大幅壓低長 context 處理的整體算力開銷。

架構上，模型採用作者稱為 Causal Encoder-Decoder（CED）的設計，把傳統純 decoder-only transformer 拆分成職責不同的編碼與解碼部分，讓 prefill 與 decode 可以分別優化參數啟動策略，而不是共用同一套稠密計算路徑。

真正的重頭戲在 KV cache 壓縮，論文提出兩項技術疊加使用：

1. Compressed Sparse Attention 2（CSA2）搭配跨層 KV cache 複用：讓相鄰或相關的 attention 層共享同一份壓縮後的 KV 表示，而不是每層各自保存一份完整 KV，直接砍掉大量重複儲存。
2. FP4 KV caching：把 KV 向量以 4-bit 浮點精度儲存，取代傳統的 FP16/BF16 甚至 INT8，大幅壓縮每個 token 的儲存位元數，同時透過細緻的量化設計把精度損失控制在可接受範圍。

這兩項技術合力，把「常駐 HBM 的全域 KV cache 足跡」壓到每個 token 僅 890 bytes，約為前代 DeepSeek-V4-Flash 的 1/4。

除了 HBM 內的常駐 KV，論文也處理了「持久化 KV cache」（存在 SSD 或主機記憶體、用於長 context 換入換出的部分）。透過一項稱為 SWA Bounded Replay 的部署最佳化技術（結合滑動視窗注意力 SWA 的特性，限制需要重新計算或重播的 KV 範圍），持久化 KV cache 的容量被壓縮到前代模型的約 1/8。

在此基礎上，團隊也對 DeepSeek-V4 的整體架構做了精簡與擴充，加入若干效率取向的架構延伸（論文未逐一列舉細節，但方向與 MoE 路由效率、多模態輸入編碼相關），目標是讓省下的記憶體頻寬轉化為更高的整體吞吐與更低的部署成本。

實驗結果

DeepSeek-V4.1-Flash 在45兆（45T）token 的多模態語料上完成預訓練，並經過完整的後訓練（post-training）流程，涵蓋文字與多模態的 agentic 場景。

最值得注意的結果是「效率與效能同時提升」而非傳統的效率-效能取捨：儘管 KV cache 的兩項關鍵指標——全域（HBM 常駐）足跡降到每 token 890 bytes（前代的 1/4）、持久化（SSD/主機記憶體）足跡降到前代的 1/8——都大幅縮水，模型在下游任務上的表現卻優於採用更大 KV cache 的前代基準模型 DeepSeek-V4-Flash。換句話說，團隊透過架構與量化上的精心設計，讓「更小的快取」不再等同於「更差的長 context 理解能力」。

由於 prefill 只啟動 8B 參數（相較 decode 的 16B），配合 CED 架構，模型在處理長輸入（例如百萬 token 級別的文件、多輪工具呼叫紀錄）時的計算成本顯著低於同等總參數規模、但採用對稱參數啟動設計的模型。這對於需要頻繁「餵入大量上下文再生成少量輸出」的 agent 應用（如程式碼庫問答、長文件摘要、多步驟工具鏈）尤其關鍵，因為這類場景的成本瓶頸幾乎全部集中在 prefill 階段。

意義

DeepSeek-V4.1-Flash 揭示了一個清晰的產業訊號：隨著 agentic AI 的普及，模型競爭的下一個主戰場不再只是「參數規模」或「單一 benchmark 分數」，而是單位 token 的部署成本——包含 HBM 佔用、SSD/記憶體頻寬、以及 prefill 與 decode 各自的算力效率。552B 參數但僅需 8B～16B 實際啟動的設計，加上每 token 890 bytes 的 KV cache，示範了「大模型、小成本」並非空談。

對於需要支援百萬 token 上下文的長時程 agent（例如自動化研究助理、大型程式碼庫維護、多模態文件處理），這種等級的 KV cache 壓縮意味著同樣的硬體集群可以服務更多並發使用者、支撐更長的對話歷史，或是用更便宜的機器達成過去需要高階 HBM 叢集才能做到的長 context 推理。FP4 KV caching 與跨層複用（CSA2）這類技術路線，也可能成為後續其他模型（不論開源或閉源）在架構設計上參考的方向。

更廣義來看，這篇論文延續了 DeepSeek 系列一貫的「架構效率優先」路線——從先前版本的 Multi-Head Latent Attention 到這次的 CSA2 加 FP4 KV cache 加 SWA Bounded Replay，反映出當「參數量堆疊」的邊際效益遞減時，真正決定模型能否大規模落地的，往往是這些看似枯燥卻直接影響推理成本曲線的系統與演算法協同設計。對正在評估自建或選用長上下文模型的團隊而言，KV cache 每 token 的位元組數，可能會逐漸成為與參數量、benchmark 分數同等重要的選型指標。