K1 論文詳解

背景

隨著長時程(long-horizon)AI agent 逐漸普及,模型的工作負載型態也跟著改變:輸入端(prompt、工具回傳結果、長文件)動輒數萬到數十萬 token,遠超過輸出端的長度。這意味著「prefill」(把整段輸入編碼成 KV cache 的階段)成為新的效能瓶頸——即使先前業界已透過稀疏注意力等技巧大幅降低長文本運算成本,prefill 本身仍然很貴,而巨大的 KV cache 更持續佔用 HBM(高頻寬記憶體)與 SSD 容量,並吃掉大量資料搬移頻寬。換句話說,運算、儲存、頻寬三者疊加,構成了目前降低部署成本的最大障礙。

DeepSeek 團隊在這篇論文中提出 DeepSeek-V4.1-Flash,正是針對這個問題而生。它是一個支援多模態輸入、採用 Mixture-of-Experts(MoE)架構的模型,骨幹參數量高達 552B(5520億),同時把上下文長度支援拉到 100 萬(1M)token,鎖定的正是 agent 場景下「輸入極長、需要頻繁呼叫」的工作型態。論文於 2026 年 9 月 17 日提交至 arXiv,是 DeepSeek-V4 系列(V4-Flash)的後續改良版本。

方法

V4.1-Flash 的核心設計是一套名為 Causal Encoder-Decoder(CED)的架構。它把解碼(decode)與預填(prefill)兩個階段的計算量分開設計:在解碼每個 token 時只啟用 16B 參數,而在 prefill 階段(處理輸入、建立 KV cache)則只啟用 8B 參數。由於 agent 工作流通常輸入遠多於輸出,把 prefill 的啟用參數壓到只有解碼的一半,能大幅降低整體運算成本。

在 KV cache 壓縮上,論文提出兩項關鍵技術的組合。第一是 Compressed Sparse Attention 2(CSA2),透過跨層(cross-layer)KV cache 重用機制,讓不同層之間共享部分快取內容,而不必每層都各自儲存一份完整的 KV。第二是 FP4 精度的 KV 快取量化,把原本常見的 FP16/INT8 等格式進一步壓到 4-bit 浮點,顯著減少每個 token 所需的儲存空間。兩者疊加後,常駐於 HBM 的「全域 KV cache」被壓到每 token 僅 890 bytes,大約是前代 DeepSeek-V4-Flash 對應數值的四分之一。

除了顯存端的壓縮,團隊還設計了一套稱為 SWA Bounded Replay 的部署優化技術,專門處理需要長期存放在 SSD 或主機記憶體上的「持久化 KV cache」。這套機制利用 Sliding Window Attention(SWA)的特性,限制需要重放(replay)與保留的快取範圍,把持久化 KV cache 的體積壓到只有 V4-Flash 的約八分之一。除此之外,論文也對 DeepSeek-V4 的整體架構做了簡化(streamline),並加入數項高效率的架構延伸模組,目的是在不犧牲效果的前提下進一步降低推論成本。模型的預訓練語料規模達到 45 兆(45T)token,涵蓋文字與多模態資料,之後再經過完整的後訓練(post-training)流程調校。

實驗結果

論文的核心量化成果集中在 KV cache 體積上:全域(HBM 常駐)KV cache 從基準模型 DeepSeek-V4-Flash 壓縮到約四分之一,持久化(SSD/主機記憶體)KV cache 則壓縮到約八分之一,每 token 的全域快取只需 890 bytes。在參數啟用效率方面,552B 的骨幹模型在解碼時僅動用 16B 參數、prefill 時僅動用 8B 參數,遠低於同量級稠密模型的全參數啟用成本,同時仍支援長達 1M token 的上下文窗口。

論文強調,儘管 KV cache 體積大幅縮小,模型在多種以文字為主與多模態的 agentic 場景測試中,表現仍「顯著優於基準模型」(baseline),也就是 DeepSeek-V4-Flash。這代表壓縮技術並非單純犧牲品質換取效率的取捨,而是透過架構層面的重新設計(CED 分離解碼/預填參數量、CSA2 跨層重用、FP4 量化、SWA Bounded Replay)同時取得效能與成本上的雙重進步。模型 checkpoint 已在 Hugging Face(deepseek-ai/DeepSeek-V4.1-Flash)公開釋出,供社群驗證與部署。

意義

對於正在快速普及的長時程 AI agent 應用而言,這篇論文點出了一個常被忽略卻至關重要的成本結構:輸入端的 prefill 運算與 KV cache 的儲存/搬移,才是壓低推論成本的下一個戰場,而不只是模型輸出速度。DeepSeek-V4.1-Flash 透過把「解碼參數」與「預填參數」拆開設計,再結合跨層快取重用、FP4 極限量化與針對 SWA 的部署層優化,示範了一條在百億甚至千億參數規模下,仍能把百萬 token 級別上下文的服務成本壓低數倍的可行路徑。

更廣泛來看,890 bytes/token 的全域 KV cache 與八分之一的持久化快取體積,意味著同樣一台伺服器可以同時服務更多長上下文請求,或是讓原本受限於 HBM 容量而無法商用化的百萬 token 級服務變得可負擔。隨著 agent 類應用(工具呼叫、多輪任務、長文件分析)持續成長,這類「以架構設計換取記憶體與頻寬效率」的思路,很可能成為下一代開源與閉源大模型競爭的重點方向之一。

背景

近年來,「全模態生成模型」(Omni-Modal Generative Model,簡稱 Omni-Model)成為生成式 AI 的新戰場——這類模型企圖用同一套架構統一處理文字、圖像、影片與音訊,不再是分開訓練的獨立系統。MiniMax-H3 就是這股趨勢的代表作:它在共享的潛在空間(latent space)中,同時具備多模態上下文理解能力與音視頻聯合生成能力,能夠一邊「看懂」輸入的多種訊號,一邊「生出」對應的影音內容。

但這種統一架構帶出一個根本問題:把不同模態對齊、揉進同一個模型裡,究竟有沒有讓模型真正具備對物理世界的推理能力?過去針對影片生成或世界模型(world model)的評測,大多只餵給模型單一模態(通常是文字或圖像提示),而且提示內容往往和目標影片高度重疊,模型幾乎不需要「推理」,只要「複製」提示裡已經給的資訊就能過關。這樣的評測設計,顯然無法檢驗一個真正的全模態模型該有的能力——也就是綜合多種不完整線索、推斷背後事件狀態與後續發展的能力。這篇由 Haoyu Zhao、Zihao Zhao 等十餘位作者共同完成的論文(arXiv:2609.18323,2026 年 9 月 16 日提交),正是為了填補這個空缺而生。

方法

研究團隊設計了一套全新的評測框架,核心理念是:刻意讓「每一種模態只提供片面證據」,逼迫模型必須把不同模態的線索拼在一起,才能推斷出真正發生的事件與接下來會如何發展。整套框架分成四個互補的推理維度,對應四種輸入情境:

1. MSR(多視角空間推理,Multi-view Spatial Reasoning):提供隱含提示搭配多張影格(單張圖像作為額外輸入),測試模型能否在不同視角之間保持空間關係與動作的一致性,共 200 筆測試案例,涵蓋 10 個子類別。
2. ADR(音訊消歧推理,Audio-based Disambiguation Reasoning):同時給圖像與音訊,圖像本身有視覺上的歧義,必須靠聲音線索才能判斷真正發生的事件,共 146 筆案例、6 個子類別。
3. VDR(影片決策推理,Video-based Decision Reasoning):給一段「前綴影片」(prefix-video),要求模型延續觀察到的動態變化,做出合理的後續反應,共 100 筆案例、8 個子類別。
4. AVIR(視聽整合推理,Audiovisual Integrated Reasoning):同時提供影片與音訊(可能包含口語指令),測試模型能否把聽覺證據或語音限制,融入影片的延續或編輯任務中,共 71 筆案例、5 個子類別。

四個維度合計 517 筆評測實例,每一筆都經過設計,確保單一模態不足以解題——這與過去「提示等於答案」的評測方式形成鮮明對比,真正逼近「世界模型是否理解物理因果」的核心問題。

實驗結果

在這 517 筆評測中,MiniMax-H3 的整體成功率是 41.97%,不到一半。細看四個維度的表現差異相當大:

• VDR(影片決策推理)最高,達 56.00%——說明當模型已經看到一段連續的影片動態時,延續合理後續的能力相對較強。
• AVIR(視聽整合推理)為 47.89%,居次。
• MSR(多視角空間推理)為 43.50%,大致貼近整體平均。
• ADR(音訊消歧推理)最弱,只有 27.40%——當模型必須光靠聲音去消除畫面上的歧義時,表現明顯掉隊。

研究團隊的分析指出,「支援多模態輸入」本身並不保證任務能被可靠完成:模型在「音訊落地」(audio grounding,也就是把聲音線索準確對應到具體事件)上特別吃力;此外,即便生成的畫面在視覺上看起來合理、順暢,也不等於真的滿足了任務要求——換句話說,MiniMax-H3 有時候會生成「看起來對、但邏輯不對」的內容,視覺說服力與語意正確性是兩回事。

意義

這篇論文的價值,不在於單純「打分數」,而在於指出了一條被忽視的評測路徑:全模態模型的真正潛力,應該用「跨模態互補推理」而非「單模態複製提示」來檢驗。41.97% 的整體成功率,說明目前最先進的 Omni-Model 距離「理解物理世界」還有相當長的路要走,尤其是在聲音與畫面需要交叉驗證、互相消歧的情境下(ADR 僅 27.40%),模型的弱點暴露得最明顯。

對整個產業而言,這個結果提醒開發者:單純把文字、圖像、影片、音訊塞進同一個共享潛在空間,並不會自動帶來世界知識或因果推理能力的躍升;多模態對齊(multimodal alignment)這件事,做得「表面統一」和做得「深層融合」是兩回事。這也解釋了為什麼近期不少研究開始把重心從「生成畫質好不好看」轉向「生成內容是否符合物理與邏輯常識」。研究團隊已將完整程式碼與評測資料公開在 GitHub(MiniMax-H3-Reason),讓後續研究者可以用同一套基準,持續追蹤 Omni-Model 在物理世界推理上的進步——這類細粒度、抗提示洩漏的評測方法,很可能成為未來 benchmark 設計的新標準,尤其對正在快速迭代的音視頻生成模型與具身智能(embodied AI)研究,都具有直接的參考價值。

背景

近年訓練小模型的主流做法之一是「on-policy distillation」(OPD,同策略蒸餾):讓一個較小的 student 模型自己生成回應,再由一個已經過後訓練(post-trained)的 teacher 模型對這些回應逐 token 打分、提供機率分佈當作學習訊號,藉此把 teacher 的能力蒸餾進 student。這種方法在數學推理、指令遵循等任務上很受歡迎,因為它比純粹模仿 teacher 生成的資料更貼近 student 自身的分佈,理論上訓練效率更高。

但實務上,研究者一再觀察到一個惱人的副作用:student 的回應會越訓練越長,長到甚至把生成長度上限(generation budget)吃滿還停不下來。這不只是浪費運算資源,長度失控往往也伴隨推理品質下降、答案在該結束時反而繼續「碎碎念」。這篇論文的作者鎖定的正是這個「length inflation(長度膨脹)」問題,並提出一個先前很少被注意的根本原因:student 與 teacher 對「什麼時候該停止生成」的認知並不一致——具體來說,是雙方把停止機率押在不同的 EOS(end-of-sequence)標記上。

乍聽之下這很反直覺:像 Qwen3、Llama、Gemma 這類模型家族,通常會明確宣告自己的「停止集合(stopping set)」,例如 <|im_end|>、<eos>、<end_of_turn> 等等,而 base 版與經過後訓練(instruct/chat)版模型理論上應該共享同一套停止集合定義。論文的核心發現是:即便宣告的停止集合完全相同,base student 與後訓練 teacher 實際上把停止機率分配到不同的具體 token 上——這就是「termination-token mismatch(終止標記錯位)」。

方法

研究團隊選了三個具代表性的模型家族做交叉驗證,確保結論不是單一架構的特例:

• Qwen3:student 用 Qwen3-1.7B-Base,teacher 用 Qwen3-4B。
• Llama:student 用 Llama-3.2-3B-Base,teacher 用 Llama-3.2-3B-Instruct。
• Gemma:student 用 Gemma-3-4B-PT(pretrain),teacher 用 Gemma-3-4B-IT(instruction-tuned)。

實驗設計上,每次訓練跑 200 步(K2-Horizon 的實驗因為要涵蓋更早期的訓練階段,拉長到 400 步),每一步從 16 個 prompt 各採樣 4 條回應,共 64 條軌跡(trajectories),每 20 步存一次 checkpoint 以便做逐階段分析,學習率固定為 1×10⁻⁶。訓練時的生成長度上限設為 7,168 tokens,評估時放寬到 8,192 tokens。

作者首先驗證問題本身:量測 student 在自己偏好的 EOS 位置上,teacher 賦予的機率是多少,以及反過來 student 對 teacher 偏好的 EOS token 賦予多少機率。結果發現在 Qwen3 案例中,student 對 teacher 偏好的終止 token 給出的機率低到約 10⁻¹¹ 這種天文數字級的小——也就是說,即便 OPD 訓練訊號理論上會把 student 推向 teacher 的分佈,student 卻幾乎不可能自然地學會在正確的位置停下來,因為那個「正確位置」對它來說根本是機率盆地裡的死角。

接著作者測試了兩種修正手段。第一種是最直覺的做法——「對齊解碼停止集合(decoding stopping set alignment)」,也就是簡單地讓 student 和 teacher 在解碼時共用同一組停止 token 白名單。但論文發現這遠遠不夠:單純對齊停止集合只是抑制了 student 原本偏好的終止動作,卻沒有可靠地把 teacher 偏好的替代終止動作「轉移」過去——結果變成兩頭空,student 兩種終止訊號都學不好,長度膨脹依然發生。

第二種、也是論文主推的方法,是把功能上等價的多個 EOS token 視為同一個「語義停止動作(shared semantic stopping action)」,而不是分開計算的獨立 token。換句話說,不管 teacher 或 student 具體把機率押在 <|im_end|> 還是 <eos> 上,只要這些 token 在語義上都代表「回答結束」,就把它們的機率合併成一個統一的停止訊號來做蒸餾對齊。這個做法(論文中稱為 Fix 3 之類的修正)在三個模型家族上都顯著緩解了因終止標記錯位造成的長度膨脹。

為了進一步理解終止行為如何隨訓練演變,作者額外分析了 K2-Horizon(一個 7B 規模模型)在不同訓練階段——pretraining、midtraining、SFT、以及最終後訓練——的 checkpoint,觀察 OPD 在各階段的長度動態差異。

實驗結果

在數學推理基準 AMC23(40 題)、AIME24(30 題)、AIME25(30 題)上,以 Avg@16(每題採樣 16 次回應取平均正確率)作為評測指標,論文呈現的量化結果包括:

• 未修正的 vanilla OPD:訓練過程中 student 回應長度持續攀升,到訓練後期「clipping ratio」(回應長度撞到生成上限 7,168 tokens 而被截斷的比例)逼近相當嚴重的水準,代表大量回應根本沒有自然終止,而是被硬性砍斷。
• 僅對齊停止集合:此法未能有效解決問題,長度膨脹依然存在,印證了作者「對齊集合但沒轉移偏好」的假說。
• 語義 EOS 聚合(Fix 3)修正後:以 Qwen3 為例,回應長度明顯貼近 teacher 的參考長度,不再持續膨脹;不過三個家族的終止機率恢復速度不一——Qwen3 恢復得很快,Llama 與 Gemma 則是漸進式的緩慢恢復。
• 對已對齊模型的影響:當這個修正被套用在 termination token 本來就已經對齊的 midtraining/SFT checkpoint 上時,效果「幾乎沒有作用(largely inert)」——這反而是個好消息,說明修正是有針對性的,不會對本來沒問題的情況造成副作用。
• K2-Horizon 階段性分析:不同訓練階段(pretraining → midtraining → SFT → 後訓練)的終止偏好會出現顯著漂移,而且在 OPD 訓練跑到後期時,即便套用了終止對齊修正,仍然觀察到一種獨立於終止錯位之外的長度膨脹現象——這意味著終止標記錯位雖然是重要成因,但並非唯一成因。

意義

這篇論文的價值在於把一個長期被當作「玄學調參問題」的現象——蒸餾出來的模型莫名其妙越說越長——拆解出一個具體、可驗證、也可修正的機制:base 模型與 post-trained 模型即便共享同一套 tokenizer 與宣告一致的停止集合,實際的終止機率分佈仍可能天差地遠,而這種錯位會在 OPD 訓練中被放大成生成長度失控。這對所有正在用 RLHF、蒸餾等方式對齊 base 模型的團隊都有直接的工程意義:光是核對停止 token 的「集合是否一致」是不夠的,必須進一步確認機率質量是否真的能在對應的語義動作之間轉移。

更重要的是,論文誠實地指出這不是萬靈丹——K2-Horizon 的階段性實驗顯示,即使解決了終止標記錯位,OPD 訓練後期仍會出現另一種長度膨脹,暗示背後可能還有獎勵稀疏性、長回應本身在採樣中被過度加權,或是訓練後期 policy 漂移等其他機制在起作用,留給後續研究更多可以深挖的方向。作者也釋出了包含終止處理修正的實作,讓社群可以直接在自己的 OPD pipeline 中套用這套語義 EOS 聚合方法,對於任何用小模型蒸餾大模型能力、又受限於推理算力預算(因此格外在意回應長度)的場景,都是一個立即可用、成本很低的實務改善手段。