K1 論文詳解

背景

近年大型語言模型靠「拉長思考鏈」(chain-of-thought)在數學、程式、科學推理等任務上突飛猛進——像 Qwen3、Phi-4-reasoning 這類模型,遇到困難題目時往往會產生數千甚至上萬個 token 的內部推理過程才給出答案。但這種「邊想邊寫」的模式有一個代價很高的副作用:KV cache(存放每個已生成 token 的 key/value 向量,供注意力機制查詢用)會隨推理長度線性膨脹,很快就變成推理服務中最吃記憶體的部分,直接限制了可同時服務的併發請求數與吞吐量。

為了解決這個瓶頸,過去幾年學界提出了大量「KV cache 淘汰(eviction)」演算法,例如 SnapKV、H2O、StreamingLLM、R-KV、TriAttention、VaSE 等。這些方法雖然細節各異,但幾乎都遵循同一套範式:針對快取中的每個 token,用某種分數(例如過去注意力權重的統計量、與當前 query 的相似度等)估計它「未來還會不會被用到」,然後只保留分數最高的一批 token,把其餘的丟棄。這個範式背後有個沒有被真正驗證過的假設——選擇分數是有效的、能挑出真正重要的 token。

由 Salesforce AI Research 團隊(Heng Wang、Jielin Qiu、Wenting Zhao 等人,2026 年 9 月發表於 arXiv,編號 2609.03430)所做的這篇研究,直接對這個假設提出質疑:如果把「算分數挑 token」整個步驟拿掉,改成在每個注意力頭(attention head)內部完全隨機丟棄 token,結果會怎樣?他們把這個極簡方法稱為 Random Attention。

方法

Random Attention 的設計刻意做到「幾乎沒有方法」:

1. 保留 prompt(輸入提示):完整保留使用者輸入的原始提示部分的 KV cache,不做任何淘汰。
2. 在推理軌跡(reasoning trace)中均勻隨機淘汰:對於模型自己生成的推理過程,不計算任何重要性分數,而是在每個注意力頭內部,按照固定的快取預算(budget)均勻隨機抽樣保留一部分 token,其餘直接丟棄。
3. 不同注意力頭獨立抽樣:由於各頭的隨機抽樣互相獨立,同一段推理內容有機會在不同頭裡各自留下不同的「隨機副本」。

研究團隊把快取預算設定在「大約壓縮到原本推理軌跡長度的 4 倍(LiveCodeBench 約 3 倍)」,依任務不同每個頭的 token 預算 K 落在 1024–4096 之間,與主流淘汰方法的實驗設定一致,確保比較公平。

為了搞清楚「為什麼隨機也行」,作者做了兩組關鍵的控制實驗:

• Prompt 保護消融實驗:把所有基準方法(SnapKV、R-KV 等)都額外加上「強制保留 prompt」的規則,結果發現原本方法之間的效能差距大幅縮小——SnapKV 在加上 prompt 保護後準確率最多提升 22.5 個百分點,顯示各家方法過去的表現差異,有很大一部分其實只是「該方法的分數機制是否恰好保住了 prompt」,而不是分數本身有多聰明。
• 「埋設事實」探針實驗(planted-fact probe):研究者在推理軌跡中人為植入需要被記住的關鍵事實,觀察它在不同注意力頭間的分布情形。結果顯示:如果一個事實只被一個頭保留下來,它幾乎不會被後續正確提取利用;但只要有好幾個頭各自保留了一份副本,幾乎必定能被成功取用。這證明了推理軌跡存在「跨頭冗餘」——模型會在生成過程中不斷用文字重述自己還需要的資訊(文字層級冗餘),同時這些訊息也會被多個注意力頭各自複製保存(結構層級冗餘)。

正是這兩層冗餘,讓「隨機丟棄」也能大機率留下至少一份關鍵資訊的副本,完全不需要計算分數去精準挑選。

實驗結果

研究團隊在四個模型(Qwen3-4B、Qwen3-14B、Qwen3-32B、Phi-4-reasoning-14B)與六個推理任務/基準(MATH500 共 500 題、GPQA-Diamond 共 198 題、AIME 2025 & 2026 合併共 60 題、HMMT 共 60 題、LiveCodeBench-v6 medium 共 383 題,以及一項科學/程式綜合推理任務)上,將 Random Attention 與 SnapKV、R-KV、VaSE、TriAttention、StreamingLLM 等五種主流淘汰方法,以及一個「recency+prompt」診斷性基準做比較。

準確率方面,Random Attention 在多數任務上都能追平甚至略勝過去表現最好的方法。例如在 MATH500(Qwen3-4B)上,Random Attention 得到 0.874,優於當前最強基準 TriAttention 的 0.864;在 GPQA-Diamond(Phi-4-reasoning)上則是 0.678 對 0.684,幾乎打平。整體而言,六個任務、四個模型的組合中,Random Attention 的表現都落在最強基準的誤差範圍內,而不需要做任何額外的分數計算。

效能方面的差異則相當顯著:在 vLLM 部署環境下,針對 32K token 長度的生成任務,Random Attention 的吞吐量比表現最強的 TriAttention 高出 32–43%,相對於完整保留全部 KV cache(full attention)的基準,吞吐量提升可達 1.58–2.67 倍。這個差距的來源很直觀:分數式方法(如 TriAttention、SnapKV)每一步都要額外計算並排序 token 重要性分數,這在計算圖和記憶體存取上都有不小開銷;而 Random Attention 完全跳過這一步,只需一次隨機抽樣操作,因此在同等記憶體預算下能服務更多並發請求、達到更高吞吐量。

意義

這篇論文的價值不在於提出了一個「更強」的 KV cache 壓縮演算法,而在於它動搖了整個領域過去幾年的隱含假設:精心設計的重要性評分機制,是取捨快取內容不可或缺的關鍵。作者的控制實驗顯示,過去各家方法之間看似有意義的效能差距,很大程度上只是「有沒有意外保住 prompt」的差異;而推理軌跡本身因為模型會不斷自我複述、加上多頭注意力天然的冗餘結構,即使隨機丟棄大部分內容,也大機率留下足夠的關鍵資訊副本。

對從業者而言,這意味著在生產環境部署長鏈推理模型時,與其投入工程資源去實作、維護複雜的逐 token 評分邏輯(這些邏輯往往還需要額外的計算開銷、且難以在 vLLM 等高吞吐服務框架中高效實現),不如採用「保留 prompt + 頭內隨機淘汰」這種近乎零開銷的策略,換取 32–43% 的吞吐量提升,而準確率幾乎不受影響。這對於需要大規模服務長推理鏈模型(如數學競賽解題、程式生成、科學問答代理)的公司來說,是直接可落地、能顯著降低服務成本的發現。

更廣義地看,這項研究也提醒研究社群:在设计資源受限下的模型優化方法時,應該先用簡單的隨機基準(random baseline)去檢驗「看似聰明的機制」到底貢獻了多少價值——很多時候,真正起作用的可能是模型自身的內在冗餘與魯棒性,而不是我們外加的啟發式規則。作者已將程式碼公開於 GitHub(SalesforceAIResearch/Random-Attention),方便後續研究者驗證與延伸這一發現。

背景

大型語言模型（LLM）部署後往往需要不斷「後訓練」（post-training）來跟上新領域、新工具與新需求，例如金融推理、text-to-SQL 或 function calling 等專門能力。近年出現的「自主後訓練系統」試圖把這個流程自動化：系統自己提出更新方案、訓練候選模型、依評估結果決定要不要採用，再據此提出下一輪更新建議。

這類系統運作久了會累積大量「過去的更新證據」——某次調整在某個模型版本上帶來了進步。問題是，模型的父權重（parent model）在每一輪訓練後都會改變，一個曾經有效的更新，換了新的父模型、新的資料組合或新的訓練階段，效果可能完全不同。如果系統把「過去成功過」直接當作「現在也能用」的免死金牌，不僅會浪費運算資源去訓練注定失敗的候選，更糟的是，一旦這個不合適的候選被誤判為「更好」而被採用（promote），還會污染後續整個訓練軌跡，讓後面的自主決策越走越偏。作者將這個問題正式定義為「條件式經驗遷移」（conditional experience transfer），並提出解法 BCIT（Boundary-Calibrated Intervention Transfer，邊界校準式介入遷移）。

方法

BCIT 的核心精神是：任何「經驗授權」（即允許複用某個過去被驗證過的更新）都必須發生在真正啟動、耗費大量算力的權重訓練之前，而不是訓練完再看結果。具體機制包含四步：

1. 綁定情境（context binding）：把觀察到的效果與其來源情境（父模型、資料、訓練階段）綁定，而非當作放諸四海皆準的通則。
2. 檢查適用條件：驗證這些綁定條件在當前狀態下是否依然成立。
3. 硬衝突否決：一旦偵測到明確列名的「硬衝突」（hard conflicts），直接否決該候選，不再進一步嘗試。
4. 有界試驗取得現況證據：當條件無法單靠既有證據判斷時，用一次「有界」（bounded，即低成本、限定預算）的訓練試跑取得當下狀態的實際證據，再決定是否放行進入完整訓練。

關鍵的技術細節在於證據強度的合併方式：BCIT 把「源頭證據強度」（S_i）與「當前相容性」（A_i）用相乘而非相加的方式結合。這樣設計是為了避免「歷史證據很強」蓋過「當前相容性很差」的情況——用加法的話，一個曾經表現極好的更新，即便現在明顯不合適，也可能因為歷史分數太高而被誤放行；用乘法則保證只要當前相容性趨近於零，整體授權分數也會趨近於零。完整訓練完成的候選仍要通過一套共用的「採用規則」（adoption rule）才能真正取代原模型，且系統只用「實際觀察到的事件」來擴充記憶庫，避免憑空推論污染經驗庫。

實驗以一個 40 億參數（4B）的 Qwen3-4B 模型為主體，來源任務為 FinQA、Spider、xLAM（分別對應金融推理、text-to-SQL、function calling 的訓練資料），目標評測則是 TAT-QA（金融推理）、BIRD（text-to-SQL）、BFCL（function calling），並額外用 IFEval 檢驗模型的指令遵循能力是否被破壞（即「保留」retention 指標）。對照組是名為 Flat-Additive 的基線方法，也就是把證據強度直接相加、不做邊界校準的傳統做法。

實驗結果

論文分四個研究問題（RQ）驗證 BCIT：

• RQ1（遷移異質性）：在 24 組配對的候選-情境組合中，只有 11 組更新真的改善了目標任務指標；而這 11 組裡，僅 3 組同時維持住兩項保留指標不退化。換句話說，超過一半的「歷史成功經驗」拿到新情境下複用時其實是無效甚至有害的，證實了「經驗遷移必須看情境」的核心假設。整體結果分佈為 10 個有益、8 個有害、6 個中性。

• RQ2（授權品質）：面對同樣 8 個「有害」候選，BCIT 只放行了 2 個，而 Flat-Additive 基線放行了 5 個；同時面對 10 個「有益」候選，BCIT 保留了 9 個，優於 Flat-Additive 的 8 個。也就是說 BCIT 在「擋下壞更新」上明顯更嚴格，但幾乎沒有錯殺好更新。

• RQ3（驗證保真度）：只用 20% 訓練預算的「短跑」試驗，其判斷方向與完整訓練後的真實結果一致率達 83.3%（Spearman ρ=0.72），識別「有益」結果的精確率（precision）達 80%，顯示低成本的有界試驗足以作為授權依據，不必每次都跑完整訓練才知道好壞。

• RQ4（端到端表現）：在六組「算力預算相同」（皆為 36 GPU-hour）的完整實驗中，BCIT 相較 Flat-Additive 基線取得跨任務平均 +2.63 個百分點的最終品質提升（95% 信賴區間 [2.10, 3.16]，符號檢定 p=0.03125），且在三個子任務上全面領先：TAT-QA 上 +2.48pp、BIRD 上 +3.04pp、BFCL 上 +2.37pp。

論文也坦承目前限制：僅在單一 4B 規模模型與三種目標能力上驗證，適用邊界目前是人工設定而非自動學習，且驗證試跑與正式訓練之間的算力取捨在更大規模模型或不同資料分布下是否仍然成立，仍待進一步研究。

意義

這篇論文點出一個容易被忽略、但隨著自主 AI 開發流程普及會越來越重要的問題：在「AI 自己決定怎麼訓練自己」的系統裡，光是把過去有效的做法照搬套用是不夠的，甚至可能有害。這其實呼應了機器學習裡「概念飄移」（concept drift）的老問題——模型的父權重每經過一輪訓練都已經是「新模型」，舊經驗的適用範圍必須被重新校準，而不能無條件繼承。

實務意義上，BCIT 提供了一個相對輕量、可落地的做法：在真正投入昂貴的完整訓練之前，用低成本的「有界試跑」先驗證證據是否依然成立，並用乘法而非加法合併新舊證據，這種設計思路可以延伸到任何需要「持續適應」的自動化系統，例如自動化 prompt 優化、agent 工具鏈的自我改進、甚至強化學習中的策略庫複用。在相同的 GPU 預算下換得 2-3 個百分點的穩定提升，對於需要頻繁迭代、成本敏感的產業應用（如企業客製化金融或資料庫助理）而言，代表著同樣的硬體投入能榨出更可靠的模型品質。更廣義地看，這項工作提醒我們：讓 AI 系統自主疊代時，「知道何時不該相信過去的自己」本身應該被當作一個獨立的、需要專門機制去解決的問題，而不是訓練流程裡順帶處理的小細節。

背景

當今的大型語言模型(LLM)在處理長對話歷史或長文件時,常常受限於 context window 大小與推論成本。業界慣用的兩種壓縮方案各有明顯瓶頸:一種是把過去的對話「摘要」成人類可讀的文字,再把摘要塞回 prompt;另一種是把文字渲染成圖片,交給視覺語言模型(VLM)透過 OCR 重新辨識回文字。這兩種做法有個共同的邏輯缺陷——即使最終的「消費者」是機器(語言模型本身),資訊卻仍被硬編碼成人類可讀的中介格式(文字或影像),模型必須先把它「解碼」回文字才能使用。這個解碼過程不僅浪費運算資源,還會在轉換中遺失細節:摘要會壓縮掉重要的具體細節,OCR 重建則可能因辨識錯誤而失真。

來自 Zhengze Zhou 與 Hejian Sang 的這篇論文(arXiv:2609.01507,2026 年 9 月 1 日提交)提出了一個直觀但少有人系統化驗證的想法:既然最終讀者是語言模型,為什麼不乾脆讓壓縮後的表示直接是模型看得懂的「連續向量」(continuous embeddings),完全跳過文字或影像這層人類可讀的中介?這正是 LatentPress 的核心命題——建立一種「機器對機器」(machine-facing)的上下文介面,而非「人對機器」的介面。

方法

LatentPress 把上下文處理拆成「寫入(Write)」與「讀取(Read)」兩個操作。寫入端由一個小型的 writer(壓縮器)負責,把原始對話或文件的文字,壓縮成一組連續的「記憶符記」(memory tokens)向量;讀取端則是一個完全凍結(frozen)、參數不更新的 decoder,直接把這些連續向量當作 input embeddings 讀入,不需要任何文字重建步驟。

具體實作上,writer 直接複用凍結 decoder 最底層的兩層 transformer layer,外加一個以「恆等映射」(identity-initialized)方式初始化的可訓練線性 adapter。這個設計的巧妙之處在於:整個系統只需訓練這個 adapter,參數量僅 4.2M–26.2M,約為 decoder 總參數量的 0.1%,其餘的模型權重完全不動。訓練資料只用了 2,000 筆 UltraChat 對話(純文字,沒有標註 QA),損失函數結合重建損失(reconstruction loss)與前向 KL 散度(forward-KL),目的是讓壓縮後的表示在讀取時盡量模仿「看到完整原始上下文」時的行為分佈。優化器採用 AdamW,學習率 1×10⁻⁴,僅訓練 1,000 步。

壓縮率的分配策略也做了區分:對於多輪對話,採用「角色感知」(role-based)排程——使用者(user)的發言保持不壓縮,而助理(assistant)的回覆則以 k∈{8, 16, 32} 的池化(pooling)比例壓縮;對於長文件,則採用均勻池化(uniform pooling)。整體壓縮倍率落在 4–16 倍之間。

論文在四項消融實驗中驗證了設計選擇:(1)凍結借用的 encoder 層,比微調它效果更好,在各壓縮率下準確率高出 0.018–0.066;(2)相較於單純用池化嵌入,學習型 writer 在 4.62 倍壓縮下多帶來 0.151 的準確率提升,說明光靠角色結構分配是不夠的,「學習」本身才是關鍵;(3)角色感知排程比均勻池化在相同壓縮率下高出 0.34–0.45;(4)跨領域遷移在 4 倍壓縮時表現良好,但在激進的 16 倍壓縮下明顯衰退。

實驗結果

論文在兩個代表性 benchmark 上做了評測。第一個是 LongMemEval(長期對話記憶問答):LatentPress 在 7.70 倍壓縮率下達到 0.504 的準確率,竟然超越了「完全不壓縮、直接餵入原始證據」的 0.490 基準——這意味著壓縮後的表示不只是省資源,某種程度上還過濾掉了雜訊、幫助模型更聚焦。相比之下,傳統文字摘要方法只有 0.184 準確率,基於 OCR 的視覺壓縮方法則在 0.426 到 0.312 之間(隨壓縮率提高而快速衰退)。也就是說,LatentPress 大幅超越兩種既有壓縮範式。

第二個 benchmark 是 LongBench-QA(長文件問答)。在 in-domain(訓練與測試同分佈)情境下,LatentPress 的 writer 在 4–8 倍壓縮時表現與讀原始全文相當甚至更好;以 Qwen2.5-14B 為例,4 倍壓縮下得分 57.99,高於不壓縮基準的 47.93。但當壓縮率推到 16 倍時,效果開始落後於原始上下文,顯示壓縮存在實用上限,超過某個閾值後資訊損失無法避免。

論文也驗證了兩種遷移(transfer)情境:一是從 UltraChat(訓練資料)零樣本遷移到 LongMemEval 的記憶問答任務;二是從 LongMemEval 衍生出的 QA 遷移到 LongBench 中從未見過的文件領域。結果顯示在溫和壓縮率(4 倍)下遷移穩健,但激進壓縮下跨領域泛化能力會下降。

效率方面的數字同樣亮眼:寫入(壓縮)一段對話僅需 43 毫秒,比文字摘要或 OCR 重建快了近一個數量級(8–22 倍);讀取階段比讀原始上下文或快取的 OCR 結果快 5–9 倍;在 LongBench 的端到端測試中,整體 wall-clock 時間比冷快取(cold-cache)的 DeepSeek-OCR 方案快 6–13.7 倍。實驗涵蓋的模型規模包括 Qwen2.5-7B、Qwen3-8B、Qwen3-1.7B 以及用於 LongBench 實驗的 Qwen2.5-14B,顯示此方法在不同模型量級上都具備可行性。

意義

LatentPress 最重要的貢獻,並非又一種更強的壓縮演算法,而是提出並驗證了一種全新的「上下文介面」範式:當上下文的最終消費者是語言模型本身時,資訊不必經過「人類可讀」這一層轉譯。這打破了長期以來預設「壓縮 = 摘要文字」或「壓縮 = 渲染成圖再 OCR」的思維定式,轉而主張直接用模型的原生語言——連續向量嵌入——來傳遞資訊。

從工程角度看,這個方法的吸引力在於「輕量可插拔」:只需訓練佔比 0.1% 的 adapter,就能讓一個完全凍結、無需重新訓練的 decoder 獲得高效讀取壓縮上下文的能力,對於已經上線的大型模型服務而言,遷移成本極低。同時,在準確率不犧牲甚至提升的前提下,換來數量級的速度提升(寫入快 8–22 倍,端到端快 6–13.7 倍),這對於需要長期記憶、多輪對話或大量文件檢索的應用(如客服機器人、RAG 系統、個人助理)有直接的實用價值——既能延長有效記憶視窗,又能大幅降低推論延遲與運算成本。

當然,論文也誠實指出限制:16 倍以上的激進壓縮會出現格式錯位、資訊遺失等失敗模式,且跨領域遷移穩健性隨壓縮率提高而下降。作者認為下一步的關鍵方向是「動態壓縮率分配」——目前的角色/位置排程仍是人工設計的簡單啟發式,而論文觀察到「不同 token 位置對答案的貢獻程度差異很大」,若能讓模型自動學習每個片段該分配多少壓縮預算,理論上還能把可用壓縮率再往上推。整體而言,這篇論文為「機器對機器」的上下文表示打開了一扇門,也為未來長上下文 LLM 系統的記憶架構設計提供了一個值得跟進的新方向。