K1 論文詳解

背景

企業與開發者在部署大型語言模型(LLM)時,長期面臨一個現實的兩難:沒有任何一個模型能在所有查詢類型與預算限制下都表現最佳。像 DeepSeek 這類超大型模型(671B 參數)雖然品質頂尖,但推論成本高昂;而輕量模型雖便宜,卻可能在複雜推理任務上失準。因此「模型路由」(model routing)——即根據每個查詢動態挑選最合適模型的技術——成為兼顧品質與成本的關鍵手段。

問題是,現有的路由器(router)研究彼此使用不同的形式化定義、不同的訓練資料、不同的評測方式,導致學界難以公平比較各種方法的優劣,也難以在新任務上快速擴展。由 Tao Feng、Jiaxuan You 等人(2026 年 8 月發表於 arXiv,編號 2608.06867)組成的團隊,便針對這個「各做各的」亂象,提出一套統一的路由形式化框架,並打造對應的開源基礎設施 LLMRouter,搭配全新 benchmark——xRouteBench。

方法

論文將 LLM 路由重新定義為一個「序列決策過程」(sequential decision process),並拆解成五個核心元件:

1. Context Encoders(情境編碼器,E_q):將查詢與對話狀態轉換成決策相關的表徵,可以是句子嵌入,也可以是保留自然語言的文字表示。
2. Model Encoders(模型編碼器,E_m):描述候選模型的特徵,可用靜態metadata、歷史表現紀錄、學習到的嵌入向量,或直接用文字描述模型特性。
3. Scoring Functions(評分函數,g):衡量情境與候選模型之間的相容度,方法從嵌入相似度、分類頭(classification head),到在「查詢-模型」圖上做訊息傳遞(message passing)都有。
4. Decision Rules(決策規則,d):把分數轉換成實際的路由動作,多數用貪婪選擇(greedy),部分成本敏感的變體會設定品質差距門檻,或用取樣做探索。
5. Learning Signals(學習訊號,ℒ):決定各元件如何朝「品質-成本」目標優化,涵蓋非參數方法、基於正確性標籤的監督式學習、偏好學習,以及強化學習。

基於這套統一formulation,團隊打造了自動化資料建構管線,產出 xRouteBench——涵蓋 4,767 筆測試樣本,分成五大任務軌:通用 LLM 任務(知識問答、數學推理、程式生成)、記憶增強任務(長對話上下文問答)、視覺任務(圖像推理、第一人稱視角影片理解)、時間序列任務(結合文字與圖像雙重編碼的時序推理),以及個人化任務(基於使用者人設的開放式提問)。所有任務共用同一套查詢格式(query schema)、監督格式與評測協定,確保跨任務比較的一致性。

LLMRouter 本身則是一套模組化系統,包含資料引擎、路由器函式庫、訓練器、路由引擎、評測模組與部署模組六大部分,實作了超過 16 種代表性路由器,分屬三大家族:單輪路由(kNNRouter、SVMRouter、MLPRouter、EloRouter、MFRouter、RouterDC、Hybrid LLM、AutoMix、GraphRouter 等)、多輪路由(Router-R1 及其變體)、以及個人化路由(GMTRouter、PersonalizedRouter)。候選模型池涵蓋 18 個開權重模型,參數量從 7B 到 671B,包括 Gemma、Mistral、Qwen、Llama 與 DeepSeek 系列,讓研究者只需改設定檔就能切換組合,不必重新實作。

實驗結果

在以品質優先的設定下,GraphRouter 在五大任務軌的平均表現最佳,達 45.46%;若只看通用 LLM 任務,RouterDC 表現最突出,達 80.56%,SVMRouter 的整體平均則為 45.10%。相對地,多輪路由方法明顯落後,Router-R1 平均僅 22.30%,論文分析認為「額外的對話輪次反而引入了冗餘資訊與計算負擔」。

在成本效益權衡的分析中,最核心的發現是:學習型路由器相對於「最強的單一固定模型基準」有 14.6% 的相對提升;若不做任何路由,永遠選擇最大的 671B 模型,平均表現只有 38.72%,卻要付出最高的推論成本。研究也發現,當成本權重改變時,各路由器的排名會劇烈變動——沒有任何一種路由器能在所有成本-品質權衡點上都保持最優,這意味著「輕量路由器在預算緊縮時反而更具競爭力」。

個人化路由方面,GMTRouter 在人設判斷準確率(persona-judge accuracy)上達 68.78%,優於最佳非個人化方法 EloRouter 的 66.40%。團隊也做了真實世界的部署測試:在一個 Slack 使用者研究(15 位使用者、234 筆偏好紀錄)中,PersonalizedRouter 與人類偏好的一致率達 83.05%,居冠;在多智能體(multi-agent)協作場景中,MFRouter 在五種協作拓撲下平均達 76.48%,顯著優於固定使用最大模型的基準(71.48%)。

意義

這篇論文的價值不只在於提出又一個路由演算法,而是把整個「LLM 路由」這個研究方向,從一堆互不相容的individual實作,統整成一套可比較、可擴展的科學框架。五元件formulation讓研究者能清楚定位自己方法的創新點究竟落在哪個環節(是編碼方式?評分函數?還是學習訊號?),而 xRouteBench 涵蓋文字、視覺、時序、多輪對話與個人化五大場景,補上了過去 benchmark 只測單輪文字任務的盲點。

對實務工程師而言,14.6% 的相對品質提升、以及輕量路由器在低成本場景下更具優勢的發現,直接說明了一件事:與其一味升級到更大更貴的模型,不如投資一套動態路由層,依查詢難度分流。而個人化路由與多智能體場景中路由器的優勢(分別達到 68.78% 與 76.48% 的表現),也預示著未來 LLM 產品架構會朝「一個系統、多個模型、智慧調度」的方向演進,而非單靠一個巨無霸模型包山包海。LLMRouter 開源釋出後,有望成為業界與學界快速迭代路由策略的共同基礎設施,類似於 Hugging Face Transformers 對模型生態系的角色。

背景

近年來，能讓使用者即時操控鏡頭、持續探索虛擬場景的「互動式世界模型」（interactive world model）成為生成式影片研究的熱點，例如遊戲式的世界模擬器。但這類系統面臨三個互相衝突的需求：要記得住場景（persistent memory）、要能即時回應操作（low-latency interaction），還要能撐得夠久（long-horizon generation）。

問題出在現有做法的兩個核心限制。第一，如果把歷史畫面全部塞進 denoiser 的 context 或 KV cache 裡，記憶體與運算量會隨著會話時間線性甚至更快增長，逼得系統只能在「session 長度」與「記住多少」之間二選一——記太多就跑不動，跑得動就會忘記十秒前經過的房間長什麼樣。第二，為了即時互動，業界普遍採用「few-step」的少步數生成（例如三步去噪），但這類快速學生模型的能力天花板，完全取決於教它的「teacher」模型本身的能力——如果 teacher 只在短窗口（例如幾秒鐘）內做監督，學生自然也只學會短期內看起來合理、長期卻會「漂移」走樣的生成方式。

由字節跳動旗下研究團隊（Yuanyang Yin、Gongxuan Wang 等，論文編號 arXiv:2608.13546）提出的 Evoke，正是針對這兩個問題同時下手：一方面把場景幾何資訊「外部化」，不再靠拉長 context 硬撐記憶；另一方面重新設計 teacher，讓它能在長達 30 秒的範圍內進行監督，而不是被自己的短視野所限制。

方法

Evoke 的核心設計分成兩塊。

外部世界狀態庫（world state bank）：系統不再把所有歷史畫面塞進去噪網路的 context，而是用「相機索引」的方式把已經觀察過的場景幾何存在一個外部資料庫中。當攝影機重新轉回某個先前看過的角落時，系統會把該處過去觀測到的表面「渲染」回目前畫面，當作像素空間的條件輸入（pixel-space conditioning）。這樣一來，denoiser 內部只需保留約 3.2 秒左右的近期歷史，卻能透過相機姿態存取長達 90 秒的幾何記憶，讓 context 大小不會隨 session 拉長而膨脹。

長程監督的 teacher 重新設計：Evoke 的 teacher 建立在 14B 參數的 Wan2.2 之上，採用一種混合式稀疏注意力：把序列切成一個個 chunk，每個 chunk 只關注鄰近、有一幀重疊的局部窗口（chunk-wise grouping）；再額外檢索少量「距離較遠但重要」的歷史幀（retrieval of selected distant frames）；最後疊加一層 gated 線性注意力（linear-attention global state）持續累積全局資訊。三者組合讓運算複雜度從二次方降為線性成長，使得 teacher 能夠在長達 30 秒的範圍內做監督，同時暴露出那些「短窗口內看似合理、長期卻會走樣」的內容漂移問題。

有了這樣的 teacher，Evoke 用一個「30 秒分佈匹配（distribution-matching）」目標，在自我強制（self-forced）rollout（189 個 latent frames）下，把 teacher 的長程一致性與逐段（per-chunk）文字條件控制能力，一併蒸餾進一個三步（three-step）學生模型。這個學生完全不使用 classifier-free guidance，且各 chunk 之間的歷史會被「detach」以限制活化記憶體，同時仍保留整個 30 秒視窗的監督訊號。訓練流程分為相機控制訓練、少步數蒸餾、長程分佈匹配、後蒸餾延續四個階段，資料使用 Sekai 影片資料集加上內部影片，深度資訊則靠單目深度估計模型把 2D 觀測提升到 3D 空間。

實驗結果

效能方面，Evoke 在單張 H200 GPU、384×640 解析度下，每個 1.5 秒的影片 chunk 僅需 2.11 秒生成（三步去噪），其中約 1.84 秒是幾何記憶查詢與渲染的額外開銷，且此開銷會隨畫面可見範圍而非 session 長度變化——也就是說,無論生成到第幾分鐘，速度都不會變慢。論文展示了長達 65.5 分鐘的穩定連續生成，context 大小與運算量始終維持不變。

在標準評測上，Evoke 在專為導航式世界模型設計的 WBench 上拿下平均 80.8 分，排名第一；在 VBench-2.0 上取得 66.77 分，同樣第一；在偏重長影片一致性的 VBench-Long 上取得 85.11 分，位居十個對比模型中的第七名——雖非第一，但作為一個「三步」極速學生模型仍屬有競爭力的表現，證明速度與長程品質並非完全互斥。

意義

Evoke 的價值在於它同時解開了互動式世界模型長期以來的兩個死結：與其死守「context 越長記憶越好」的直覺，它示範了把幾何記憶外部化、按相機視角檢索取用,是比硬塞歷史更有效率的做法；而把 teacher 從「固定的生成器」重新定位為「長程監督的老師」，也點出少步數蒸餾模型的能力瓶頸其實源自教師視野的限制,而非蒸餾演算法本身。對於遊戲引擎、AR/VR 場景漫遊、機器人模擬訓練等需要「隨時互動、長時間不崩壞」的應用來說，這種線性成長、不隨時間變慢的架構,可能是讓世界模型從「幾秒鐘的展示片段」邁向「真正可長時間探索的世界」的關鍵一步。

背景

過去幾年,AI模型的能力進步速度遠遠超過人類理解它們的速度。一個模型能寫程式、做推理、甚至操作實驗室儀器,但它「為什麼」能做到這些事、內部到底發生了什麼運算過程,往往仍是黑箱。這種「能力與理解落差」不只是學術好奇心的問題——當AI開發本身也逐漸自動化(模型自己寫程式、自己設計實驗)時,如果人類的機制可解釋性(mechanistic interpretability)研究還停留在少數專家手動分析的階段,這個落差只會越拉越大,連帶讓安全風險難以被及時發現。

現有的「AI科學家」系統(如各種automated research agent)雖然能自動生成假設、跑實驗,但大多針對一般科學任務設計,對「讀懂AI模型自己」這件事缺乏專門的知識庫與方法工具,生成的假設常常缺乏新意或難以驗證。這篇論文提出的Mechanist,就是想補上這塊——把AI本身當作一種「科學儀器」,讓它自主地去發現、解釋、乃至控制AI智能背後的機制,同時保留人類在迴圈中設定科學目標與評估標準的角色。

方法

Mechanist的核心是一套四階段的agentic pipeline:假設生成(hypothesis generation)、實驗執行(experiment execution)、驗證(verification)與迭代(iteration)。系統採用「外部化記憶」(externalised memory)機制,把每個階段的中間產物存成獨立的artifact,讓中斷的研究流程可以從上次進度續跑,不必整個重來。

支撐這套流程的是三大知識與工具資源:第一,一個以可解釋性研究為核心、涵蓋約13,000篇論文的知識圖譜(knowledge graph),裡面建有領域專屬的分類體系;第二,一個橫跨26個學科、共4,300萬篇論文的跨領域資料庫,讓系統在生成假設時能連結生物、物理、認知科學等跨界知識;第三,一套涵蓋11個方法家族、共32種基礎技術的「機制分析方法庫」,包括因果介入(causal intervention)、活化分析、驗證工具等,讓Mechanist不只是空想假設,還能真正動手做實驗。

論文用這套系統做了三層次的遞進式研究:先是「發現」模型行為的異常現象,接著「解釋」背後機制,最後把發現「轉譯」成可實際部署的干預手段——包括在科學實驗室情境中揪出一個違反直覺的安全風險、建立一套關於模型「信念」(belief)的機制理論,以及把機制洞見用來提升模型效能、甚至引導DNA序列生成模型往指定方向產出。

實驗結果

在與Claude Code及既有AI-Scientist系統的對比實驗中(涵蓋16篇可重現論文、9個研究領域),人類專家評分顯示Mechanist全面勝出:資料使用能力87.2%、實驗設計83.3%、執行品質92.2%、分析品質86.5%,相較之下Claude Code約落在74–83%,AI-Scientist僅49–61%。也就是說Mechanist比Claude Code平均高出9–13個百分點,比AI-Scientist高出31–38個百分點,在多模態分析(90.3% vs. 65.8%)和安全性相關任務(67.4% vs. 48.2%)上差距最為明顯。研究團隊也讓Claude Opus 5、GPT-5.6-sol等LLM擔任評審,結果與人類專家評分高度一致。

安全風險的發現特別引人注目:研究者用Qwen2.5-7B-Instruct當「教師模型」、Qwen3.5-9B當「學生模型」做跨模態的subliminal learning實驗——教師模型只輸出表面上完全安全的數據(例如經過過濾、看似無害的內容),結果學生模型訓練後產生不安全回應的比例竟高達48.6%,遠高於未微調基線的20.3%與一般教師對照組的18.3%。在文字轉圖像的實驗中(以Qwen-Image為基礎、用「蘋果」偏好資料訓練),模型意外生成「香蕉」圖片的比例也從基線2.5%飆升到25.6%,顯示不安全的偏好或特質可以透過表面無關的資料,悄悄「傳染」到另一個模態。

在信念機制的研究中,團隊在Pythia-410M、1B、2.8B等模型上定位出specific的「信念頭」(belief head),例如Pythia-1B中的L4.H1負責「歸因信念」(attributed belief),消融(ablation)後準確率從0.86掉到0.34;負責「個人信念」的頭消融後準確率從0.78掉到0.21。基於這些發現設計的動態介入方法,能讓Pythia-410M準確率提升15.3%、1B提升8.8%、2.8B提升3.5%,且模型「崩潰率」僅1.1–1.4%,遠優於單純prompt提示基線(增益僅0.1–3.1%)。

最後,團隊把機制洞見用在Evo2-7B基因組基礎模型上,對900條生成序列做定向steering,把序列的α-螺旋結構含量從未干預的43.8%提升到56.6%(提升12.8個百分點),而隨機特徵干預則毫無效果(43.2%,幾乎持平)。

意義

這篇論文最重要的訊息是:機制可解釋性研究本身也可以被自動化、規模化,而且效果可能超越單純依賴通用coding agent(如Claude Code)硬做研究。這對整個AI安全領域是個關鍵訊號——如果「理解AI」的速度追不上「AI變強」的速度,風險評估與治理只會越來越滯後,而Mechanist展示了一條讓理解跟上能力發展的可行路徑。

其次,subliminal learning跨模態傳染的發現有實際警示意義:即使訓練資料經過過濾、看起來完全無害,不安全的特質仍可能透過統計層面的關聯悄悄滲透到另一個模態的模型中,這對資料治理與安全審查流程提出了新的挑戰,尤其是在多模態模型日益普及的當下。

再者,信念機制理論不只是純學術貢獻——找到具體的「信念頭」並能透過介入提升模型表現,說明可解釋性研究正在從「描述現象」走向「主動改造模型行為」的階段。而DNA序列生成的steering實驗,則證明這套從理解AI內部機制出發的方法,能跨界應用到科學基礎模型(scientific foundation model)上,為藥物設計、蛋白質工程等應用打開新的介入手段。整體而言,Mechanist代表了「用AI研究AI」從概念走向可驗證系統的一次重要嘗試。