K1 論文詳解

背景

在生物、化學與材料科學裡,「結構決定性質」幾乎是鐵律:蛋白質的三維折疊決定它的功能,小分子的鍵結與立體化學決定它的反應性,晶體的週期性排列決定它的能帶與物理響應。科學家在解讀這些結構時,靠的不只是「看形狀」,而是套用一整套領域知識——立體化學、鍵結規則、對稱性、能量最低原理、週期性order等物理限制——去推論出「為什麼這個結構會有這個性質」。

過去幾年,大型語言模型(LLM)與科學基礎模型在序列預測、性質回歸上取得不少進展,但多數做法把結構「壓扁」成純文字或簡化描述,例如把蛋白質結構丟掉、只用胺基酸序列;把分子結構簡化成SMILES字串;把晶體結構丟成成分公式。這種做法方便套用現成的語言模型架構,卻犧牲了結構本身攜帶的空間、拓樸與週期性資訊,也讓模型難以「指出」到底是哪一段結構證據支撐了某個預測結論——也就是缺乏可解釋性。

這正是SciReasoner這篇論文想解決的核心矛盾:要讓AI模型「原生」地讀懂結構(而不是把結構降維成序列),同時又要它像科學家一樣,把推理過程中用到的具體結構線索攤開來講清楚,做到準確與透明兼顧。這篇論文由上海AI Lab、上海交通大學、清華大學、牛津大學等機構共29位作者合作完成,涵蓋蛋白質、小分子與無機晶體三大領域。

方法

SciReasoner的核心設計是一套「結構感知詞彙表」(structure-aware vocabulary):把座標(coordinates)、拓樸連接(topologies)以及晶體的週期性連接關係(periodic connectivities)全部離散化成token,和文字token放在同一個詞彙空間裡處理。這麼做的關鍵好處是,結構中的每一個token都變成「可定址的證據單元」(addressable evidence units)——模型在做推理時,可以像引用一段文獻一樣,明確指向某個原子座標、某段鍵結或某個晶格位置作為支撐證據,而不是把結構當成黑箱式的embedding。

這套統一詞彙讓同一個multimodal基礎模型能夠橫跨三個異質性很大的領域:

• 蛋白質:結構token編碼三維座標與拓樸關係,用於功能標註等任務;
• 小分子:結構token編碼原子連接與立體化學,支援逆合成(retrosynthesis)等化學任務,模型能同時生成「fragment-level disconnection」(把分子拆解成片段的斷鍵位置)與「precursor-verification」(驗證反應前驅物是否合理)的推理軌跡;
• 無機晶體:結構token編碼週期性連接,用於區分元素相與化合物相、band gap高低區間等材料性質。

訓練與推理上,SciReasoner採用一個統一的模型主幹,在跨領域資料上聯合訓練,讓模型學會「同一套推理邏輯」套用到不同結構模態,而不是為每個領域各自訓練專門模型。這種設計也呼應了論文標題強調的「native structural reasoning」——推理發生在結構原生表示上,而非先轉譯成低資訊量的文字描述再推理。

實驗結果

論文在跨領域共86個benchmark上做了系統評測,SciReasoner在其中67個任務上取得state-of-the-art的成績,覆蓋率約78%,顯示這套統一結構推理框架並非只在單一領域取巧,而是有較廣泛的泛化能力。

三個代表性數字特別值得注意:

1. 蛋白質功能標註(Gene Ontology預測):在同源性受控(homology-controlled)的設定下,針對低同源性、甚至「孤兒式」(orphan-like,幾乎找不到同源序列可比對)的蛋白質,SciReasoner在Cellular Component這個子任務上,把F_max指標從0.42提升到0.55,相對提升幅度超過30%。這類低同源蛋白質原本是傳統依賴序列比對(homology search)方法的弱點,而SciReasoner靠結構證據推理彌補了這個缺口。

2. 化學逆合成(single-step retrosynthesis):準確率從0.63提升到0.72,同時模型不是只給出「答案」,還會輸出fragment-level的斷鍵分析與precursor驗證軌跡,讓化學家可以檢查每一步推理是否符合真實反應機制。

3. 材料科學表徵能力:在無機晶體上,SciReasoner學到的表徵能夠清楚地把元素相(elemental phase)與化合物相(compound phase)分開,並且能有效區分高band gap與低band gap兩個物理區間——這意味著模型內部學到的結構表示,本身就蘊含了材料物理上有意義的分類邊界,而不只是黑箱擬合。

此外,論文做了雙盲專家評測(double-blind expert evaluation),請領域專家評比SciReasoner生成的推理軌跡跟一個前沿LLM(frontier large language model)相比孰優孰劣。結果顯示,在98%的案例中,專家認為SciReasoner的推理軌跡「更好或至少相當」,這個高比例說明模型輸出的推理過程不只是準確率數字漂亮,在人類可讀性與科學嚴謹性上也站得住腳。

意義

SciReasoner的價值不只在於刷新了67個benchmark的紀錄,更重要的是它示範了一種「結構即證據」的AI設計哲學:把結構資訊完整保留為可索引的token,而不是壓縮成序列後再靠模型「猜」回結構含義。這對三個學科都有直接的應用想像——在生物領域,對缺乏同源序列參考的孤兒蛋白質(常見於新發現的病原體、深海生物或人工設計蛋白)做功能預測,原本是序列比對方法的死角,現在有了結構推理這條新路徑;在化學領域,逆合成規劃如果能連帶輸出可驗證的斷鍵與前驅物推理鏈,對藥物化學家、合成路線設計會更有實用度,而不只是給一個黑箱答案;在材料領域,模型表徵能自動分離出有物理意義的相與band gap區間,暗示未來可能用於加速新材料的性質篩選與逆向設計。

更深層的意義在於「可解釋性」與「準確率」不再是必須取捨的兩端。過去很多科學AI模型要犧牲透明度換取效能,或反過來為了可解釋性犧牲準確率。SciReasoner用統一結構詞彙+可定址證據token的設計,同時在準確率(67/86 SOTA)與可解釋性(98%專家認可)兩端拿到高分,這對於希望把AI真正整合進科學發現流程——而不只是當作黑箱預測工具——的研究者而言,是一個值得參考的技術路徑。當然,論文本身也提醒我們,「跨領域統一」的野心背後仍有工程複雜度與資料規模的門檻,這類多模態科學基礎模型能否進一步擴展到更多結構模態(例如RNA、蛋白質複合體、非週期性材料等),將是後續值得關注的方向。

背景

Transformer 架構的核心瓶頸之一,是注意力機制（attention）的計算量會隨著輸入長度呈平方成長。當上下文長度從 8K 拉到 128K、甚至 512K 時,dense（全量）注意力的運算與記憶體開銷會直接爆炸,訓練與推論都變得極其昂貴。更麻煩的是,即使硬體撐得住,dense attention 在「長度外推」（length extrapolation）上表現也很差——模型在訓練時只看過某個長度的文本,一旦推論時輸入遠超這個長度,效果就會迅速崩壞,常見現象是困惑度（perplexity, PPL）飆升破百。

為了解決這個問題,業界提出了「chunk-wise 稀疏注意力」（分塊稀疏注意力）的想法:把長文本切成一個個小塊（chunk）,每次只挑出最相關的少數幾個 chunk 來做注意力計算,而不是對整段文本逐一計算。這樣理論上能把計算量從平方級降到接近線性。但論文指出,現有方法有個共同硬傷——chunk 選擇不夠準。多數方法用簡單的統計手段（例如對 chunk 內的 key 向量做平均池化 mean-pooling）來代表整個 chunk 的重要性,這種「非參數化」的摘要方式表達能力有限,選錯 chunk 的機率不低,導致稀疏注意力模型的效果始終比不上 dense attention,形成「效率與效果只能二選一」的困境。

這篇由 Hugging Face 上收錄的論文《Hierarchical Sparse Attention Done Right: Toward Infinite Context Modeling》(arXiv:2607.02980) 就是要打破這個取捨,提出一套名為 HiLS（Hierarchical Landmark Sparse）Attention 的機制,目標是讓稀疏注意力不只「省」,還要「準」,甚至比 dense attention 更能處理超長上下文。

方法

HiLS 的核心想法,是讓 chunk 的選擇（retrieval）不再是外掛的、事後計算的統計量,而是變成一個可學習的模組,直接透過語言模型（LM）loss 端到端訓練。具體設計包含幾個關鍵元件:

Landmark token（地標標記）:在每個 chunk 後面額外插入一個特殊的 landmark token,讓模型自己學出一個能代表整個 chunk 語意的摘要向量,取代傳統的 mean-pooling。作者用 LogSumExp 函數的一階泰勒展開來近似「chunk mass」（chunk 的注意力質量）,證明這個可學習摘要比簡單平均更能準確反映 chunk 的重要性。

層級式分解（hierarchical factorization）:HiLS 把注意力拆成兩層 softmax——先做「inter-chunk softmax」決定哪些 chunk 值得關注（產生 retrieval score）,再對被選中的 chunk 做「intra-chunk softmax」決定 chunk 內哪些 token 重要。每個 query 會獨立地與被檢索到的每個 chunk 做注意力運算,取得該 chunk 專屬的資訊,再依照 chunk 的檢索分數把這些輸出加權融合。

端到端訓練的關鍵:傳統方法通常把「檢索」和「注意力計算」分開處理,檢索模組不會被 LM loss 直接優化。HiLS 則是把檢索分數直接嵌入前向注意力計算的公式裡,使得梯度可以一路回傳到檢索分數上,讓模型在訓練過程中自己學會挑對 chunk,這就是所謂的「原生稀疏訓練」（native sparse training）。

此外,論文還引入「低秩 query 校準模組」(low-rank query calibration),把 token 層級與 chunk 層級的注意力訊號更好地分離;並改用 HoPE（一種混合式位置編碼)取代常見的 RoPE,實驗證明這對長度外推至關重要——若仍用 RoPE,32K 長度時 PPL 就會直接爆到 100 以上,換成 HoPE 後降到 4.34。硬體參數上,chunk 大小設為 64 token,每次檢索 top-32 個 chunk（共 2048 token）,再搭配 512 token 的局部滑動窗口。作者也設計了一套硬體優化 kernel,利用相鄰 query 平均共享 92.8% 檢索 chunk 的特性,實現「一次載入、多次計算」,大幅提升實際運行效率。

實驗結果

研究團隊在 345M、1.4B、7B 三種參數規模上做了系統性驗證:

345M 模型(訓練上下文 8K):在 in-domain 的 8K 長度上,HiLS-HoPE 的 PPL 為 4.94,幾乎與 Full-Attention RoPE(4.96)、Full-Attention HoPE(4.95)打平。但拉到 512K token(相當於訓練長度的 64 倍以上)時,HiLS 的 PPL 僅 5.95,而 Full-Attention HoPE 直接失控超過 100,且 HiLS 在此長度下仍保持 超過 90% 的 needle-in-haystack 檢索準確率。在 RULER benchmark 的 128K 測試中,HiLS 在 Single Needle 任務拿下 99%(全注意力 100%),Multi-Key-Multi-Query 為 91%(全注意力 100%)。

1.4B 模型(300B token 訓練):下游任務上,HiLS 與 Full-Attention 相當接近,例如 LAMBADA 為 57.05% vs. 57.13%,HellaSwag 為 52.21% vs. 51.99%,PIQA 甚至反超為 72.14% vs. 70.51%,多項 benchmark 平均分為 49.06% vs. 48.65%。在 512K 長度的 RULER 測試中,Single Needle 準確率達 100%。

7B 模型(基於 OLMo3 續訓 50B token):這是驗證「輕量續訓轉換」可行性的關鍵實驗。結果顯示,經過僅 50B token 的續訓後,HiLS-HoPE 在 LongBench-v1 的整體得分為 33.2%,優於原始 Olmo3 的 29.0%,也優於用 YaRN 做 32K 長度延伸的 Olmo3(31.7%)。長上下文檢索方面,8K 時準確率 99.67%,128K 時仍有 94.67%。

效率面:在 H800 GPU 上,345M 模型於 16K 長度時與 dense attention 打平,但到 512K 長度時,HiLS 的 prefill 速度快 13.5 倍(5.0 秒 vs. 67.0 秒),解碼速度快 15.7 倍(5.5 毫秒 vs. 85.9 毫秒)。消融實驗也證實,拿掉低秩 query 校準模組後,32K 長度 PPL 從 4.34 惡化到 7.21;拿掉 landmark token 改用共享 query,128K 長度 PPL 從 4.71 惡化到 5.50。

意義

這篇論文最值得關注的地方,在於它真正打破了「稀疏注意力效率高但效果差」的既定印象。過去多數稀疏注意力方法即使省了算力,長上下文效果通常還是打折扣;HiLS 卻證明,只要把 chunk 檢索機制做對——讓它可學習、可被 LM loss 直接優化——不僅能在 in-domain 長度上追平甚至略勝 dense attention,還能在超出訓練長度 64 倍以上的場景中維持 90% 以上的檢索準確率,而傳統 dense attention 在同樣長度下基本失效。

更具實用價值的是「輕量續訓轉換」這條路徑:不需要從頭重新訓練一個超長上下文模型,現有的 dense attention 模型(如 OLMo3)只要用相對少量的資料(50B token)做續訓,就能同時保留原本短上下文的能力,並獲得處理百萬級 token 長上下文的能力,且在 LongBench 這類真實長文本任務上實測優於原模型與 YaRN 等既有長度延伸技巧。這對於已經投入大量算力訓練好基礎模型的團隊來說,是一條成本低廉的升級路線,而不必冒著從零開始訓練的巨大風險與成本。

對整個產業而言,這意味著「無限上下文」不再只是理論願景——透過稀疏 KV 存取與稀疏計算的結合,LLM 有可能在保持甚至提升效果的同時,把長文本推理的成本壓低超過十倍。如果這類技術能被廣泛採用,無論是長文件分析、程式碼庫級別的程式理解,還是超長對話記憶,都可能因此變得更便宜、更可行,對 RAG(檢索增強生成)之外提供另一種原生處理超長上下文的解法。

背景

近年來,Vision-Language-Action(VLA)模型成為機器人操作領域的主流方案:它們把視覺觀測與語言指令一起餵進大型模型,直接輸出動作序列。但絕大多數現有 VLA 模型建立在一個「馬可夫假設」之上——也就是只根據當下這一幀觀測來決定下一步動作,完全不參考過去發生了什麼。這在短動作(例如抓取一個物體)上問題不大,但一旦任務涉及長時序、跨步驟依賴的操作(例如先把湯匙放到毛巾上、再把紅蘿蔔放到盤子裡,中間可能有多個階段性子目標),模型就很容易「失憶」,忘記自己已經完成了哪些步驟、目前進度到哪。

過去也有研究嘗試替 VLA 加上記憶能力,做法大致分兩種:一是直接擴大觀測窗口,把更多歷史影格塞進輸入;二是額外建一個記憶庫(memory bank),在推理時檢索出相關歷史資訊,作為輔助性的「策略側」上下文提供給模型參考。但這兩種做法有個共同缺陷:記憶始終被放在 VLA 原生的潛在嵌入空間(latent embedding space)之外,只是被動地拼接或提示,無法真正跟模型的多模態推理與動作生成過程「融為一體」。這篇論文(arXiv:2607.07608)由南京理工大學、浙江大學與新加坡國立大學團隊合作提出,試圖從根本上解決這個問題,提出了 LaMem-VLA——一個「潛在記憶原生」(latent-memory-native)的框架。

方法

LaMem-VLA 的核心思路是:把歷史經驗直接重構成潛在記憶 token,跟當下的視覺觀測、語言指令一起,編織成同一條連續的嵌入序列(embedding sequence),讓記憶能夠真正參與模型的推理過程,而不是只當旁觀者。整個框架由四個協同運作的模組組成:

1. Curator(策展者):把歷史經驗整理成兩個互補的記憶庫——短期記憶負責保存最近的視覺感知證據(近期發生了什麼),長期記憶負責保留任務進度與動作連貫性等語意層級的資訊(整體任務做到哪一步了)。

2. Seeker(檢索者):利用當下的多模態認知表徵構造查詢向量,以餘弦相似度分別在短期與長期記憶庫中檢索出與當前決策最相關的證據。

3. Condenser(壓縮者):把檢索出來的證據壓縮重構成固定長度的潛在記憶 token(預設短期 8 個、長期 4 個),使其格式與 VLA 的嵌入空間相容。

4. Weaver(編織者):把壓縮後的記憶 token 與當前觀測、指令一起注入,拼成一條連續的輸入序列,直接參與後續動作推理,而不是作為額外提示塞在旁邊。

模型骨幹使用約 7B 參數規模、在 Open-X Embodiment 資料集上預訓練的 Prismatic VLM,搭配約 300M 參數的擴散式(diffusion)動作專家(action expert),輸出 7 自由度末端執行器控制向量,動作視野(horizon)為 16 步。每個記憶庫容量上限為 16 個單元,每次檢索預算為每庫 top-8。訓練使用 8 張 NVIDIA H800,搭配 PyTorch FSDP,batch size 256,學習率 2×10⁻⁵;SimplerEnv 訓練 5 萬步,LIBERO 依任務難度訓練 2 萬至 4 萬步;推理階段使用 DDIM 取樣,僅需 10 步去噪。

實驗結果

團隊在兩大主流機器人操作 benchmark——SimplerEnv 與 LIBERO——上做了大量實驗。

在 SimplerEnv-Bridge 上,LaMem-VLA 平均成功率達到 73.9%,相較 CogACT 基準提升 16.6 個百分點,相較 π₀ 提升 4.7 個百分點。細看各子任務:把湯匙放到毛巾上 83.3%、把紅蘿蔔放到盤子上 75.0%、疊方塊 41.7%(這是公認最難的任務)、把茄子放進籃子 95.8%。

在 LIBERO 上,LaMem-VLA 整體平均成功率達到 97.6%,比同樣具備記憶機制的 MemoryVLA 高出 1.1 個百分點,比 CogACT 高 4.4 個百分點,比 π₀ 高 3.5 個百分點。分項來看:空間任務(Spatial)98.8%、物件任務(Object)99.0%、目標任務(Goal)97.2%、長時序 10 步任務(Long-10)95.8%、長時序 90 步任務(Long-90)97.0%——特別是長時序任務上的優勢,正好驗證了記憶機制的價值所在。

消融實驗也很有說服力:完全拿掉雙記憶機制,SimplerEnv 成功率會從 73.9% 掉到 57.3%,LIBERO-90 從 97.0% 掉到 92.1%;只拿掉短期記憶,分別掉到 65.6% 和 95.4%;只拿掉長期記憶,分別掉到 64.6% 和 94.8%。另外團隊也比較了不同的記憶整合方式:單純把記憶當作策略側條件輸入,SimplerEnv 只有 71.9%;用原始檢索結果直接條件化,只有 69.8%;而 LaMem-VLA 的「潛在原生」整合方式能拿到 73.9%,證明把記憶真正融入嵌入空間比外部拼接更有效。超參數實驗顯示,檢索單元數 K=8 為最佳點(K=12 反而效能下降),短期 token 數在 32 左右趨於飽和,但預設用 8 個已能兼顧效能與運算成本。

意義

LaMem-VLA 的重要性,不在於又刷新了幾個 benchmark 的數字,而在於它提出了一種新的「記憶即原生語言」思路:過去的做法把記憶當成外掛工具,推理時「查一下再用」;而 LaMem-VLA 讓記憶直接變成模型能「讀懂」的 token,與當下觀測、語言指令平起平坐地參與同一次推理。這種設計哲學其實跟大型語言模型裡的檢索增強生成(RAG)有些神似,但把它落實到具身智能(embodied AI)的連續動作決策場景中,是相對少見且更具挑戰性的嘗試——因為動作生成不像文字生成那樣可以容忍模糊或重試,錯一步就可能導致整個操作任務失敗。

從實用角度看,長時序、多階段的機器人操作(例如做菜、整理房間、組裝零件)正是當前具身智能落地的最大瓶頸之一,而 LaMem-VLA 展示的「短期視覺記憶 + 長期語意記憶」雙軌設計,以及有限記憶單元(每庫僅 16 個、檢索僅 top-8)就能撐起顯著效能提升的結果,說明記憶機制不需要無限擴張上下文視窗,而是可以透過精煉、壓縮的方式,在「有限上下文」(bounded context)下實現長時序推理——這對於實際部署在算力有限的機器人硬體上尤其重要。

當然,論文作者也坦承目前的驗證僅限於 SimplerEnv 與 LIBERO 這類模擬環境,尚未在真實機器人平台上驗證,團隊表示後續會將 LaMem-VLA 擴展到真實世界場景。這也是這類研究普遍面臨的「sim-to-real gap」問題——模擬環境中的成功率提升,能否轉化為真實世界中同等幅度的可靠性提升,仍有待觀察。但整體而言,這篇論文為 VLA 模型如何優雅地整合歷史經驗提供了一個具體、可驗證、且效能提升明顯的技術路徑,對於下一代長時序機器人操作系統的設計具有參考價值。