K1 論文詳解

背景

當 AI 助理要記住的不是一對一對話,而是一整個群組聊天室裡的歷史紀錄時,問題會急遽變複雜。研究團隊指出,多人對話的長期記憶不只是「把相關內容找出來」這麼簡單,系統還必須分辨「誰說了這句話」、「這句話是講給誰聽的」、「成員之間彼此的觀感如何」、「哪些資訊是整個群體共享的常識」,以及「這些狀態隨時間如何演變」。

現有的通用 LLM 記憶系統在面對多人對話 benchmark 時,經常會搞丟人物與群體之間的關係,或是無法把分散在不同成員、不同群組、不同時間點的線索串聯起來。作者將問題歸納成兩個核心瓶頸:一是「訊息歸屬與關係理解」(message attribution and relational understanding),二是「從交錯歷史中重建狀態」(state reconstruction)。SpeakerMem-R1 就是針對這兩點設計的解法,論文由 Haobo Zheng、Tan Tang、Yan Chen、Weijie Wang、Yingcai Wu 共同發表,arXiv 編號 2609.26780。

方法

SpeakerMem-R1 的核心是一套「雙軌記憶」架構。System 1(逐字軌)保留帶有說話者、時間、頻道標籤的原始訊息;System 2(結構化軌)則把這些訊息萃取成四層衍生狀態:人物層級的「核心事實」與「側寫觀察」,以及群體層級的「互動事件」與「共識規範」,每一條衍生狀態都透過來源指標(provenance pointer)連回原始訊息,確保可追溯。查詢時,系統採用「錨定—拆分—解析—組合」(Anchor–Separate–Resolve–Compose)流程,依據參與者、事件與時間三個維度,把兩條軌道的證據整合成針對該問題量身打造的答案。

為了降低結構化記憶建構過程中的歸屬錯誤與更新錯誤,同時讓系統能在本地部署(而非依賴昂貴的閉源 API 呼叫),團隊訓練了一個以 Qwen2.5-3B 為基礎的「Writer-R1」模型,負責判斷每條新訊息該「新增、更新還是不作為」(Add/Update/Noop)。訓練上使用了兩項自訂技術:其一是 SpeakerLevenshtein,一種按說話者拆解的比對指標,結合 token-F1 與正規化序列比對,避免發言頻繁的成員蓋過發言少的成員的訊號;其二是「說話者條件化的 GRPO」(speaker-conditioned GRPO),透過結構有效性、記憶狀態等局部訊號,加上下游問答的最終獎勵來做強化學習,且訓練時只更新 Writer,檢索與回答模組維持凍結。

實驗結果

團隊在三個多人對話 benchmark 上評測:GroupMemBench(745 題)拿下 47.9% 的二元準確率,較最佳基準線提升 3.3 個百分點;SocialMemBench(1,031 題)達到 69.2%,提升 12.4 個百分點;EverMemBench(2,400 題)則是 61.9%,提升 9.4 個百分點。在 EverMind-AI 公開的 EverMemBench 排行榜上,SpeakerMem-R1 拿下 62.33%,是目前所有已發表 SOTA 框架中最高的成績。作為兩人長期對話的邊界測試,系統在全部 1,986 題的 LoCoMo 上也達到 70.85% 的準確率。

在一項針對 305 題的受控評測中,強化學習訓練把 Writer 的平均準確率從 SFT 版本的 57.38% 一口氣拉高到 68.20%,提升達 10.82 個百分點,已達到用大型 LLM 直接當 Writer(71.48%)的 95.4% 水準,但成本與部署門檻低了非常多。論文同時報告了 binary accuracy 與 token-F1 兩種指標,消融實驗顯示:拿掉 System 2(結構化軌)或 System 1(逐字軌)都會讓所有 benchmark 表現下滑;單獨移除人物層級或群體層級視角也都會造成可量測的下降,證明兩軌與兩種視角彼此互補、缺一不可。另外,補充用的 ASK 檢索機制能在 GroupMemBench 與 EverMemBench 上找回分散的線索,但在 SocialMemBench 上反而會帶入多餘證據,顯示不同任務對檢索策略的需求並不相同。

意義

這篇論文的價值在於把「記憶系統」從單純的向量檢索,升級成具備人物與群體視角、且可追溯來源的結構化系統,這對群聊機器人、多人客服、團隊協作助理等實際場景相當關鍵——這些場景中,「誰說的」往往比「說了什麼」更重要。用 3B 參數量級的小模型(Writer-R1)搭配強化學習,就能逼近大型 LLM 寫入器 95% 以上的效果,也證明了透過設計良好的獎勵訊號(SpeakerLevenshtein + 說話者條件化 GRPO),不需要動輒呼叫昂貴的閉源大模型,也能做出可本地部署、成本可控的長期記憶系統。作者也坦承目前系統仍假設有可靠的成員名單與時間標記,在成員覆蓋不全或需要跨證據多跳推理的情境下(例如 LoCoMo 的部分題型)表現仍有落差,這也指出了未來多人對話記憶系統要繼續突破的方向。

背景

近年來的影像與視訊生成模型(以 diffusion 或 flow matching 為基礎的 transformer)已經能產出極為逼真的畫面,但只要鏡頭一動、場景一拉長,畫面裡的牆壁會扭曲、物體會漂移、相機軌跡也對不上——也就是缺乏「3D 一致性」。這個問題常被歸咎於模型容量不足或訓練資料不夠多樣,但這篇來自 Jiahao Lu、Yuan Liu 等人(arXiv:2609.24981,2026 年 9 月提交)的論文提出了一個不同的診斷:問題出在「表徵(representation)」本身,而不只是建模能力。

具體來說,目前主流生成模型幾乎都建立在「以外觀為中心」的潛在空間(latent space)上,例如 Stable Diffusion 的 VAE,這類潛在空間專注於壓縮 RGB 像素的統計特性,對跨視角(cross-view)的幾何結構完全沒有編碼。與此同時,像 DUSt3R、VGGT、Depth Anything 3(DA3)這類「幾何基礎模型(geometry foundation model)」則專門從多視角影像中還原深度、相機姿態與點雲,擁有語意豐富且跨視角一致的特徵空間,但這些特徵通常維度龐大、不適合直接拿來做生成任務的潛在空間。

論文的核心洞察是:與其把幾何當成生成模型的「額外輸出」(即先生成 RGB 再用另一個模型估計深度),不如直接把幾何基礎模型的特徵「重新參數化」成一個緊湊的潛在空間,讓生成與感知共享同一套底層表徵。這就是本文提出的 geometry-native autoencoder,簡稱 GAE。

方法

GAE 建立在凍結(frozen)的 DA3(Depth Anything 3)之上。DA3 原本會輸出一組四層級、總共 3,072 個通道的特徵金字塔,用於還原深度、光線(rays)與點圖(point maps)。GAE 的做法是設計一個輕量的卷積金字塔編碼器(帶有空間自注意力),把這 3,072 個通道壓縮成一個只有 64 或 128 個通道、但仍保留 18×18 空間patch網格的「緊湊潛在空間」——相當於把原始特徵壓縮了約 24 倍。

這個潛在空間的關鍵特性是「同時可解碼」:一個解碼器負責重建 DA3 的四層級特徵供幾何讀出(深度、相機、點圖使用原始凍結的 DA3 DPT 頭直接讀取),另外還有一個獨立學習的 RGB 頭,從同一個瓶頸(bottleneck)重建外觀畫面。換句話說,同一組潛變數,既能「畫出」照片般真實的畫面,也能「量出」深度與相機軌跡。

為了讓這個潛在空間更適合生成任務而非只是重建,團隊加入了表徵塑形(representation shaping)的損失:一是token級對齊,讓每個潛變數 token 對齊凍結的 C-RADIO 教師模型在同位置的特徵;二是關係結構損失,要求潛在空間裡各 token 間的相似度關係要與 DINOv2 特徵中的相似度關係一致。兩者合併為 L_repr = 0.25(L_tok + 8.0·L_struct)。消融實驗顯示,若只做 token 對齊而不加入結構損失,潛在空間的空間結構會被破壞(LDS 從 0.444 降到 0.020),可見結構項是必要的。

訓練分兩階段:先訓練這個編碼解碼器(codec),同時優化重建與表徵目標;接著凍結 codec,只訓練一個 DiT 風格的條件式 flow matching 模型來做生成。這個 flow 模型以乾淨的參考潛變數 token、公制化的 Plücker 光線嵌入(用於相機控制)、以及凍結語言模型特徵(用於文字條件)作為條件輸入,並透過條件丟棄(condition dropout)支援多工訓練——單一 transformer 同時處理相機控制視訊生成、參考影像的新視角合成、文字生成影像等任務,讓跨視角互動直接發生在這個緊湊的幾何原生狀態中。

實驗結果

論文在控制變因(固定生成器架構與訓練協議,只替換潛在空間)的公平比較下,分別在 RealEstate10K 與 DL3DV 兩個真實場景資料集上驗證。

視覺品質方面,以 FVD(Fréchet Video Distance,數值越低越好)衡量:在 RealEstate10K 上,GAE-64 版本達到 225.7,相較最佳對照組 SD-VAE 的 258.6 下降了 12.7%;在 DL3DV 上,GAE-64 達到 287.0,相較最佳對照組(DA3 原始 L0 特徵)的 376.5 下降了 23.1%。

3D 一致性方面,相機軌跡誤差(ATE)在 RealEstate10K 上從基準值大幅降至 0.0034,相當於誤差減半(52.8% 的改善);在 DL3DV 上也達到 0.0056,優於直接使用像素 VAE 或其他語意表徵的做法。多視角一致性指標 MEt3R 在兩個資料集上也分別達到 0.1208 與 0.1347,屬於受控實驗中的最佳表現。

在重建品質上,GAE-64 的深度 AbsRel 誤差為 0.090,Chamfer distance 為 0.386,點圖誤差為 0.691;RGB 重建的 PSNR 落在 27.30–28.76 dB 之間,LPIPS 為 0.036–0.061,與直接使用原始 DA3 特徵相當,證明壓縮並未犧牲重建能力。

論文也做了潛在空間本身的「診斷性」分析:比較 GAE-64、GAE-128 與原始 DA3 L0 特徵的傳輸平滑度(ρ)、條件數(κ)與結構保真度(LDS)。結果顯示原始特徵的條件數高達 2.8×10⁸(數值極端病態,難以優化),而 GAE-64 只有 53.1,顯示壓縮後的空間對生成模型友善得多;LDS 指標(反映空間結構保真度)GAE-64 為 0.631,遠高於原始特徵的 0.102。

其他消融也很有意思:使用「乾淨的參考條件 token」而非把參考影像塞進 ODE 狀態中,能把參考與目標點雲之間的落差從 0.1016 降到 0.0318;保留相機平移的公制尺度資訊,能把 SE(3) 相機誤差從 0.0346 降到 0.0093;而加入文字到影像的協同訓練,更把 FVD 從 472.9 大幅拉低到 225.7,同時維持 MEt3R 在 0.126 左右不變。

意義

這篇論文最重要的貢獻不是又一個更強的生成模型,而是重新定義了「生成器該用什麼樣的輸入表徵」這個基礎問題。過去感知(perception)與生成(generation)兩條技術路線各自演化出不同的表徵——前者追求幾何精確,後者追求外觀逼真,彼此互不相通。GAE 證明了兩者其實可以共享同一個緊湊的潛在空間,並且在同一套訓練協議下,單純替換潛在空間就能讓 FVD 下降超過一成到兩成、相機軌跡誤差減半,而不需要增加生成器參數量或改變訓練資料。

這對於「世界模型(world model)」與具身智能(embodied AI)相關的研究尤其重要:如果未來的影片生成系統要被用來做機器人規劃、自動駕駛模擬或 3D 內容創作,那麼生成出的畫面不能只是「看起來對」,而必須在幾何上真正站得住腳——鏡頭移動了十公尺,牆角就該在該在的位置。GAE 展示的思路,是把這種幾何約束「內建」到潛在空間裡,而不是事後用額外的深度估計模型去修補,這種思路未來很可能被更多下一代的視訊 / 3D 生成基礎模型採用,成為連接感知模型與生成模型的通用介面。

背景

視覺語言模型(VLM)近年在影像描述、視覺問答上表現亮眼,但一旦要在動態的物理世界中「行動」——例如機器人導航、第一人稱走位規劃、或是判斷相機移動後場景如何變化——現有模型往往力不從心。原因在於,主流的空間推理訓練資料多半是靜態問答:給一張圖或幾張圖,問物體之間的相對位置、大小、方向等關係,這類資料能教模型「看懂一個瞬間的空間結構」,卻無法教模型「追蹤空間狀態如何隨時間演變」。

真實世界中的互動軌跡天生具備更豐富的監督訊號:一次「觀察-動作-再觀察」的三元組,直接對應了物體因外力或視角變化而產生的局部狀態轉移(state transition);而把多段轉移串接起來的完整軌跡,又能揭示連續轉移之間的依賴關係——也就是長時程空間推理需要的「狀態累積」能力。這正是本篇論文(arXiv:2609.23038,由 Kaixiang Yao、Wenqi Zhang 等作者提出)想要補上的缺口:透過與可觀察物理世界的互動來訓練 VLM,而不只是靠靜態問答。

方法

論文提出的框架名為 Spatial-Interactor,核心是把空間推理的學習拆解成一套三層次課程(curriculum):

• L1:被動世界狀態轉移——模型觀察外部物體因他人動作或環境變化而移動,學習「物體怎麼動」;
• L2:主動自我狀態轉移——模型作為互動主體(如相機或機器人)本身移動,學習「自己怎麼動導致視角/位置怎麼變」;
• L3:長時程互動軌跡——把多個 L1/L2 轉移串連成完整長軌跡,要求模型持續整合、維護一個更新中的空間狀態。

為配合這套課程,團隊構建了 LSI-108K 資料集,總計 107,518 筆問答樣本,來源涵蓋模擬互動(55,338 筆,占 51.5%)、真實相機軌跡(42,180 筆,占 39.2%)與真實機器人軌跡(10,000 筆,占 9.3%),並按課程層級分為 L1 15,109 筆(14.1%)、L2 69,487 筆(64.6%)、L3 22,922 筆(21.3%)。

訓練分兩階段。第一階段是監督微調(SFT),使用 82,596 筆 L1–L2 樣本再加上 8 萬筆公開空間問答資料,更新語言模型主體與多模態投影層,專門用來學局部狀態轉移。第二階段引入 On-Policy Distillation(OPD)這種「特權自我蒸餾」機制:教師分支被額外餵入分段層級(segment-level)的轉移描述(等於作弊般知道每一段真實發生了什麼),據此監督學生模型自己在 on-policy 情況下產生的思維鏈(CoT);目標函數結合了答案獎勵、與參考分佈的 KL 正則化,以及過程層級的損失,目的是讓學生學會把連續多段轉移正確地整合進長軌跡推理,這部分用了 10,712 筆 L3 RoomTour 樣本與 10,783 筆長時程 VSTI-Bench 樣本。

實驗結果

研究團隊在多個模型規模與家族上驗證:Qwen2.5-VL-3B/7B、Qwen3-VL-4B/8B,並與 GPT-5.5、GPT-4o、Gemini-2.5-Pro、InternVL3-2B/8B 等閉源與開源模型比較。評測涵蓋 VSI-Bench、VSTI-Bench(長軌跡)、MindCube(Tiny split)、SPBench-MV 等多視角/影片空間推理 benchmark,並延伸到跨 benchmark 評測(MMSI、ViewSpatial、SAT-Real、SAT-Syn)以及需要閉環決策的 WalkerBench Standard-100、ESI-Bench。

整體來看,Spatial-Interactor 帶來一致且顯著的提升:3B 模型整體分數提升 +21.7 分(路徑規劃 +23.4、相機位移判斷 +17.1),7B 模型提升幅度最大,達 +25.0 分(相機位移子項 +28.0),4B 與 8B 模型也分別有 +16.4 與 +17.5 分的提升,其中 8B 模型拿下所有測試中最高的 65.9 分。

以 Qwen2.5-VL-7B 為例的消融實驗更清楚展示每個訓練環節的貢獻:未經任何空間訓練的基礎模型只有 35.1 分;僅用外部公開資料 SFT 可拉到 56.0(+20.9);換成完整的 L1+L2 課程 SFT 後提升到 58.4(+23.3);再疊加傳統強化學習方法 GRPO 到 59.2(+24.1);而最終加入本文提出的 OPD 機制後達到 60.1(+25.0),是所有變體中最高。在四個未參與訓練的跨 benchmark 上,模型也普遍取得 +4.3 至 +10.6 分不等的遷移增益,顯示訓練所學的並非死記硬背特定 benchmark 格式,而是較為通用的空間狀態追蹤能力。

意義

這篇論文的核心貢獻,是把「透過互動學習」這個在具身智能(embodied AI)與機器人領域行之有年的想法,系統化地轉譯成一套可規模化的 VLM 訓練配方——用課程式的三層次任務拆解「被動觀察」「主動行動」「長時程整合」三種本質不同的空間認知需求,再用 SFT+OPD 兩階段訓練分別打好局部轉移與長程整合的基礎。相較於單純堆疊更多靜態空間問答資料,這種以互動軌跡為監督訊號的做法,更貼近真實世界任務(如機器人導航、AR/VR 場景理解、自駕視覺決策)中「狀態隨時間演變」的本質。

從數字上看,7B 規模模型 +25 分、跨 benchmark 遷移 +410 分的效果,說明這套方法不只是在訓練分佈內過擬合,而是確實學到了較通用的空間狀態建模能力,也讓中小型開源 VLM(3B8B)有機會在特定空間推理任務上逼近甚至超越規模大得多的閉源模型。對於想在機器人、具身導航、空間 AI 助理等方向落地 VLM 的團隊而言,LSI-108K 資料集的建構方式與三層次課程設計,提供了一套可複製的資料策略與訓練範式,也為未來把「互動式監督」進一步擴展到更複雜、更長時程的真實任務鋪路。