K1 論文詳解

背景

AI companion(陪伴型 AI)的賣點是長期相處:和一個人聊上幾個月,它應該記得對方說過什麼,推論對方是個怎樣的人,還要判斷「現在這句話,過去有沒有相關的事」。這種能力常被統稱為長期記憶(long-term memory)或對人的理解。

要測這件事,最理想的資料是真人與 AI 的長期對話紀錄。但這類紀錄屬於個人隱私,很難公開。現有 benchmark 多半採取折衷做法:用 LLM 生成虛構的人物和對話,再事先設計好問題,並決定哪些資訊「重要」。這帶來兩個問題。第一,人工寫的問題往往帶有線索,模型不必真的回想過去就能猜到該查記憶。第二,真實對話中「哪一句話需要用到過去」的比例,可能和人工設計的比例差很多。

這篇論文提出 RealCompanion,是少見以真實關係為基礎的 benchmark。它想回答的核心問題是:在真實使用情境下,記憶到底多常被需要、離現在多遠,以及現有方法能不能判斷何時該用記憶。

方法

資料集:RealCompanion 收錄 10 段真人與 AI 陪伴者的真實關係,共 27,218 則訊息,最長涵蓋 120 天。資料經過匿名化,以一致的代號取代識別資訊,同時盡量保留互動脈絡和說話風格。研究經倫理委員會核准,參與者明確同意作研究使用。

每位參與者釋出五個檔案,除了原始對話外,另有四個由對話衍生的檔案,每個都標註所依據的原始訊息:

1. Profile:對方明確說過的事實性陳述,附證據引用和信心分數。
2. Persona:從對話推論出的思考、感受與決策傾向。
3. Chat ground truth:針對聊天中的每個探測訊息(probe),標出需要哪些過去資訊,並附參考回覆。
4. Question set:從 profile 產生的 3,312 個問題,分 16 類。

可追溯的推理鏈:chat 標註採五階段流程。Stage A 判斷探測訊息指涉什麼;B 檢索並驗證候選紀錄;C 依固定規則指定層級與類別;D 寫出附引用的參考回覆;E 驗證回覆是否足夠、類別是否恰當。論文強調每個階段只讀前面階段寫下的內容,並在同一次呼叫中寫下決定與理由,因此每個標籤都能逐階段對照原始對話檢查。

取樣設計:資料分三個層(stratum),各對應不同問題:

• Proportional(1,169 筆):隨機抽樣,用來估計自然發生率。
• Enriched(364 筆):刻意挑選需要記憶的案例,用於條件分析。
• Abstention control(434 筆):以 session 開場訊息測試「該不該檢索」。

評測軌道:共三條。Reconstruction 軌道讓三個模型各跑三次,重建 persona,以 exact match、precision、recall、F1 評分。Chat 軌道評估克制能力(false-alarm rate)、檢索表現和回覆品質。Question 軌道則是在 16 類問題上測事實回答。檢索基線包括 random、recency、recency-user、BM25 和 oracle。

實驗結果

發現一:過去很少被需要,而且離得很遠。 在自然比例下,只有約 3.4%(信賴區間 2.5–4.6%)的訊息需要用到過去資訊;採較嚴格的讀法(排除螢幕上看得到的指涉)則降到 1.3%。一旦真的需要記憶,所需訊息的中位距離高達 2,157 則之前。

這使「混合指標」(pooled measures)很容易誤導人。一個只看最近訊息的 recency window,在全部探測中能找到所需訊息的比例是 95.9%,看似很好。但只看真正需要記憶的那一小群,比例只有 2.2%。另一個例子是提供證據的增益:論文的 context ablation 中,給 oracle 訊息相對於最近 3 則訊息提升 +0.140,其中來自「需要記憶」子群的貢獻僅 +0.004,來自「不需要記憶」子群的卻有 +0.104。也就是在自然比例下,約 96% 的增益來自本來就不需要記憶的訊息。對照之下,BM25 這類詞彙檢索找到遠處目標的比例是 24.8%,約為 recency 的 11 倍。

發現二:偵測「何時需要記憶」幾乎做不到。 論文測試的偵測器在真實聊天探測上 AUROC 只有 0.530,接近隨機。但在人工撰寫的問題上,同類偵測器的 AUROC 達 0.802。這表示人工問題的字面本身洩漏了「該去查記憶」的線索,benchmark 因此高估了能力。另一個框架效應:只要把同樣的訊息標示成「檢索到的記憶」,模型使用它們的比例就上升 10 到 14 個百分點。這說明模型是否使用記憶,部分取決於提示怎麼包裝,而不只是內容是否相關。

發現三:成本差異極大,表現卻相同。 三個 agent 系統重建 persona 的 F1 都落在 0.69–0.70,但處理的 token 成本相差 31 倍。HF 頁面列出的模型為 Claude Opus 5.5、Codex GPT-5.6-sol 和 Gemini 3.8 Flash。三者彼此的一致度達 0.86–0.88,但與 ground truth 的吻合只有 0.69–0.70,代表它們傾向犯相似的錯。

意義

這篇論文的價值主要在方法論,而不是又一個排行榜。

首先,它提醒我們評測記憶系統時要分層報告。如果只報一個總分,分數主要反映「不需要記憶的絕大多數訊息」,真正需要記憶的少數案例被稀釋掉。對產品來說也有啟發:既然多數訊息不需要翻舊帳,「何時檢索」和「檢索什麼」同樣重要,不加判斷地每次都塞進記憶,既浪費成本,也可能因框架效應讓模型過度依賴不相關的內容。

其次,它指出人工合成問題的盲點。由於人工寫的問題會洩漏線索,在這類資料上表現好的偵測器,放到真實對話可能接近隨機。這對依賴合成資料訓練或評估記憶模組的團隊是一個警訊。

第三,31 倍成本差距而 F1 相同,顯示在 persona 重建這類任務上,選擇便宜的系統可能沒有明顯損失。當然,0.69–0.70 的上限也說明這項任務遠未解決。

需要注意的限制:資料只有 10 位參與者,且參與者可能有特定族群偏向,結論能否推廣仍待驗證。論文也坦承,風格特徵本身就能讓人重新識別身分(不用內容詞準確率 83%,配合語言模型可達 98%),所以資料以受控方式釋出。範圍上,同理心、未來行為預測和價值觀評估都不在其內。整體來看,RealCompanion 的貢獻是提供一個能檢驗「記憶究竟何時有用」的真實基準,而不是證明某個模型更強。

背景

大型語言模型主要從人類文字學習,但文字常只給出表面的答案,很少交代背後的空間與結構邏輯。例如「A 在 B 的左邊」這類結論很容易寫成句子,但推出結論所需的幾何與拓撲關係,多半沒有被寫下來。

這篇論文選蛋白質摺疊當測試場,理由有兩點。第一,蛋白質結構預測已被視為大致解決的科學問題,有大量可靠的已知結構。第二,只要有一個解好的結構,就能自動產生成千上萬條可以精確驗證的空間與拓撲陳述,例如哪些殘基彼此接近、哪些片段形成接觸、整體連接關係如何。這些資料密度高,答案又能自動檢查,很適合當作 post-training 的監督訊號。

論文要問的是:學會摺蛋白質,能不能教通用語言模型一種可重複使用的推理能力?

需要先說明,我讀到的 Hugging Face 頁面幾乎沒有內容,arXiv 頁面也只有摘要。下文的數字全部來自摘要。資料集規模、訓練超參數、各 benchmark 的逐項分數,我沒有取得,所以不在此編造。

方法

作者提出兩個部分。

FoldingCorpus 是從蛋白質結構衍生出來的問答資料集。每個蛋白質結構會被轉成關於空間與拓撲的問題,答案由結構本身決定,所以能精確驗證。

Fold2Reason 是在這份資料上做 post-training 的配方,同時使用兩種互補的訊號:

1. 離散的結構答案:模型用原生的 language head 以文字形式回答結構問題,這和一般的監督式微調相同。
2. 連續的 3D 幾何:從模型同一組共享的內部表示(hidden representations)解碼出三維座標。

第二個訊號的用意是,不讓模型只學會背出文字答案,而是要求內部表示本身足以重建空間結構。因為兩個訊號共用同一組表示,幾何監督有機會影響之後的通用推理。

基底模型是 Qwen3.5-9B,論文用它當比較基準。

實驗結果

蛋白質結構預測。 在 FoldBench 上,Fold2Reason 的結構預測分數是 Qwen3.5-9B 的 2.7 到 3.5 倍。這個結果算預期之內,因為模型直接在相關資料上訓練過。

跨領域推理。 這才是論文的重點。評測涵蓋 10 個 benchmark,分屬空間、圖(graph)、科學與一般推理四類。Fold2Reason 在 10 個 benchmark 上全部有正向進步,macro-average accuracy 從 45.09% 升到 48.33%,摘要寫的是 +3.23 個百分點(直接相減是 3.24,應是四捨五入造成的差異)。

對照組。 這是最關鍵的部分。作者建了配對的控制組,資料來自隨機結構、合成結構、被打亂的結構。這些對照組的增益「明顯較小或為負」。這排除了一個容易想到的解釋:進步可能只是因為多訓練了一批結構化資料,或是接觸了任何形式的新資料。摘要的說法是,效果來自真實蛋白質結構所帶的內容。

不過摘要沒有給出各 benchmark 的名稱與個別增幅,也沒有說明增益在不同題型之間是否均勻。平均 3 個百分點左右的提升,在單一 9B 模型上是否穩定、是否跨隨機種子重現,仍需要讀完整論文才能判斷。

意義

這篇論文提供了一個有趣的資料來源思路:已解決的科學問題可以當成可擴展、可驗證的 post-training 監督。這類資料不依賴人工標註,答案由物理或實驗事實決定,也不是語言模型自己生成的內容,因此不太會有模型自我強化錯誤的問題。

幾點值得保留的看法:

• 對照設計有說服力。 隨機、合成、打亂三種控制組,直接檢驗「真實結構」是否為關鍵。這比單純報告「加了資料變好」嚴謹。
• 增益幅度不大,但一致。 +3.23 pp 不算戲劇性,但 10 個 benchmark 全部為正,比少數項目大幅進步更能說明這是通用能力的轉移。
• 機制仍待釐清。 摘要只說明了現象,並沒有解釋為何蛋白質結構會改善圖推理或一般推理。是 3D 幾何解碼器塑造了更好的表示,還是問答訓練本身已足夠,需要看消融實驗。
• 外推有限。 目前只看到 9B 規模的結果。更大的模型是否還有同樣收益,論文摘要沒有提到。

如果結論成立,類似思路可以延伸到其他結構密集、可驗證的科學資料,例如晶體結構、分子動力學或材料性質。不過在讀到完整實驗之前,比較穩妥的結論是:這是一個有對照支持的初步證據,而不是已確立的通則。

背景

過去兩年,vision-language-action(VLA)模型是機器人操作的主流路線。做法是把視覺、語言與動作放進同一個模型,再用大量機器人示範資料訓練。這類模型在訓練分佈內表現不錯,但遇到新任務、新環境時,zero-shot 泛化能力仍然有限。VLA 需要專門訓練,所以也很難直接受惠於通用 vision-language model(VLM)的快速進步。每當 GPT、Gemini、Claude 這類通用模型變強,VLA 並不會自動跟著變強。

另一條路線是 agentic 機器人系統:用 VLM 做高層推理,或讓 coding agent 寫程式來控制機器人。這類系統通常得串接許多外部元件,例如學習式的 action expert、coding agent,以及像 SAM3 這樣的 grounding 工具。系統因此更複雜、更貴,各模組的錯誤也會層層累積。

這篇論文的出發點是一個直接的問題:通用 VLM 能不能更像一位人類遙控員(teleoperator)?也就是直接看觀測畫面、下達動作、根據執行回饋持續調整,而不依賴 action expert、coding agent 或 grounding 工具。

方法

作者提出 MotorMind,一套 robot manipulation harness(可以理解為包在 VLM 外面的操作介面與執行框架)。根據論文摘要,它有三個關鍵設計:

1. Mid-level action 表示。 VLM 不輸出關節角度或底層連續控制訊號,而是提出「中階動作」。這些動作的抽象程度,介於「整理桌面」這類高階指令和馬達指令之間。VLM 擅長的是語意與空間推理,把輸出放在這個層級,正好用到它的強項。
2. 確定性的機器人控制與回饋。 VLM 提出的中階動作會交給確定性的(deterministic)控制層執行,執行結果再回饋給 VLM。VLM 只負責「決定做什麼」,精確的運動執行由傳統控制處理。
3. 非同步監控與背景記憶更新。 系統在動作執行期間以非同步方式監看狀態,不必等一整段動作結束才發現失敗。記憶(例如任務進度、先前嘗試的結果)則在背景更新,不會卡住主要的決策迴圈。這讓整個流程比較接近人類操作時邊做邊看、隨時修正的節奏。

整個系統不做 task-specific 的 policy 訓練,不用 coding agent,也不用 SAM3 之類的額外 grounding 工具,感知與決策都由同一個通用 VLM 承擔。

需要說明的是,我能取得的資料只有論文摘要層級的內容,Hugging Face 頁面沒有成功讀到全文。因此中階動作的具體動作集合、非同步監控的實作細節、使用了哪些 VLM backbone,這裡無法確認,也不隨意推測。有興趣的讀者請直接查閱 arXiv 原文。

實驗結果

論文報告了模擬與真機兩組結果。

LIBERO-PRO(模擬):

• 在基礎 suites 上,MotorMind 的成功率是 66.7%。
• 在加入擾動(perturbations)的設定下,成功率是 53.8%。
• 作者比較的先前 zero-shot 方法,最高只有 13.3%(基礎)和 19.2%(擾動)。

以最佳對手來算,基礎設定大約是 5 倍,擾動設定約 2.8 倍。LIBERO-PRO 的重點是測試模型面對物件位置、指令等變化時是否仍然穩健。擾動下 MotorMind 的成功率只從 66.7% 降到 53.8%,下降幅度相對有限。

真實機器人(xArm6):

• 在直接操作(direct manipulation)與人為擾動(human-perturbation)兩類設定下,平均成功率達 95%。
• 同一套介面可以從模擬搬到真機,這點是論文想強調的。

Backbone 與失敗分析:

• 把 backbone 換成更強的 VLM,整體表現會進一步提升。
• 剩下的失敗主要來自三類:visual grounding(把語言對應到畫面中正確物體或位置)、embodied reasoning(對物理與空間關係的推理),以及 action knowledge(知道該用什麼動作完成任務)。
• 作者指出,這三類失敗會隨 VLM 能力提升而減少。

要注意的是,摘要沒有說明比較的 zero-shot baseline 有哪些、任務數量與試驗次數有多少,95% 的真機結果也沒有附帶樣本量。解讀這些數字時,需要回到原文確認實驗規模。

意義

這篇論文的價值,主要在於它提供了一個不同的系統設計思路。MotorMind 把重點放在「介面設計」,而不是訓練更大的專用模型或堆疊更多工具。如果結論成立,通用 VLM 加上合適的中階動作表示與非同步執行框架,就能做到有效的 zero-shot 操作。

這帶來幾個實際影響:

• 能跟著基礎模型一起進步。 系統不綁定特定訓練,換上更強的 VLM 就能受益。論文的 backbone 實驗與失敗分析也支持這個趨勢。
• 降低系統複雜度與成本。 少了 action expert、coding agent 與 SAM3 等外部模組,部署與維護的負擔較小,錯誤傳遞的環節也比較少。
• 瓶頸變得更明確。 剩下的失敗集中在 visual grounding、embodied reasoning 與 action knowledge,代表未來的改進方向可以更聚焦,也可以交給 VLM 本身的進步。

不過也有幾點限制值得留意。VLM 呼叫的延遲與成本、中階動作集合對任務範圍的限制(靈巧、高頻的接觸型操作未必適用),以及 66.7% 的基礎成功率顯示離可靠部署仍有距離。這些都需要看全文才能判斷。整體來說,這是一個值得關注的方向:機器人操作的能力,有一部分可以透過更好的介面直接從通用 VLM 取得,不必都靠專門訓練。