K1 論文詳解

背景

人類嬰兒在很小的時候就懂得一件事:即使一顆球滾到沙發後面看不見了,它並沒有消失,而是還躺在那裡。這種能力在發展心理學裡叫做「物體恆存」(object permanence),再加上對物體「固體性」(solidity,東西不會互相穿透)的直覺,是人類認知最基礎的先驗知識之一,早在皮亞傑的經典實驗中就被反覆驗證。

近年來,影片生成模型(video generation model)被視為打造「世界模型」(world model)的一條重要路徑——這類模型不只是產生好看的畫面,還被期待能像人一樣理解物理世界如何運作,進而支撐機器人、自駕、具身智慧等下游任務。已有研究觀察到,這些模型似乎「湧現」出了一些推理能力,讓研究者好奇:它們是否也自然學會了物體恆存這種最基本的物理直覺?如果沒有,能不能透過一套專門設計、參考認知科學的資料集,把這種能力「教」進去?

這正是本篇論文《Training Object Permanence in World Models》要回答的問題。研究團隊由 Haotian Zhang 領銜,包含 Philip Torr、Alan Yuille、Nikolaus Kriegeskorte 等 30 位共同作者,結合了電腦視覺與認知科學兩個領域的視角。

方法

研究團隊建立了一套名為 WROP(World Reasoning with Object Permanence)的資料基礎設施。核心做法是先由人手工設計 150 個「認知科學啟發」的任務,這些任務被歸類為六大認知類別,涵蓋物體被遮擋後是否仍存在、物體是否會突然改變形狀或穿透其他物體等不同面向的物理常識測試。

為了讓模型不是靠死記硬背場景表面特徵來「作弊」,團隊用 Blender 打造了一套自動化生成器,能夠隨機調整攝影機角度、光照、物體移動速度等各種與任務本質無關的「干擾參數」,同時保留每個任務背後真正要測試的認知結構。這套生成器讓每個任務都能產出超過 10,000 個樣本,最終匯集成一個規模達 150 萬筆樣本的訓練語料庫,並額外保留一份 300 題的獨立測驗(exam)作為評測基準,確保訓練資料與評測資料不重疊。

在模型面,團隊沒有只用資料集去測試現成模型,而是進一步訓練了一個名為 PWM-WROP 的 160 億(16B)參數世界模型,並以自研的原生 PyTorch 訓練框架 PWM、在 AWS Trainium2 晶片上完成訓練。這代表團隊不只是提出評測集,還實際驗證了「用這套資料訓練確實能提升物體恆存能力」這個假設。

實驗結果

團隊在 300 題的 WROP 考卷上,總共評測了 14 個影片模型,並依生成方式分成三大類:3 個「參考轉影片」(reference-to-video)模型、7 個「編輯」(edit)模型,以及 4 個「延續」(continuation)模型,PWM-WROP 屬於延續類。

評測方式採用盲測成對比較(blind pairwise Elo),也就是讓人類評審在不知道來源的情況下,兩兩比較模型的輸出結果,再用 Elo 分數系統排名——這與西洋棋、電競常用的排名機制相同,能更公平地反映相對強弱,而不只是單一分數的絕對高低。

結果顯示,PWM-WROP 在所有「延續」類模型中排名第一,顯示經過 WROP 資料訓練後,確實能有效提升延續類世界模型的物體恆存表現。若把所有 14 個模型放在一起比較,PWM-WROP 排名第三,僅次於兩個「參考轉影片」模型——而且這兩個排名第一、第二的模型彼此之間的分數差距在統計上被視為打平(statistical tie),換句話說,PWM-WROP 已經非常接近目前表現最好的模型群體,並且是所有延續類、編輯類模型中表現最突出的一個。

考慮到 PWM-WROP 只是 160 億參數規模,相較於許多商用大型影片模型,參數量並不算特別大,這樣的名次相當有說服力,也間接證明了「資料設計」本身可能比單純堆疊模型規模更能針對性地補足特定認知能力上的缺口。

意義

這篇論文的價值不只在於「又訓練了一個更強的模型」,更在於它示範了一種思路:把發展心理學、認知科學裡對人類嬰兒的經典實驗,轉化成可規模化生成的機器學習訓練資料。物體恆存這種能力,人類幾乎不需要專門教就能自然習得,但對於用海量網路影片訓練出來的生成模型來說,卻不見得會自動出現——這提醒我們,「模型看起來很會生成逼真影片」跟「模型真的理解物理世界的基本規則」是兩回事,兩者之間可能存在明顯落差。

對於想打造機器人或具身智慧系統的團隊而言,這意味著單純擴大訓練資料規模或模型參數,未必能保證模型學會最基礎的物理直覺;針對性地設計「核心認知」(core cognition)資料集,可能是更有效率的路徑。

另外值得注意的是,研究團隊選擇把資料集、300 題考卷、各模型的作答結果與分數、PWM-WROP 的模型權重,以及訓練框架 PWM 全部開源釋出。這種完整的開放方式,讓其他研究者不只能重現結果,還能在同一套基準上比較自己的模型,甚至用同一套資料訓練其他架構的世界模型,對於推動整個「世界模型是否真的理解物理規律」這個研究方向的健康發展,會是相當實用的公共資源。

背景

Transformer 架構由 self-attention 與帶有非線性激活的 MLP 堆疊而成,照理說整個計算過程應該高度非線性——把兩段不相關文字的輸入「平均」起來,直覺上應該得到一團語意上毫無意義的雜訊。但這篇由 Pavel Tikhonov、Anton Razzhigaev、Ivan Oseledets 等人合著的論文指出,事實並非如此。他們延續先前「Transformer 其實是線性的」(Razzhigaev et al., 2024)這條研究脈絡——該研究發現殘差流(residual stream)中相鄰層之間的轉換可以被仿射變換(affine map)很好地近似——進一步追問:這種線性性是否也延伸到模型「端到端」的輸入輸出行為?也就是說,如果把兩個 token 序列的 embedding 做逐位置平均後餵進模型,輸出的下一詞機率分佈,是否會近似兩個獨立輸出分佈的平均值?他們把這個現象命名為「Superposition Linearity Hypothesis」(疊加線性假說)。這不只是理論好奇心:如果假說成立,理論上一次前向傳播就能同時處理兩條語意串流,對推論吞吐量和 KV-cache 記憶體佔用都有直接影響。

方法

研究團隊在 Pythia(70M 至 6.9B)、Qwen2.5-3B、Llama-3.2-3B/3.1-8B、OLMo、Gemma-2 等多個模型家族上做實驗,資料則取自 TinyStories 與 FineWeb。做法是把兩段文字 A、B 的 token embedding 逐位置取平均,得到混合輸入 z,送進凍結的預訓練模型,觀察輸出的混合機率分佈 Pmix 是否接近理想的線性混合 Ptarget = 0.5(P(x|A)+P(x|B))。他們用排名分析(比較單一串流預測的 top-1 token 在混合分佈中的排名)、KL/JS divergence 與 Wasserstein 距離,並定義了一個「Superposition Approximation Ratio」RD 來跨模型比較。此外,他們沿 Pythia 的訓練軌跡追蹤隱藏狀態的可加性(additivity),藉此判斷這個現象是架構天生的偏好,還是訓練學出來的能力。為了修復預訓練過程中被削弱的線性性,他們設計了一個自蒸餾(self-distillation)微調方案:凍結一份教師模型算出兩個獨立分佈的平均值當作目標,再用 KL loss 訓練學生模型去逼近這個目標,微調只用了不到原始預訓練資料量 0.025% 的 FineWeb 子集。最後,他們提出 Joint Contrastive decoding,借助一個小型輔助模型分別為兩條串流提供指引 logits,嘗試把混合的隱藏狀態「解疊加」回兩條獨立且連貫的生成結果。

實驗結果

在未經任何修改的預訓練模型上,混合輸入的正確 token 有約 30–40% 的機率落在 top-10 排名內,50–60% 落在 top-50 內,top-100 則可達 60–65%;相較之下,若只是把兩個不相關串流的頻率先驗疊在一起(而非真的線性疊加),top-10 命中率僅 2.63%,差距達一個數量級,說明這不是單純的詞頻效應。訓練動態方面,線性性在初始化時最強,隨著預訓練步數增加而單調變差——證實這是架構固有性質,而非學習而來的能力。經過輕量微調後,Pythia-2.8B 的平均 KL divergence 從 1.86 降到 0.27,RKL 比值從 0.42 降到 0.06,top-5 內找到正確 token 的機率也從約 30% 拉高到超過 60%;更關鍵的是,原本在「內容詞」(content token)上幾乎完全崩潰的中位排名(284)被拉回到 5,exact-match 準確率提升到 22.8%,顯示模型是真的同時處理兩條語意串流,而不只是靠高頻詞蒙混。不過這種修復並非沒有代價:單一串流的語言建模品質會下降,例如 Pythia-2.8B 在 LAMBADA 上的準確率從 0.544 掉到 0.357,Qwen2.5-3B 從 0.602 掉到 0.460。在 Joint Contrastive decoding 實驗中,Qwen2.5-3B 的 LAMBADA 混合準確率從原始的 0.168 提升到 0.345,Llama-3.2-3B 從 0.182 提升到 0.430(相較單一小模型基準的 0.540 仍有差距)。吞吐量測試顯示,這種「疊加」解碼方式比起兩條串流依序生成快了將近 2 倍,記憶體佔用也大幅降低(如 Llama-3B 峰值記憶體從 6.72GB 略增至 9.26GB,遠低於分別跑兩次)。

意義

這篇論文的核心貢獻,是把「Transformer 是線性的」這個觀察從單層幾何關係擴展到整個模型的輸入輸出行為,並證明這種疊加能力是架構內建的,只是會隨著預訓練逐漸被磨損、又能用極低成本的微調找回來。對從業者而言,最實際的想像空間在推論效率:如果能可靠地在一次前向傳播中同時生成兩條連貫的內容,對高並發的 chatbot 或大規模 RAG 系統來說,等於直接省下一半的 KV-cache 與大量重複計算。作者也坦承目前的解碼方法(Joint Contrastive)仍只是概念驗證,幾何平均帶來的「兩個分佈只要有一方機率低就會被懲罰」的結構性障礙尚未完全解決,長文本、多語言與多模態場景也還沒驗證。但這項研究提供了一個新的切入點:與其把「多工處理」當成需要額外模組(如 DataMUX、MIMONets)硬加上去的能力,不如把它視為 Transformer 本來就有、只是被壓抑的潛能,透過針對性微調重新喚醒——這對未來設計更省算力的推論架構,是一個值得繼續挖掘的方向。

背景

過去兩年,「世界模型」(world model)成為生成式 AI 圈的熱門詞:從文字或影片生成一個可以互動的虛擬世界,讓 agent 在裡面探索、操作、甚至規劃行動。問題是,大家評估這類模型時,幾乎都只看「畫面好不好看」——解析度夠不夠高、物體長得像不像、動作流不流暢。但一個真正堪用的世界模型,光是「畫面漂亮」遠遠不夠:當你走出房間再走回來,桌上的杯子還在不在原位?當你對場景做一個編輯指令,只有被指定的物件改變,其他東西是不是原封不動?當你連續做出好幾個動作,模型還記不記得之前發生過什麼?

這篇由 36 位研究者(含資深作者朱松純)共同完成、2026 年 9 月 21 日提交 arXiv 的論文,提出了 HappyWorld-Bench,試圖填補這塊評測空白。他們的核心論點是:評估世界模型不能只看生成品質,還要看「一致性」(consistency)與「回應正確性」(responsiveness)——也就是模型在被探索、互動、修改之後,還能不能維持一個穩定、可信賴的世界狀態。

方法

HappyWorld-Bench 建立了一套「六層能力框架」(W1 至 W6),由淺入深描述世界模型該具備的能力:

• W1(感知/生成構建):畫面語意正確、結構連貫
• W2(互動):動作驅動的狀態轉換,要符合物理與因果律
• W3(持久性):長時間互動下仍能維持空間結構與物件身分
• W4(可編程):支援明確的介入操作,且因果能正確傳播
• W5(可擴展):多 agent 共享環境下的同步能力
• W6(統一世界建模):生成、模擬、規劃三者整合

在這個框架下,團隊把評測拆成三條獨立賽道:影片世界模型、空間世界模型、具身世界模型(embodied world models)。三條賽道分別準備了 1,138 個影片 prompt、300 個空間場景、254 個具身測試案例,涵蓋機器人、室內外環境、自然場景等九大應用領域。

評測方式是「人機並用」。一方面,團隊架設了 HappyWorld-Arena,讓真人對模型輸出做 A/B 比較,再換算成 Elo rating,類似 Chatbot Arena 的做法;另一方面,針對每個賽道設計了自動化指標,專門捕捉「行為正確性」,而不只是視覺相似度。以影片賽道為例,評測拆成四個維度:感知與表徵(畫面品質、指令遵循)、一致性與狀態保持(幾何連貫、材質穩定、物件持久)、因果性(物理合理性、事件先後順序、接觸有效性)、可控性(軌跡準確度、動作執行、介入有效性)。空間賽道則沿著 W1 到 W5 遞進評估,涵蓋視覺品質、導航與支撐、一致性、編輯執行、場景擴展;具身賽道同樣用感知、一致性、因果性、可控性四個正交維度評分。

實驗結果

團隊總共評測了 14 個影片世界模型、9 個空間系統、8 個具身候選模型,結果一致顯示現有模型在「可靠性」上仍有明顯落差:

• 影片賽道:表現最好的模型是 HappyOyster(Elo 1263)與 Genie 3(Elo 1206),但即使是頂尖模型,在長時間 rollout 與「重返舊場景」時,一致性也會明顯下滑——換句話說,W1 畫面品質好,不代表 W2、W3 的狀態持久性也好。
• 空間賽道:表現最佳的 HYWorld-2.0,物件擺放準確率(placement accuracy)也只有 70.14%,編輯執行率(edit execution)則是 73.33%。也就是說,大約每三到四次操作,就有一次擺錯位置或編輯失效,而且視覺品質高並不保證幾何結構真的「可導航」,物件層級的持久性依然是弱項。
• 具身賽道:表現最好的 MiniMax-H3 在 W2(互動)拿到 93.60 分、W3(持久性)91.42 分、W4(可編程)88.62 分,但整體賽道仍常見「從未建立接觸」「操作到錯誤目標」「場景無因憑空改變」等失誤;模型難以在多步驟動作之間保留狀態,對「改變後的動作條件」或「修改過的物理規則」也反應遲鈍,幾乎感覺不到規則變了。

這些數字說明一件事:視覺生成能力(W1)已經相對成熟,但往上走的互動、持久、可編程能力(W2-W4),目前主流模型普遍不及格。

意義

HappyWorld-Bench 的價值不只是「又一個 benchmark」,而是把世界模型評測的重心從「畫面像不像」轉向「世界撐不撐得住」。這對想把世界模型用在機器人規劃、自動駕駛模擬、遊戲互動內容生成等實務場景的團隊來說,是一記警鐘:一個模型就算 FID、CLIP score 再漂亮,只要沒辦法在多輪互動中保持狀態一致、正確回應動作與規則變化,就不能真正拿去做下游決策或控制。

透過統一的 W1-W6 框架與跨三條賽道的自動化指標加 Elo 排名機制,這篇論文也提供了一套可重複、可比較的評測基礎設施,讓後續研究者能定位自己的模型究竟卡在哪一層能力——是感知不夠好,還是持久性、可編程性撐不住。對整個世界模型領域而言,這意味著接下來的競爭焦點,很可能會從「誰生成得更逼真」轉移到「誰的世界更經得起互動與修改的反覆考驗」。