K1 論文詳解

背景

過去兩年,影片生成模型的進步速度驚人,從 Sora、Kling 到 Wan、Veo 系列,不少研究團隊已經開始把這類模型稱為「世界模型」(world model)——意思是它們不只是在畫漂亮的影片,而是在學習真實世界的物理與因果規律,可以用來預測「接下來會發生什麼」。這個框架被寄予厚望,因為如果一個模型能準確模擬物理世界的動態,它就能被用在機器人規劃、自動駕駛模擬,甚至科學推演等場景。

但現有的評測方式有一個根本盲點:它們大多只檢查「單一一段生成影片」看起來合不合理(plausibility),卻沒有檢查模型「反覆生成多次」是不是真的抓住了正確的機率分佈。這件事很關鍵,因為真實世界中很多物理過程本來就不是唯一結果——把鉛筆立在桌上倒下,可能往左倒也可能往右倒;把球丟出去,落地位置有一個機率範圍;兩個物體相撞,可能彈開、可能疊在一起、也可能翻倒。一個真正「懂物理」的世界模型,應該要在給定同樣的初始畫面與動作條件下,重複取樣多次後,重建出與真實世界一致的「結果分佈」,而不只是每次都生成一個看起來合理但頻率完全不對的結果。

論文把這個要求命名為「機率對齊」(probabilistic alignment):模型不僅要能生成似真的軌跡,還要能在分佈層級上匹配真實世界的可能性。作者提出核心問題——現有的影片生成系統,距離做到機率對齊的世界模型,到底還有多遠?這篇論文(arXiv:2608.27345)由 Yuandong Pu 領銜、共 14 位作者(包含 Sayak Paul、Yu Qiao 等)完成,試圖用一套系統性的 benchmark 來回答這個問題。

方法

為了量化「機率對齊」,作者提出了兩個互補的工具:PAWBench(評測資料集)與 PAWEval(評測協定)。

PAWBench 涵蓋 50 個精心設計的物理情境,分成兩大類、各 25 個:

• PAW-Calibration(校準組):包含拋擲、旋轉、路徑選擇、抽牌等任務,這些情境的參考機率分佈可以用物理定律或數學方式精確計算出來(例如硬幣正反面各 50%,鉛筆倒下方向的機率取決於初始角度),因此可以直接拿模型生成結果的分佈去跟「標準答案」比對。
• PAW-Coverage(覆蓋組):包含碰撞、穩定性、多主體互動、材質轉變等任務,這些情境雖然存在多種合理結果,但無法精確定出每種結果該有的機率,只能檢查模型是否「覆蓋」到了所有合理的結果範圍。

PAWEval 則是把「重複生成的多段影片」轉換成「經驗機率分佈」的評測流程:對同一個初始畫面與動作條件,讓模型生成 50 次 rollout,再用讀取器(outcome reader)判斷每次生成落在哪一個結果類別,統計出來的頻率就是模型的「經驗分佈」,再拿去跟參考分佈比較。核心指標包括:

• Total Variation Distance(TVD,總變異距離):衡量模型生成分佈與參考機率分佈之間的差距,乘以 100 表示,數字越低代表對齊得越好。
• Valid-Support Recovery(有效支撐覆蓋率):模型在多次 rollout 中,實際觀察到多少種合理結果類型。
• Scene Pass Rate(SPR,場景通過率):在 50 次 rollout 中,是否至少有 20 次生成結果可被清楚判讀,用來過濾掉生成品質太差、無法被穩定讀出結果的場景。

除了評測本身,作者還做了三種「介入實驗」,測試能不能透過外部手段扭轉模型的預測分佈:(1)用語言提示工程(以 GPT-5.5 生成的 prompt)引導模型;(2)用「耦合噪聲取樣」(Coupled-to-Coverage,C2C)技巧改變初始噪聲的取樣方式;(3)用 LoRA 微調,直接調整訓練資料中不同結果的比例。

實驗結果

作者一共測試了 11 個目前主流或次世代的影片生成系統,涵蓋 Veo3.1 Fast、Kling 3 Std.、Seedance 2、Wan2.2/Wan2.7、LTX-2.3/2.5、Cosmos 3 Super I2V、MiniMax H3、LingBot-Video-MoE 等。

結果相當一致:沒有任何一個模型能同時做到「機率準確」與「覆蓋所有合理結果」。在 PAW-Calibration(校準組)上,表現最好的是 Cosmos 3 Super I2V,TVD 為 20.5(分數越低越好),場景通過率 80.0%;其次是 MiniMax H3,TVD 24.2、通過率 68.0%。但這些「機率相對準」的模型,往往在覆蓋率上不夠廣;反之,在 PAW-Coverage(覆蓋組)表現較好的 LTX-2.3 平均覆蓋率達 71.7%(通過率 72.0%),LTX-2.5 覆蓋率 57.4%(但通過率高達 88.0%),說明覆蓋率與可讀性、機率準確度之間存在明顯的取捨關係。

介入實驗的結果也很有意思:

• 語言提示工程:先讓 VLM(GPT-5.5)自己預測物理結果的分佈,結果 TVD 高達 44.3,顯示模型在生成影片之前,對物理機率的「常識判斷」本身就是偏的。就算直接把目標機率寫進 prompt(oracle prompt engineering),TVD 雖然能降到 10.8–18.0,但影片生成器實際能「兌現」這些指定目標的比例只有 37.6%–58.1%,顯示語言層面的指令對底層生成分佈的控制力有限。
• 耦合噪聲取樣(C2C):效果普遍溫和,例如 Wan2.2 的 TVD 從 26.3 降到 25.7,LTX-2.3 從 30.1 明顯降到 19.9,但作者強調這只是在「有限的生成樣本庫」裡做更廣泛的探索,並沒有真正改變模型內部學到的分佈。
• 訓練資料介入:用 LoRA 對 Wan2.2 做微調,調整訓練資料中「鉛筆左倒 vs 右倒」的比例(0%–100%),結果出現非線性、甚至反直覺的反應——例如把左倒訓練比例調到 80% 時,「直立鉛筆」情境的 TVD 反而惡化到 50.0,而「左傾鉛筆」情境卻降到 0.0,呈現出跟目標相反的效果。更重要的是,同一個調整方向會讓兩個原本該獨立變化的場景同時往同個方向移動,顯示目前的訓練介入手段只能做到「粗粒度」控制,無法針對單一情境精準調校機率。

意義

這篇論文的核心貢獻,不是提出一個更強的影片生成模型,而是揭露了一個被長期忽視的評測缺口:業界對「世界模型」的討論,幾乎都停留在「這段影片看起來像不像真的」,卻很少有人問「這個模型反覆生成,結果的機率分佈對不對」。PAWBench 和 PAWEval 把這個模糊的直覺,轉換成了可以量化、可重複測量的指標體系,涵蓋 50 個場景、11 個當前最先進的系統,建立了一個具體的基準線。

其現實意義在於:如果影片生成模型未來要真正被用於機器人規劃、自動駕駛的風險評估、物理模擬,乃至科學實驗設計,「單次生成合理」是遠遠不夠的——下游應用往往需要對「所有可能結果及其發生機率」有正確認知,才能做風險評估或決策規劃。這篇論文證明,即便是目前最先進的 11 套系統,沒有一個能同時滿足機率準確與結果覆蓋這兩個條件,而且無論是靠 prompt 工程、取樣策略調整,還是輕量微調,都無法穩定地「重塑」模型的預測分佈,暗示這個問題可能根植於模型的預訓練資料與目標函數,而非簡單的推論時調整可以解決。

對於研究社群而言,這篇論文提供的不只是一個排行榜,而是一個新的研究方向:如何在訓練階段就把「機率對齊」作為明確目標,而不是把物理正確性簡化成「畫面看起來合理」。對於正在評估或採用影片生成模型作為模擬引擎的工程團隊,這也是一個提醒——在把這些模型當作可靠的「世界模擬器」使用之前,應該先用類似 PAWEval 這樣的分佈級指標去驗證,而不能只看幾個精選的示範影片就下結論。

背景

多模態大型語言模型(MLLM)近年在「看懂一張街景照片」這件事上表現得越來越好——認出招牌、判斷方位、描述周遭環境幾乎已是基本功。但問題是:當這些模型被放進一個會議室以外的真實城市,要求它們「邊走邊看、邊看邊決定下一步」時,原本看似可靠的局部感知能力,是否還能撐起一整段連續、有目標的行動?這正是 UrbanGround 這篇論文(arXiv:2608.27456)想回答的核心問題。

論文作者群(共 18 位研究者)指出,過去對 MLLM 空間能力的評測大多停留在「單張圖片問答」層次,例如給一張街景圖問「你面向哪個方向」,卻很少測試模型在移動過程中,是否能把一次次的局部判斷,累積成真正可靠的長程導航行為。為了讓這個問題「可被測試」,團隊打造了 UrbanGround——第一個以香港全域三維地理空間資料重建、具物理約束的真實尺度城市沙盒。這不是抽象的網格地圖,而是可以第一人稱視角走進去、有街道、有行人、有路況變化的擬真城市環境,並提供互動地圖輔助導航。

方法

UrbanGround 支援「閉迴路互動」:agent 不是被動接收一連串圖片後一次性作答,而是像真人一樣主動觀察、移動、再觀察,形成感知與行動不斷交替的循環,並設有 100 步的行動上限。研究團隊設計了 810 個人工驗證過的基礎任務實例,分布在香港各處,並依難度組織成 5 個評測層級、13 種任務類型,讓問題的複雜度隨著研究脈絡逐步升高,對應三個層層遞進的研究問題(RQ):

• RQ1(局部定位/Grounding):agent 經過主動觀察後,能否正確回答關於當下場景的空間問題?例如物體辨識、方位判斷。
• RQ2(導航延展):當目的地變得更遠、指示變得更模糊(不再是「往前走十公尺右轉」,而是「去最近的那間便利商店」),局部的場景理解還能不能支撐起完整的路徑規劃與多站任務?
• RQ3(環境穩健性):當路線因封路等原因臨時不可用、或周遭有行人在移動時,agent 的行為是否還能維持安全與合理?

團隊測試了九個 MLLM 家族,涵蓋 GPT-5.5/5.4/5.2、Claude-Opus-5/4.6、Gemini-3.6-Flash/3.1-Pro,以及 Doubao-Seed-2.0-Pro、GLM-5V-Turbo、Kimi-K3 等模型,力求涵蓋當前主流商業與開源多模態模型的能力光譜。

實驗結果

實驗數字呈現出清楚的「能力斷層」:

在 RQ1 局部感知層面,模型的視覺辨識準確率落在 75.0%–93.8%,表現相對穩健;但方位理解(orientation)準確率僅 23.3%–58.3%,是明顯弱項;主動探索任務完成率為 46.3%–82.5%,人行道網絡遵循度則有 59.1%–93.0%。也就是說,「看懂眼前這一幕」對多數模型而言不算太難。

但進入 RQ2 導航任務後,情況急轉直下:短程導航成功率還有 15.0%–75.0%,長程導航成功率卻驟降至 0.0%–3.8%,幾乎可說是全面失敗;依賴模糊指示的導航任務成功率為 6.0%–42.0%;需要規劃多個停靠點的任務成功率更只有 0.0%–3.3%。

RQ3 的穩健性測試同樣不樂觀:面對臨時封路,agent 能安全推進任務的比例僅 10.0%–46.7%;即便在人行道網絡遵循度看似不錯的情況下,與行人的碰撞率卻高達 76.3%–90.0%,顯示模型「知道該走哪條路」和「真的能安全地走」是兩回事。

論文將這個現象總結為:局部能力(辨識、短程推理)本身沒有太大問題,但這些「原子能力」無法在長時間探索中組合成持續、有目標導向的行為——誤差會隨著步數不斷累積,且模型缺乏有效的自我修正機制,一旦走偏就很難拉回正軌。

意義

UrbanGround 的價值不在於又推出一個「更難的 benchmark」,而是第一次把「城市尺度、閉迴路、真實物理約束」這三個條件同時做到位,讓研究者能夠拆解「感知」與「行動」之間到底在哪個環節斷裂。過去許多空間推理評測容易讓人誤以為 MLLM 已具備接近人類的城市導航能力,但這篇論文用具體數字戳破了這個假象:短程任務的高分,並不能外推到長程、模糊指示、動態環境下的可靠表現——長程導航成功率不到 4%,就是最直接的警訊。

這對想把 MLLM 應用於送貨機器人、輔助導盲、城市級具身智能(embodied AI)代理等實際場景的團隊,是一記重要提醒:目前的「聰明」更多是靜態場景理解上的聰明,而非動態環境中持續、可信賴的決策能力。作者也期待 UrbanGround 能成為後續研究的公共測試平台,推動社群更系統性地研究 MLLM agent 在複雜開放城市環境中「到底能探索多遠」,而不是僅僅停留在單張圖片問答的表面成功。

背景

過去一年，數學推理能力的快速進步很大程度上要歸功於「後訓練」（post-training）方法，特別是強化學習（RL）與 On-Policy Self-Distillation（OPSD，線上自我蒸餾）。這兩類方法都能讓大型語言模型在解題時展現更強的思考鏈能力，但它們有一個共同的硬傷：都需要「標準答案」（ground-truth labels）才能計算獎勵或當作蒸餾目標。這意味著一旦模型部署到真實世界，面對使用者丟過來的、沒有標準答案的新題目時，這些方法就完全派不上用場——也就是說，它們無法支援「測試時訓練」（Test-Time Training, TTT），也就是模型一邊做題、一邊用當下遇到的題目持續進步。

一個很自然的替代方案是用「多數投票」（majority vote）產生偽標籤：讓模型針對同一題採樣 K 條推理路徑，把答案相同的路徑歸為一群，取最大群的答案當作偽標籤，再拿這個偽標籤去訓練模型（這正是 TTRL 等既有方法的做法）。但這個方法很脆弱：只要多數票本身是錯的，這個錯誤的「老師」就會汙染訓練訊號，把每一個 token 的學習方向都帶偏。論文作者觀察到，在困難題目上，多數票偽標籤本身高達約 85% 是錯的——這幾乎讓「相信多數票」的策略成了一場賭博。

TTPO（Test-Time Policy Optimization）這篇論文的出發點，正是要解決「偽標籤不可靠」這個核心矛盾。研究團隊來自浙江大學（ZJU-REAL 實驗室），作者包括 Aozhe Wang、Zhengxi Lu、Jianze Wang 等十一人，論文於 2026 年 8 月發表在 arXiv（編號 2608.27448）。

方法

TTPO 的關鍵洞察是一個「不對稱」現象：雖然多數票本身經常出錯，但那些不同意多數票的推理路徑（disagreeing rollouts），無論多數票對不對，本身幾乎都是錯的——論文統計顯示，約 79% 的「不同意」路徑確實是錯誤答案。換句話說，多數票作為「正面訊號」不夠可靠，但作為「反面訊號」（篩選出錯誤路徑）卻相當穩健。

基於這個觀察，TTPO 設計了一個不對稱的訓練目標，把模型採樣出的多條推理路徑分成兩派分開處理：

1. 同意多數票的路徑（正面分支）：用 OPSD 的方式做蒸餾，也就是讓模型的策略去逼近這些「看起來正確」的路徑，強化這類推理模式。
2. 不同意多數票的路徑（負面分支）：用 Grouped RL（類似 GRPO 的分組強化學習）施加懲罰，壓低這些路徑被選中的機率。

更細緻的是，TTPO 在 token 層級也做了篩選，避免「一刀切」造成的誤傷：

• 在蒸餾分支，對模型已經收斂、判斷把握很高的 token 位置降低權重（因為這些位置已經學得差不多了，硬蒸餾反而可能引入雜訊）；
• 在 RL 懲罰分支，只針對「模型自己也很有信心、但其實錯了」的 token 施加懲罰，而不是全盤否定整條路徑（因為一條被判定為錯誤的路徑裡，可能仍有部分推理步驟是合理的，過度懲罰會破壞這些局部正確的推理片段）。

這種設計讓兩個分支的更新即使在偽標籤頻繁出錯的情況下，依然「站得住腳」（well-grounded）：正面分支不會被少數混進來的錯誤路徑帶偏太多，負面分支則專挑真正有問題的 token 下手。此外，隨著模型在測試過程中不斷自我優化，多數票路由本身也會變得更準，形成一個「自監督訊號隨模型變強而變緊」的正向循環。

實驗結果

TTPO 在 Qwen3 系列模型（1.7B、4B、8B 三種規模）上，於五個競賽級數學基準（AIME25、AIME26、HMMT25、HMMT26、BRUMO25）上進行了完整評測，並在完全不使用任何標籤的情況下，達到了與「有標準答案監督的 OPSD」相當的水準。

具體數字上，在測試時訓練（TTT）情境下：

• Qwen3-1.7B 從 38.0% 提升到 45.2%，提升了 7.2 個百分點；
• Qwen3-4B 從 57.4% 提升到 61.1%；
• Qwen3-8B 從 60.7% 提升到 65.3%。

更引人注目的是「非思考模式」（without thinking，即不啟用長鏈思考、直接生成答案）下的表現：

• Qwen3-1.7B 從 9.5% 大幅躍升到 34.7%（+25.2 個百分點）；
• Qwen3-4B 從 19.9% 提升到 50.5%（+30.6 個百分點）；
• Qwen3-8B 從 20.3% 提升到 56.7%（+36.4 個百分點）。

這個「非思考模式」下的巨大增幅特別值得注意，因為它排除了「模型只是想得更久所以答得更準」這種可能性，顯示 TTPO 帶來的確實是模型內部推理能力的實質提升，而不只是推理長度的堆疊。

在使用 OpenThoughts 數據集做常規訓練（有思考鏈）的對照實驗中，TTPO 同樣帶來穩定增益，例如 Qwen3-8B 從 58.6% 提升到 62.6%。論文也透過策略熵（policy entropy）分析指出，相較於 TTRL、直接套用 OPSD（會有標籤洩漏問題）等基線方法，TTPO 能維持較高的策略熵，代表模型沒有過早收斂、喪失探索多樣解法的能力——這通常是自我訓練類方法容易踩的坑。此外，論文也展示了跨任務的泛化能力：僅在單一競賽的數據上訓練後，模型在其他競賽基準上依然有明顯提升。

意義

TTPO 的意義在於，它把「後訓練」與「測試時訓練」之間長期存在的鴻溝往前推進了一大步。過去，強化學習與自我蒸餾這類方法效果雖強，卻被「必須有標準答案」這道門檻鎖死在離線訓練階段；而像 TTRL 這樣直接套用多數票偽標籤的簡單方案，又因為偽標籤本身錯誤率高（本文指出困難題目上高達 85%）而效果不穩定，甚至可能讓模型越訓練越差。

TTPO 提出的「不對稱處理」思路——不完全相信多數票這個「老師」，而是善用「不同意即多半錯誤」這個更可靠的訊號——是一個簡單但頗具洞察力的設計選擇，也提供了一種通用範式：與其追求偽標籤的絕對正確性，不如針對偽標籤的錯誤模式（error pattern）做針對性的降噪處理。這對於任何依賴自我生成訊號進行訓練的場景（不只是數學推理，未來也可能延伸到程式碼生成、代理任務等有明確可驗證答案的領域）都有參考價值。

從實用角度看，TTPO 讓模型能夠在部署後，隨著使用者不斷丟入新題目而持續自我進化，不需要額外標註成本，這對於將大型語言模型應用在教育、競賽輔導、或任何缺乏即時標準答案的長尾場景，都有直接的商業與工程意義。同時，較小模型（如 1.7B）在 TTT 情境下獲得的相對增幅最大，也暗示這類方法未來或許能讓輕量化模型在特定領域「以練代訓」，逐步逼近更大模型的表現，降低整體部署與推理成本。