K1 論文詳解

背景

在大型視覺語言模型(VLM)的訓練後段,「on-policy distillation」(在策略蒸餾)是常見的效能提升手段:讓一個「老師」模型引導「學生」模型,針對學生自己生成的回答軌跡,逐 token 比對兩者的機率分布,藉此縮小差距。但這套方法能奏效,前提是老師與學生之間存在「有資訊量的不對稱性」——老師必須比學生「多知道一些東西」,才有東西可以教。過去做法通常有兩條路:一是找一個規模更大、能力更強的老師模型(例如用 235B 參數的模型去教 4B 模型);二是給老師「特權資訊」,例如標準答案、關鍵區域標註(ROI)等 ground-truth 線索。

問題是,這兩條路都有代價:更強的老師模型意味著更高的推論與訓練成本,而特權標註往往取得困難、成本高昂,且不見得能推廣到新任務。論文作者(Yijiang Li、Yijun Liang、Yunjie Tian 等九位學者,分屬 Torr 與 Vasconcelos 團隊)提出一個根本性問題:如果什麼特權資訊都沒有,不對稱性到底能從哪裡「無中生有」?他們的答案相當反直覺——與其替老師「加分」,不如替學生「扣分」。只要讓學生看到的是一張資訊被削減過的圖片,老師依然看著原圖,兩者之間自然就出現了等價的資訊落差,而且完全不需要任何 ground-truth 標註、獎勵訊號,或另外訓練一個更強的老師模型。

方法

依循上述原則,作者提出了 S²VOPD(Self-Supervised Visual On-Policy Distillation)。其核心操作十分簡潔:老師模型看的是原始圖片,學生模型看的是同一張圖片的「強增強」版本,然後在學生自己生成的回答軌跡上,計算老師分布與學生分布之間的逐 token 散度作為訓練訊號,以此更新學生。訓練上,老師端採用指數移動平均(EMA)、以衰減率 η 隨學生緩慢更新,散度則使用廣義 Jensen-Shannon divergence(參數 α=0.5)計算,整體流程不需要任何外部標註。

研究團隊系統性地探索了大量視覺增強設計空間,歸納出三條關鍵規律:第一,「不對稱」本身才是關鍵——四大類增強手法(如降解析度、加噪、裁切、色彩擾動等)只要造成不對稱都能提升效果,但如果老師與學生看到相同的增強(對稱自蒸餾),效果反而會變差;第二,「強度」要適中——增強強度太弱不足以製造有效落差,太強又會把落差變得「有量無質」;第三,增強造成的落差必須「保留任務相關證據」——例如激進裁切雖然能製造巨大差距,但若把問題所需的視覺線索直接裁掉,學生根本學不到東西,反而有害。

基於這些發現,作者篩選出最有效的增強組合:將圖片降採樣到原尺寸的 0.3–0.6 倍且不做回放大處理(藉此減少視覺 token 數量同時保留關鍵資訊),再以 50% 機率疊加 DDPM 風格的高斯噪聲(標準差約 0.11)。這套「降解析度+輕度加噪」的簡單組合,便足以撐起整個 S²VOPD 的訓練訊號。

實驗結果

作者在六個細粒度感知類 benchmark 上驗證方法:V*、Zoom、HR-4K、HR-8K、MME-RW 與 MME-RW-CN(涵蓋高解析度細節辨識與真實世界感知任務)。以 Qwen3.5-4B 為基礎模型,S²VOPD 將平均分數從 70.7% 提升到 77.4%,漲幅達 6.8 個百分點。這個成績超越了所有參與比較的開源模型,包括參數量高達 235B 的 Qwen3-VL,也超過了 GPT-5.4,甚至逼近規模大上百倍的 Qwen3.5-397B 模型的表現。

更值得注意的是額外的遷移效果:在維持訓練資料完全相同的前提下,S²VOPD 不只帶動感知類任務進步(+5.7%),連帶在數學推理 benchmark(MathVista、MathVerse、MathVision)上也提升了 3.7%。相較之下,依賴特權資訊(如 ground-truth 標註或更強老師)的傳統蒸餾方法,有時反而會犧牲推理能力作為代價。而在同樣的訓練資料條件下,S²VOPD 這種完全自監督、不藉助任何特權資訊的做法,已經能拿到「使用特權資訊方法」所帶來改善幅度的 96%——也就是說,幾乎用免費的方式,拿到了原本需要昂貴標註才能達到的效果。

意義

S²VOPD 最大的貢獻,不在於刷新了某個 benchmark 的分數,而在於它提供了一個「不對稱性可以無中生有」的新思路:傳統上大家預設模型蒸餾的效能提升,必然仰賴某種形式的「特權」——更強的老師、更貴的標註、更龐大的算力。這篇論文示範了,只要巧妙地讓學生「看得更少」,就能人為製造出等效的教學訊號,徹底繞開對外部資源的依賴。

這對實務上資源有限的團隊尤其重要:不需要額外標註人力、不需要租用更大的模型當老師,僅靠訓練資料本身與精心設計的視覺增強策略,就能讓一個 4B 規模的小模型逼近甚至超越百倍參數量的模型與 GPT-5.4 級別的商業模型表現。同時,它也提醒研究者:增強手法的設計並非「越強越好」或「差距越大越好」,而是要在不對稱性、強度、任務一致性三者之間找到平衡點——這是一套可以推廣到其他自監督蒸餾、甚至其他模態(如純文字 LLM)訓練的通用設計準則。整體而言,這項工作把「on-policy distillation」的門檻從「需要特權資源」降到「只需要重新設計輸入」,對降低高品質視覺語言模型的訓練成本,具有相當實際的參考價值。

背景

近年來,「世界模型」(world model)蓬勃發展——這類模型能根據文字、動作或攝影機軌跡,生成連續演化的視覺場景,被視為具身智能與長影片生成的關鍵基礎設施。然而,評測這類模型一直是個痛點:傳統做法多仰賴 FVD、PSNR 之類的像素級指標,或是單一分數的人工評分,卻無法回答最關鍵的問題——一段 rollout(模型生成的連續畫面)裡,物理規律是否被遵守?因果關係是否合理?世界狀態(物件位置、光影、場景結構)是否連貫演化?人類評審者可以「一眼看出」物理違規或邏輯斷裂,但現有基準測試把這種判斷壓縮成一個黑箱分數,沒有留下任何可檢驗的推理鏈,導致評測結果難以信任、也難以除錯。

這正是論文《HarnessEval-W: Agentifying the Evaluation of Visual Worlds》(arXiv:2608.16859)想解決的問題。作者團隊由 Weiliang Chen 領銜,共 40 餘位共同作者參與,論文於 2026 年 8 月投稿於 cs.CV 類別。他們借用了 LLM 生態圈裡已經成熟的「harness(測試框架/代理人執行環境)」概念,把它搬進世界模型評測領域,試圖讓評測本身也具備「可解釋的推理」。

方法

HarnessEval-W 的核心思路是:不要用固定的評分表(rubric)硬套每個案例,而是讓一個「父代理人」先理解每個評測案例的具體情境,再把籠統的評測問題拆解成一組可測量的子問題。舉例來說,論文中提到的「Intentional Change Verifier」技能,會把「這段影片是否正確呈現了使用者指定的意圖變化」這個大問題,拆成八個具體的子問題,分別檢查:目標物件是否可見、變化過程是否可觀察、變化結果是否正確、最終狀態是否合理、無關的錨點物件是否被保持不變、有無多餘的意外事件等。

針對每個子問題,父代理人會派生出專門的「子代理人」,並配給它客製化的上下文與診斷工具(例如物件追蹤、幀間比對、時序一致性檢查等)。子代理人各自獨立推理、蒐集證據,再回報給父代理人。父代理人負責驗證這些證據的可信度,並綜合成最終判決。整個過程形成一棵「證據樹」(evidence tree),每一層節點都對應一個可被追溯、可被人工複查的推理步驟——這與過去「輸入 rollout、輸出一個分數」的黑箱模式截然不同。

評測維度上,團隊設計了八大評測子任務,涵蓋 Render Quality(渲染品質)、Physical Observation(物理可觀察性)、Exploratory Transition(探索式轉換)、Intentional Transition(意圖式轉換)、Physical Transition(物理轉換正確性)、Drift Resistance(漂移抵抗力)、Revisit Consistency(重訪一致性)、Offscreen Evolution(畫面外演化)等,力求覆蓋世界模型長期被質疑的弱點:物件會不會憑空消失、場景會不會隨時間漂移走樣、鏡頭移開再移回時場景是否仍保持一致。

實驗結果

團隊將 HarnessEval-W 套用在 18 個具代表性的世界模型上,總計評測 330 個案例,模型陣容分為三類:文字條件生成類(如 Seedance 2.0、Wan 2.7、Kling 3.0、MiniMax H3、Grok Imagine 1.5、FLUX 3、Cosmos3-Super、HunyuanVideo 1.5、Wan 2.2、LTX-2.3)、原生動作條件類(SANA-WM、ABot-World、DreamX-World)、以及攝影機姿態條件類(LingBot World v2、Lyra 2、Fantasy-World、HY-WorldPlay 1.5、InSpatio-World)。

在與人類偏好的一致性上,HarnessEval-W 在「Intentional Transition」子任務上與人類評分的 Spearman 相關係數達到 ρ=0.93(Kendall τ=0.82),在「Physical Transition」子任務上也有 ρ=0.87(Kendall τ=0.74)的高度一致性。相較於既有基準 WBench,改善相當顯著:在 Physical Transition 的成對比較準確率,由 31.9% 大幅提升到 71.7%,同時「平局(draw)」比例由 52.2% 壓縮到僅 1.8%;在 Intentional Transition 上,成對比較準確率由 60.2% 提升到 77.8%,平局率由 36.1% 降到 11.1%。這些數字說明,HarnessEval-W 不只是「更像人類」,更重要的是大幅減少了「無法判斷孰優孰劣」的模糊區間,讓排名更具鑑別力。在總榜上,Seedance 2.0 以總分 75.5/100(滿分 100,涵蓋 330 案例)排名最高。

意義

HarnessEval-W 的貢獻不只是提高了一項基準測試的準確度,而是示範了一種評測哲學的轉移:把 LLM 領域裡「agent + tool use」的成熟框架,遷移到多模態生成評測上,讓分數不再是終點,而是一整條可被驗證的推理鏈。這對正處於快速迭代期的世界模型研究特別關鍵——當研究者質疑「為什麼模型 A 分數比模型 B 高」時,HarnessEval-W 能直接展示證據樹,指出是哪個子問題(例如物件消失、光影不連貫)造成差距,而不是要求所有人盲目信任一個黑箱數字。

此外,團隊選擇將整套流程開源並作為「live benchmark」持續維護,邀請社群貢獻新的評測技能與案例,這意味著隨著世界模型能力演進(例如更長時序、更複雜物理場景),評測框架本身也能同步擴充,而不需要每次都重新設計一套固定的人工評分規則。長遠來看,這種「可解釋、可驗證、可成長」的評測範式,有機會成為多模態生成模型評測的新標準做法,也為未來具身智能系統的安全性與可靠性驗證提供了方法論基礎。

背景

當你對著AI說「幫我做一個中世紀城堡加護城河的場景」,它真的能一步步理解你的意圖、挑選合適的3D模型、把場景擺好、檢查有沒有穿模或漂浮物,最後產出一個可互動的3D開放世界嗎?這正是論文《VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?》(arXiv:2608.15265)想回答的問題。

目前多數3D場景生成的研究,評測方式都偏向理想化:給一個單純明確的指令,看模型能不能生成對應的場景。但現實世界的使用者需求往往模糊、跳躍,甚至帶有圖片參考,同時要求模型具備規劃能力(scene layout planning)、工具呼叫能力(invoke 3D tools)、以及根據視覺回饋反覆修正的能力(reflect on multimodal feedback)。作者指出,現有方法很難系統性地分析多模態代理人(multimodal agent)在這整個「意圖理解 → 工具使用 → 多模態推理」流程中,到底卡在哪個環節。

為了填補這個空白,由來自香港科技大學(廣州)等機構的研究團隊(Yansong Ning、Jingwen Ye、Zhongkai Wu 等人共八位作者)提出了 VibeWorlding 這個統一框架,同時涵蓋「評測基準」與「訓練方法」兩個面向,試圖真正檢驗代理人能否端到端(end-to-end)完成3D開放世界的建構任務。

方法

VibeWorlding 框架主要由兩大部分組成。

第一部分是 VWE-BENCH,一個規模相當大的評測基準,包含:

• 2,616 個高品質3D資產(asset)
• 323 個由人類標註的種子3D世界(seed 3D worlds)
• 6,828 個「反向合成」(reverse-synthesized)出來的多模態使用者查詢

所謂反向合成,是指研究者先有一個已經搭建好的3D世界,再反推出「使用者可能會怎麼下指令才會得到這個世界」,這樣一來每個查詢都能對應到明確的標準答案(ground truth),同時也保留了真實使用者語言的自然度與模糊性。這批查詢又分為兩類:一類是有明確標準答案可驗證的「verified queries」,另一類則是沒有單一正確答案、但設計了詳細評分標準(rubrics)的「unverified queries」,更貼近開放式的真實需求。

第二部分是 VibeWorlding-Gym,一套聯合多模態強化學習(RL)後訓練框架,裡面包含兩個關鍵組件:

1. 沙盒環境(sandbox environment):把資產檢索(asset retrieval)、場景編輯(editing)、圖像渲染(image rendering)統一封裝成 MCP(Model Context Protocol)工具,讓代理人可以透過標準化的工具呼叫介面,在多輪(multi-turn)互動中一步步搭建、調整場景,並即時取得渲染後的視覺回饋。

2. 基於評分標準的驗證器(rubric-based verifier):同時檢查兩件事——「物理可行性」(physical feasibility,例如物件有沒有懸空、穿插、比例錯誤)以及「意圖滿足度」(intent fulfillment,場景是否真的符合使用者原始需求)。這個驗證器不只用於公平地評估不同模型的表現,還能作為可擴展的獎勵訊號(reward),直接餵給強化學習訓練流程使用。

基於這套環境與獎勵機制,研究團隊訓練出了自家的代理人模型系列「VibeWorlder」,包括 8B 參數規模的 VibeWorlder-8B,以及採用混合專家(MoE)架構、總參數量更大但啟用參數僅約3B的旗艦版 VibeWorlder-30B-A3B,另外還搭配了一個專門的 VibeWorlder-Embedding-4B 模型負責資產檢索。

實驗結果

實驗結果相當有意思,也頗為「打臉」目前市面上最強的閉源模型。研究團隊在 VWE-BENCH 上評測了包括 GPT-5.5 與 Qwen3.8-Max 在內的多個前沿多模態大模型(frontier MLLMs),結果顯示:即便是這兩個最強的閉源模型,成功率(success rate)都不到60%。這說明「端到端建構一個符合使用者意圖、物理上又合理的3D開放世界」對現有最強模型來說仍是一個相當困難的任務。

研究者進一步分析瓶頸所在,發現問題主要出在「精確的3D世界編輯」(precise 3D world editing)這一環——模型往往能大致理解使用者想要什麼、也能檢索到還算合適的資產,但在具體擺放位置、調整比例、對齊座標等精細操作上頻頻出錯,導致最終場景與意圖產生落差,或出現物理上不合理的穿模、懸浮等問題。

而在導入 VibeWorlding-Gym 的強化學習後訓練之後,情況有明顯改善:經過RL訓練的開源模型 VibeWorlder-8B 表現已經能與前沿閉源模型打平(comparable),而參數規模更大的旗艦模型 VibeWorlder-30B-A3B 更是在所有受評測模型中拿下最佳的整體 Pass@1成績,超越了包括 GPT-5.5、Qwen3.8-Max 在內的所有閉源前沿模型。這說明針對性的強化學習訓練,確實能有效緩解模型在精確3D編輯上的弱項,讓規模相對較小的開源模型也能反超參數量龐大的商業閉源模型。

意義

這篇論文的價值,首先在於它提出了一個更貼近真實使用場景的評測體系——透過反向合成產生的 6,828 個查詢,加上區分「有標準答案」與「僅有評分標準」兩種查詢類型,讓評測不再只是簡單指令的堆疊,而能真正檢驗代理人在意圖理解、工具鏈調度、多輪視覺回饋修正這整個閉環中的綜合能力。這對於未來想在遊戲、虛擬實境、數位孿生(digital twin)、電商展示等領域落地「一句話生成3D場景」應用的團隊來說,提供了一把更真實的量尺。

其次,「即便是 GPT-5.5、Qwen3.8-Max 這類最頂尖模型成功率仍低於60%」這個結果,清楚指出當前多模態代理人在處理需要精細空間推理與工具鏈操作的複雜任務時,仍存在明顯天花板,單靠擴大模型規模或堆疊訓練資料未必能解決——真正卡住的是「精確編輯」這種需要空間感知與迭代修正的能力,而非單純的語言理解。

最後,VibeWorlder-30B-A3B 能透過 RL 後訓練反超所有閉源前沿模型這件事,再次印證了「針對性的環境+獎勵設計」的強化學習,對於補強大模型在特定弱項上的效果,可能比單純擴增規模或靠純監督式微調更為有效。這也為開源社群提供了一條現實可行的路徑:透過像 VibeWorlding-Gym 這樣把工具鏈與驗證機制標準化(MCP 工具、rubric-based reward)的訓練環境,中等規模的開源模型也有機會在特定複雜任務上與商業巨頭一較高下,對整體AI生態的技術普及與成本降低都具有正面意義。