K1 論文詳解

背景

近年來影片生成模型進步飛快，但要讓生成內容真正符合人類偏好，強化學習（RL）幾乎是必經之路，而 RL 的成敗關鍵，往往取決於「獎勵模型（reward model, RM）」是否可靠。問題是，現有的影片獎勵模型大多把一段複雜、主觀、多維度的影片品質，直接壓縮成一個純量分數（scalar score）——不管是判別式模型（如 VideoScore、VideoReward）用回歸頭輸出連續分數，還是生成式模型（如 UnifiedReward、VideoScore2）讓多模態大語言模型（MLLM）直接吐出一個數字，本質上都是「無約束打分」：模型沒有明確的標準,告訴自己 1 分到 5 分各代表什麼。

這篇來自中科院自動化所、港科大與騰訊團隊的論文（arXiv:2609.22947）將這個現象定義為「尺度漂移」（scalar drift），並指出它有兩種交織的病徵：一是「分數範圍塌縮」（score-range collapse），也就是模型傾向把絕大多數影片都打在一個安全的高分區間，導致好壞影片之間的分數差距被壓扁，RL 訓練時梯度幾乎是平的；二是「情境轉換下的高變異」，同樣的內容只要換個問法或調換比較順序，模型給出的分數或偏好判斷就會不穩定。

作者做了一個很有說服力的診斷實驗：讓 Qwen2.5-VL-7B 在 240 部影片、16 個評分維度上直接打分（無評分量表、自然語言輸出），結果 240 對裡只有 58 對能給出有區分度的分數，其餘全部「打平」。即便換成連續期望值讀出（soft-logits），標準差也只有 0.258，遠低於人類評分的離散程度。更誇張的是,把六個現有主流獎勵模型的分數分佈攤開來看,VideoReward、VideoScore-v1.1 集中在低分區,VisionReward、VideoScore2 又擠在高分區——幾乎沒有一個模型的分數分佈真正貼近人類標註。

方法

團隊從專業人工標註流程中得到啟發：真正的人類評審很少直接給總分，而是先把任務拆解成明確的評分準則（rubric），再逐條打分。於是他們提出 RewardVerse，在「查詢」與「打分」之間插入一個**動態評分量表（dynamic rubric）**作為中介表徵，把評分拆成兩步：

1. 量表生成器（Rubric Generator）：只看查詢 q =（維度 d，文字提示 p），完全不接觸候選影片，輸出若干個「主題（theme）＋權重＋執行提示（tips）」的結構化量表。刻意不讓生成器看到影片，是為了避免量表被影片品質「帶壞」（比如對爛片放水、對好片吹毛求疵）。
2. 打分器（Scorer）：拿到量表後，針對每個主題,從「1」到「5」這五個評分詞元的 logits 算出加權期望值（soft-logits readout），再依權重加總成最終分數。這種讀出方式避開了要求模型輸出乾淨 JSON 整數時常見的解析失敗問題。

單靠靜態量表還不夠——實驗顯示，量表配合自然語言生成時，三分之二的成對比較仍然「打平」，因為自然語言輸出仍被模型的高分語言先驗綁架；只有「量表+soft-logits」組合（V3）才能同時把標準差從 0.258 拉高到 0.471（提升 82.6%），達到 240/240 全部可區分。

為了讓生成器與打分器一起進化，論文提出兩階段訓練演算法 RGPO（Rubric-Guided Policy Optimization），建立在 GRPO 之上：

• Stage 1（打分器暖身）：先用一個離線的「提出—驗證—修訂」循環，讓 Gemini-3.1-Pro 針對每個維度僅用 30 組偏好對，自我演化出 5 條代表性的「種子量表」。接著固定量表,只更新打分器角色,用偏好獎勵（讓偏好影片分數高於非偏好影片）加上格式獎勵，並引入「人類對齊邊際校準損失（margin calibration loss）」，讓分數差距的大小也貼近人類標註的真實差距，而不只是排序正確。
• Stage 2（聯合優化）：從 Stage 1 checkpoint 出發，讓生成器學習依查詢生成客製化量表，獎勵訊號包含偏好分離度、格式正確性,以及與種子主題的語意相似度（用 BGE-M3 embedding 算餘弦相似度）。特別的是，打分器在這階段不直接吃這個相對獎勵，而是繼續用校準損失更新，避免它「作弊」——只靠拉大分數差距騙獎勵,而不真正校準。

整套訓練只用了 16 個維度 × 30 對 = 480 組偏好對，在 Qwen2.5-VL-7B（7B 參數）上跑,8 張 H20 GPU，每階段僅一個 epoch、約 60 個優化步驟，資料效率相當高。

實驗結果

論文在自建的 EvalVerse 16 維度測試集（1K 筆留出樣本）與外部大規模成對偏好基準 **VideoGen-RewardBench（VGRB，2.65 萬組影片對）**上驗證：

• 逐維度相關性：RewardVerse 在 16 個維度中有 14 個維度拿下最高 PLCC，宏平均 PLCC 達 0.554、SRCC 達 0.446，遠勝六個對照模型（VideoScore-v1.1、VideoScore2、UnifiedReward、VideoReward、VisionReward、Q-Scorer，宏平均 PLCC 介於 -0.03 至 0.47）。在「邏輯剪輯」（Logic）維度上 PLCC 達 0.750，遠勝次佳的 0.593；在「動作」（Action）維度上 0.566 對比次佳的 0.390。相對地，VideoScore-v1.1 在 Logic 維度的 PLCC 甚至是 -0.245，顯示既有模型在細粒度、需要時序推理的維度上校準極差。
• 成對遷移（VGRB）：在訓練時「見過」的 Visual Quality 分割上，RewardVerse 以 0.545（含平局）/0.660（不含平局）的準確率超越最強非oracle基線 VisionReward 達 7.1 與 7.0 個百分點；在訓練時「沒見過」的 Text Alignment 分割上，也拿下最高準確率（0.471/0.623），顯示修正尺度漂移能同時提升跨維度、跨資料分布的泛化能力。
• 消融實驗：拿掉 Stage 1 暖身，PLCC 掉 0.099、SRCC 掉 0.061；拿掉 Stage 2 聯合優化，PLCC 掉 0.074；把量表拿掉、改成同樣 480 對預算的純粹點對點訓練，PLCC 只有 0.439，遠低於完整版的 0.530——證明「量表」這個中介表徵本身在低資料量情境下就是關鍵。
• 下游 RL 驗證：把 RewardVerse 當作獎勵，對 140 億參數的影片生成模型 Wan-2.2-A14B 做 GRPO 微調（僅優化 Visual Quality 維度），Imaging Quality 從 0.640 提升到 0.653，VBench-Text 從 0.428 提升到 0.446,VBench-Quality 維持穩定（0.808→0.809）。對照用 VideoReward 當獎勵，雖然 Imaging Quality 也提升到 0.648，但 VBench-Quality 和 VBench-Text 反而分別掉到 0.804 與 0.392——顯示 RewardVerse 較不容易誘發「獎勵駭客（reward hacking）」，也就是模型鑽漏洞討好獎勵模型卻犧牲整體品質。
• 附錄還測了 Gemini-3.1-Pro 在 1K 大規模測試集上的表現：加入量表後 PLCC 從 0.490 提升到 0.593（相對提升 21%），SRCC 從 0.480 提升到 0.564（相對提升 17.5%），證明這套「量表即中介表徵」的思路在更強的閉源模型上同樣有效。

意義

RewardVerse 的核心洞見其實很直覺：與其要求 AI 模型「憑感覺」給一個數字，不如先讓它像專業評審一樣，把抽象的「好」拆解成具體可檢核的準則，再依準則逐項打分。這種做法呼應了近期 LLM 領域「rubric-as-reward」的思路（如 HealthBench、RaR、OpenRubrics 等），但 RewardVerse 是首個把這套邏輯系統性地帶入影片這種高維度、強時序、高主觀性的生成任務,而且做到了「量表本身也可學習、可依查詢動態調整」，而不是寫死的固定檢查清單。

對於做 RLHF／RL 微調影片生成模型的團隊來說，這篇論文最實際的價值在於資料效率：僅用每維度 30 組偏好對（總共 480 組）就能訓練出優於現有 SOTA 的獎勵模型，這對標註成本高昂的影片領域是很大的吸引力。同時，soft-logits 讀出機制解決了 JSON 解析失敗率高達 46.7%～53.3% 的實務痛點，也提供了一條在生產環境中部署穩定 RL 獎勵訊號的可行路徑。作者也坦承限制：目前只驗證了 7B 規模的骨幹模型與單一 14B 生成模型,量表主題層級的分數尚未被直接校準，未來仍需在更大規模、更強骨幹上驗證這套框架是否持續有效。整體而言，這是一篇把「評分標準化」這個人類專業評審的常識，扎實轉化為可訓練 RL 訊號的工程化嘗試，對影片生成領域的獎勵建模具有參考價值。

背景

人類天生擅長透過雙耳線索判斷聲音來自哪個方向,再結合眼睛看到的畫面做出判斷與決策——聽到背後有腳步聲就會回頭看,聽到水流聲就知道廚房在哪個方位。但對於具身智能(embodied agents,例如家用機器人、自駕載具)來說,「聽音辨位」仍是一塊相對空白的能力。目前多數語音模型只做語意理解(聽懂內容),或只做粗略的聲源分類,幾乎沒有模型能像人類一樣同時處理「聲音從哪裡來」「距離多遠」以及「聲音如何隨自己移動而改變」這類空間資訊,更遑論把這些資訊拿來輔助導航。

問題根源在於缺乏合適的評測基準與訓練資料。真實世界要蒐集大量帶有精確空間標註的音訊-視覺-軌跡三方對應資料,成本極高且難以規模化。為了填補這個空白,研究團隊提出了 OmniEchoBench——一套統一評測空間音訊視覺感知與「音訊-視覺-語言導航」(audio-vision-language navigation)能力的基準,並在此基礎上訓練出對應的模型 OmniEcho。

方法

OmniEchoBench 涵蓋六項任務,取材自 197 個真實世界的空間音訊視覺場景,總共產生 2,972 組問答對,細分為:聲源方向判斷(1,069 筆)、3D 定位(521 筆)、聲源移動判斀(473 筆)、鏡頭旋轉判斷(309 筆)、認知地圖(600 筆)等。此外還有 900 筆導航樣本,收集自 30 個真實室內環境,並在密集的接收點網格上錄製了 12,900 筆一階環繞聲(first-order ambisonics, FOA)音訊,確保聲源、視覺觀測與代理人軌跡三者間的幾何一致性。為了讓訓練資料能規模化生成,團隊還開發了一套可控的空間音訊渲染管線,採用真實球諧函數(real spherical harmonics)模擬距離衰減與房間殘響。

模型 OmniEcho 的核心創新是一個輕量級的 FOA 空間編碼器,輸入為 5 通道特徵(log-mel 頻譜圖加上聲強分量),輸出 384 維的空間 token。訓練分三階段:第一階段用 10 萬筆合成音訊片段,搭配凍結的 CLIP 文字編碼器做 SigLIP 式的語意對齊;第二階段加入查詢條件式的定位任務,用交叉注意力頭預測方位角、仰角與距離;第三階段將這個凍結的空間編碼器嫁接到 Qwen3-Omni-30B-A3B 這個全模態骨幹模型上,只微調 LLM 與投影層參數,藉此保留原本的語意音訊表徵。整個第三階段的指令微調在 32 張 NVIDIA A100 GPU 上耗時約四天,訓練資料來自 ScaleVLN、RxR、R2R、VLN-PE 四個視覺語言導航資料集,共 363,193 筆樣本。

實驗結果

在 OmniEchoBench-QA 問答任務上,OmniEcho 在「音訊+視覺」設定下整體準確率達 28.5%,大幅超越 Qwen3-Omni-30B(18.5%)與 SO-7B(11.4%);即使只用音訊(不給視覺畫面),OmniEcho 也以 21.8% 領先 Qwen3-Omni-30B 的 17.5%。細看各子任務,認知地圖任務準確率最高達 47.5%,鏡頭旋轉判斷 41.7%,聲源方向 22.6%、聲源移動 24.7%,但 3D 定位僅 14.2%,顯示精細空間定位仍是最大瓶頸。

消融實驗證實了空間編碼器的價值:加入凍結的 FOA 編碼器後,整體準確率從 19.8% 提升到 28.5%;若在第三階段改為微調而非凍結編碼器,反而各子任務表現都變差。輸入表徵的選擇也很關鍵——用 5 通道特徵輸入相較於原始 4 通道波形輸入,方位角誤差從 30.5° 降到 17.9°,仰角誤差從 13.8° 降到 7.70°,距離誤差從 1.65 公尺降到 1.13 公尺。

在聲音導向導航任務(OmniEchoBench-Nav)中,OmniEcho 達到成功率(SR)16.2%、路徑加權成功率(SPL)11.5%、導航誤差(NE)4.09 公尺、最優化分數(OS)52.89%。作為對照,以純文字指令導航的 InternVLA-N1 達到 SR 17.8%、SPL 16.7%,顯示 OmniEcho 僅靠聲音線索就已逼近傳統文字導引的水準。在模擬音訊的 VLN-CE R2R 基準上,OmniEcho 也取得 SR 22.2%、SPL 16.3%、NE 7.31 公尺的成績。

意義

這篇研究的重要性在於,它首次系統性地證明「空間音訊」可以作為具身場景推理與導航的有效訊號,而不只是語音辨識的附屬品。過去業界討論多模態模型往往聚焦在視覺與文字的結合,OmniEcho 則展示了加入方向性、距離感的聲音線索後,模型能在缺乏視覺畫面時依然做出接近視覺導航水準的決策——這對未來的家用機器人、無人機、輔助視障人士的穿戴裝置都極具參考價值,例如機器人可以只憑「聽到有人在敲隔壁房間的門」就規劃出合理路徑,而不需要事事都靠攝影機。

同時,論文誠實指出目前的侷限:3D 精細定位與距離估計(14.2% 準確率、1.13 公尺誤差)仍是明顯的開放挑戰,顯示現有的空間音訊表徵方法距離人類的耳朵還有相當差距。OmniEchoBench 作為一套標準化、可規模化生成資料的評測基準,也為後續研究者提供了公平比較的舞台,有機會加速這個長期被忽視的「具身聽覺」領域發展。整體而言,這項工作把「聽」重新拉回具身智能研究的核心位置,也為多模態代理人的下一步發展指出了一個具體且可衡量的方向。

背景

近年大型語言模型（LLM）驅動的智能體（agent）已經能處理長步驟（long-horizon）任務,像是在終端機裡除錯、在程式庫中改代碼、或是在網路上做多輪搜尋。這類任務往往需要智能體連續執行幾十甚至上百步的推理與動作,任何一步的偏差都可能在後續步驟中被放大。

為了讓智能體「想得更遠」,學界一直在嘗試建構語言版的 world model——也就是讓模型在真正執行動作之前,先在腦中模擬環境會回傳什麼樣的觀察結果（observation）,藉此篩選較好的計劃。但這篇論文指出兩個核心問題。第一,工具回應（tool response）通常是高熵、高度依賴執行環境的內容,例如一次 API 呼叫、一段終端機輸出,這些內容本身充滿隨機性和格式雜訊,當智能體其實可以直接拿到真實回饋時,花力氣去「預測」這些回應的收益非常有限。第二個問題更隱蔽,論文稱之為「task-state contamination」（任務狀態污染）:智能體在多輪互動中,歷史紀錄裡會累積一些沒有根據的假設、過時的計劃,這些「壞掉」的資訊會一直留在對話歷史裡,持續扭曲後續的決策——即便智能體後來已經拿到新證據,舊的錯誤假設仍像雜訊一樣干擾判斷。

換句話說,現有 world model 把力氣花在「模擬外部世界」,但真正卡住智能體的,往往是「內部推理鏈已經歪掉卻沒被修正」。這篇論文由此提出一個反直覺但務實的方向:與其去猜環境會怎麼回應,不如直接建模「推理與動作如何影響任務進度」,並且主動去編輯那些已經被污染的歷史片段。

方法

論文提出的核心系統叫做 Agent-Editing World Model（AEWM）,設計理念是把 world model 從「預測者」變成「編輯者」。它包含兩個關鍵模組:

Action Judge（動作評判器）:負責把智能體做過的每一步決策,分類成三種類型——Critical（關鍵,直接影響任務走向的決策）、Exploratory（探索性,用於試探但不一定錯的動作）,以及 Noisy（雜訊,基於錯誤假設或已過時資訊的決策）。這個分類是整個系統的「偵測器」,用來找出歷史紀錄裡哪些片段已經被污染。

State Revision（狀態修訂）:一旦 Action Judge 標記出 Noisy 的推理—動作片段,State Revision 就會針對「同一段觀察歷史（observed history）」重新生成一段更合理的推理與動作延續,取代原本被污染的內容。這裡的關鍵是:修訂只重寫推理鏈本身,並不需要重新模擬環境會如何回應,因為真實的工具回饋已經存在,不需要憑空猜測。

兩者結合起來,構成 EditAct:一個把 AEWM 的判斷與修訂能力,和「真實執行」結合在一起的推理時（inference-time）框架。EditAct 的特別之處在於,它不是像傳統 critique 模型那樣,只在旁邊提供評語讓智能體自行參考,而是直接改寫、替換掉智能體決策鏈中underlying 的狀態——相當於在智能體「思考到一半」時動手術,把壞掉的推理段落換掉,再讓智能體帶著修正後的狀態繼續往下走。

AEWM 的訓練分成兩階段:先做 mid-training（中期預訓練,規模達數十億 token 等級,涵蓋 Action Judge 判斷資料、State Revision 修訂資料以及原始執行軌跡）,再做監督微調（supervised fine-tuning,約十萬筆等級的標註樣本,均分給 Action Judge 與 State Revision 兩項任務）。訓練資料橫跨三大領域:Search（網路搜尋類任務）、Terminal（終端機操作)與 Software Engineering（軟體工程,如程式庫修改)。此外論文也提出 AEWM-RFT——用 rejection sampling 在 AEWM 產生並驗證過的 EditAct 軌跡上做微調,讓一個獨立的模型「內化」修訂能力,之後即使沒有 AEWM 在線上即時介入,也能保有部分修正效果。

實驗結果

在自建的 Action Judge benchmark 上,AEWM 達到 70.5% 的 macro-F1,比最強的前沿基線模型高出 10.6 個百分點,顯示其在分辨「這一步決策是關鍵、探索性還是雜訊」上明顯優於現有大模型的直覺判斷。

在下游任務上,論文於六個 benchmark(涵蓋搜尋、終端機操作與程式庫工程等場景)、搭配三種不同規模的 agent backbone 進行測試。結果顯示,加入 EditAct 之後,平均分數比最強基線提升 3.2 至 6.7 個百分點——值得注意的是,提升幅度在較小的 backbone 上更明顯,顯示 EditAct 的「代寫修正」對能力較弱的智能體幫助更大,某種程度上補足了小模型自我糾錯能力的不足。

在不依賴線上 AEWM 即時介入的情境下,AEWM-RFT(用驗證過的 EditAct 軌跡做拒絕採樣微調)相較於 Self-RFT(智能體自我生成軌跡再微調的常見做法),在三個領域上分別再提升約 2.2 至 2.6 個百分點,證明修訂能力可以被「蒸餾」進模型權重裡,不必永遠依賴外部的世界模型即時輔助。

消融實驗也驗證了設計選擇的必要性:如果把 Action Judge 換成隨機門檻(Random Gate)、或改用單純重新採樣(Agent Resampling)、又或只修訂動作不修訂推理(Action-only)、只修訂推理不修訂動作(Reasoning-only),效果都明顯遜於完整的 AEWM 設計,顯示「先精準判斷該不該修、再同時修正推理與動作」這套組合拳,缺一不可。

意義

這篇論文對 LLM 智能體研究的貢獻,在於重新定義了 world model 該做什麼。過去大家把 world model 想像成「環境模擬器」——預測工具呼叫會回傳什麼結果,某種程度上是在複製一個微縮版的外部世界。但 AEWM 指出,對於已經能存取真實執行環境回饋的智能體來說,更值錢的能力其實是「自我審查」:辨認出哪些歷史決策已經站不住腳,並直接動手修正,而不是被動地累積錯誤假設直到任務失敗。

這種思路呼應了人類專家解決複雜問題時的行為模式——資深工程師在除錯時,常常不是重新模擬「如果我這樣做系統會怎樣」,而是回頭檢視自己前面幾步的判斷是不是基於錯誤前提,然後直接修正計劃。AEWM 把這種「回顧與編輯」的能力顯式建模出來,並證明它能跨越 Search、Terminal、Software Engineering 三個差異很大的領域遷移,對三種不同規模的 backbone 都有效,說明這不是針對特定任務調校的技巧,而是一種較為通用的智能體能力補強方式。

實務上,這對想要落地部署 agent 系統的團隊有直接參考價值:與其花大量算力去訓練一個更精準的環境模擬器,不如投資在「動作評判 + 狀態修訂」這類輕量、可解釋、且能與真實執行結果結合的機制上。而 AEWM-RFT 的結果也暗示了一條更省成本的路徑——先用完整的 AEWM 系統產生高品質、經過修正的訓練軌跡,再把這種能力蒸餾進單一模型,讓部署時不必時刻掛著一個额外的世界模型做即時仲裁,對於延遲與算力都敏感的生產環境是相當實際的取捨。