K1 論文詳解

背景

事件相機(event camera)是一種與傳統相機截然不同的感光元件:它不會像一般攝影機那樣每隔固定時間輸出一張完整畫面,而是只在畫面亮度發生變化時,針對「有變化的像素」非同步地送出訊號(事件流)。這種機制讓事件相機擁有極高的時間解析度、極低延遲、以及在強光/暗處都不容易過曝或死黑的優勢,因此在高速攝影、機器人視覺、自動駕駛等場景很受青睞。但事件流本身是稀疏、離散的訊號,並不是人眼習慣的「影片」,如何把事件流「翻譯」回高品質、連續的畫面,一直是這個領域的核心難題,一般稱為 E2V(Event-to-Video)任務。

過去主流做法分成兩派。一派是「回歸式」(regression)方法,例如 E2VID、FireNet 等,用類神經網路直接從事件體素(voxel)回歸出畫面像素值。這類方法穩定、速度快,但因為是逐像素的確定性預測,容易產生模糊、缺乏細節紋理的畫面,尤其在事件稀疏、資訊不足的區域特別明顯。另一派是近年興起的「生成式」方法,借助擴散模型(diffusion model)強大的紋理生成能力來補足細節,例如 VDM-EVFI 這類以影片擴散模型為基礎的方法。生成式方法畫面更清晰真實,但一旦要生成長影片(例如幾百甚至上千幀),就容易發生「時間漂移」(temporal drift):畫面內容會逐漸失真、物件身分漂移、或前後幀不連貫。此外,事件相機的三個常見任務——從事件重建影片(reconstruction)、往未來預測影片(prediction)、以及在兩幀之間補幀(frame interpolation)——過去通常各自訓練專屬模型,缺乏一個統一、高效率又能長時間穩定運作的框架。

這篇論文由陽明交通大學團隊(劉育綸為通訊作者)提出 LongE2V,發表於 SIGGRAPH 2026,正是要解決「生成式方法長時間不穩定」與「三任務各自為政」這兩個痛點,目標是用同一套基於預訓練影片擴散模型的框架,同時處理重建、預測、補幀三項任務,並且能穩定生成長達上千幀的高品質影片。

方法

LongE2V 的基礎骨幹是 CogVideoX 這款影片擴散 Transformer(I2V,image-to-video 版本),每次輸出 49 幀、解析度 720×480 的片段。作者沒有從零訓練整個大模型,而是用 LoRA(rank 64)微調 DiT 區塊,並額外全參數微調第一層投影層,這讓模型能在資料量有限的情況下(訓練集僅用 BS-ERGB 訓練集的 7,636 幀)高效地把「事件流條件」注入到原本以文字/影像為條件的影片擴散先驗中。

為了解決長影片生成的時間漂移問題,論文提出兩個關鍵技巧:

Autoregressive Unrolling(自迴歸展開訓練):一般訓練時模型看到的「上下文幀」都是真實(ground truth)畫面,但推論時上下文其實是模型自己先前生成的預測畫面,兩者存在明顯的訓練/推論落差(exposure bias)。作者的做法是先用 3,000 步以真實幀作為上下文訓練,之後再進行三輪、每輪 3,000 步的訓練,逐步把上下文替換成模型自己生成的預測結果,讓模型提前「適應」自己會犯的錯誤,而不是等到推論時才第一次面對誤差累積。

Adaptive Context Switching(自適應上下文切換):模型維持一個 20 幀的上下文視窗,但不是每產生一個新片段就無腦更新上下文,而是計算當前 token 對上下文 token 的平均注意力權重,只有當這個相關性低於門檻值 τ=0.05 時才觸發上下文更新。這樣可以避免因為「每個片段都強制切換上下文」而產生的網格狀接縫瑕疵(grid artifacts),同時避免上下文太舊而導致內容漂移。

在補幀任務上,兩幀之間常見的做法是分別做「前向生成」與「反向生成」再融合,但在 3D VAE 的潛在空間(latent space)裡,正向與反向的隱表示存在時間上的不對齊問題。作者提出 Reencoding Alignment with Cross Residual Correction:先把預測出的潛在向量解碼回像素空間,在像素空間做時間軸翻轉後重新編碼(re-encode),藉此讓正反向分支對齊;再透過 Cross Residual Correction,把正向、反向分支各自遺漏、但對方保留下來的殘差細節互相補回去,避免重編碼過程造成的資訊流失與重影(ghosting)。實驗顯示這個殘差修正模組能讓 LPIPS(感知相似度指標,數值越低越好)改善 0.037,足見其對畫質細節的貢獻。

最後,考慮到不同事件相機感測器解析度差異很大,作者設計 Event Voxel Density Augmentation:訓練時在保持長寬比與稀疏統計特性的前提下,把事件體素隨機縮放到 [Sₘᵢₙ, Sₘₐₓ] 範圍內,讓模型見過各種密度的事件輸入,推論時遇到訓練集沒看過的感測器解析度也不容易出現色偏或偽影。

實驗結果

作者在四個真實世界資料集上驗證:ECD(1,855 幀)、MVSEC(11,321 幀)、HQF(15,499 幀),以及 BS-ERGB 測試集(4,546 幀)。

在重建任務上,LongE2V 在 ECD、MVSEC、HQF 三個資料集的 LPIPS 分數上全面超越既有 SOTA 方法,包括 E2VID+、FireNet+、HyperE2VID 等回歸式方法,顯示在感知畫質(而非單純像素誤差)上有明顯優勢。

在預測任務上,與同樣基於影片擴散模型的 VDM-EVFI 相比,LongE2V「在所有指標、所有資料集上」都顯著勝出,而且在長達 2,740 幀的超長序列生成中,依然維持良好的時間穩定性——這正是論文標題強調的 "Long-Horizon" 能力所在。用 VBench 的 Subject Consistency(主體一致性)指標衡量長期時間一致性,LongE2V 的重建任務得分達到 0.7204,明顯優於 VDM-EVFI 基準,說明畫面中的物件身分與結構在長時間生成過程中不會逐漸走樣。

在補幀任務上(以 31 幀跳幀的高難度零樣本設定測試),LongE2V 甚至超越了專門針對補幀訓練的監督式方法 CBMNet-Large 與 TLXNet+,LPIPS 分數更佳、紋理保留更好。論文特別提到,在含有動態文字的場景中,LongE2V 是唯一能重建出「清晰可辨識文字」的方法,這對評估細節保真度是很直觀的示範。

消融實驗(ablation study)方面也驗證了各模組的必要性:完全不用預訓練擴散先驗、從零訓練會直接無法收斂;拿掉上下文機制會造成嚴重誤差累積;拿掉 Autoregressive Unrolling 則訓練/推論落差明顯拖累品質;拿掉 Adaptive Context Switching 會出現前面提到的網格狀接縫瑕疵。在補幀部分,拿掉 Reencoding Alignment 會導致明顯模糊,拿掉 Cross Residual Correction 則出現重影。此外作者也展示了一個額外能力:在訓練時以 20% 機率加入文字提示詞,模型可以做到「事件流決定動作結構、文字決定色彩風格」的文字引導上色生成,把幾何結構與色彩風格解耦。效率方面,LongE2V 在同為擴散模型的框架中推論效率較佳,雖仍比非擴散的 E2VID 慢,但相較 VDM-EVFI 有明顯優勢。

論文也誠實列出限制:對於事件流過於稀疏或品質很差的輸入,模型表現會下降;此外對「熱像素」(hot pixel,感測器雜訊)較敏感,重建結果有時會保留甚至放大這些雜訊點。

意義

LongE2V 的價值不只在於刷新了幾個 benchmark 的分數,更在於它示範了一條可行路線:與其為事件相機的重建、預測、補幀三個任務分別訓練專用模型,不如站在強大的預訓練影片擴散先驗肩膀上,用少量資料(僅 7,636 幀訓練集)透過 LoRA 微調,就能同時打通三個任務,並在效率與畫質之間取得平衡。這對資料量普遍稀缺的事件相機領域特別重要,因為真實世界的高品質事件-影片配對資料採集成本很高。

更關鍵的是,Autoregressive Unrolling 與 Adaptive Context Switching 這兩個技巧針對的是「生成式長影片穩定性」這個更廣泛的問題——不只事件相機,任何需要自迴歸生成超長影片的任務(如世界模型、長時間影片生成、機器人規劃模擬)都會遇到類似的訓練/推論落差與上下文漂移問題。這篇論文提出的解法思路簡單、可操作性強,有機會被其他長影片生成研究借鏡。而 Reencoding Alignment 與 Cross Residual Correction 針對 3D VAE 潛在空間中前後向不對齊的觀察,也為使用影片擴散模型做時間軸雙向任務(如補幀、影片修復)提供了新的技術視角。

對於自動駕駛感知、高速機器人視覺、AR/VR 內容重建等下游應用而言,一個能穩定生成長時間、高感知品質影片的事件相機重建系統,意味著事件相機的資料可以更容易地被人類使用者觀看、被既有的電腦視覺 pipeline(通常以標準影片為輸入)直接複用,進一步降低事件相機技術落地的門檻。這篇被 SIGGRAPH 2026 接受的工作,某種程度上也反映了「影片擴散模型作為通用視覺先驗」這個趨勢正在從單純的內容生成,擴展到感測器訊號重建這類更偏工程應用的領域。

背景

過去兩年,大型語言模型(LLM)與多模態大型語言模型(MLLM)進步神速,催生出一批號稱能「主動」操作日常工具、替使用者跑腿辦事的 proactive agent——訂機票、整理檔案、跨瀏覽器與桌面應用切換、看影片截圖找資訊等等。問題是,這些 agent 到底有多可靠?現有的評測基準(benchmark)其實答不好這個問題,原因有兩個:第一,大多數基準跑在「沙盒」環境裡,任務是靜態、預先錄好答案的單輪(single-turn)測試,跟真實世界中反覆試錯、多輪來回的使用情境相差甚遠;第二,現有基準的任務分類是按「情境」劃分(例如「訂餐」「訂票」),同一個任務類別裡其實混雜了好幾種不同的模型能力,一旦 agent 失敗,研究者很難判斷究竟是模型的探索能力不足、記憶力不夠,還是多模態理解出了問題——換句話說,測出低分容易,找到病因很難。

為了解決這個「看得到失敗、抓不到病灶」的困境,來自 HKU-MMLab 的研究團隊(Zhekai Chen、Chengqi Duan、Kaiyue Sun 等七位作者)提出了 UniClawBench,號稱是第一個「能力驅動」(capability-driven)的基準,專門用來評測 proactive agent 在動態、真實世界環境中的表現。這篇論文已發佈於 arXiv(編號 2607.08768),程式碼與基準資料則公開在 GitHub 的 HKU-MMLab/UniClawBench 專案上。

方法

UniClawBench 的核心設計思路,是把「任務」拆解回「能力」。團隊定義了五種基礎模型能力,並圍繞它們設計題目:

1. Skill Usage(技能使用):agent 需要選擇、檢查並正確操作有明確介面的工具或 API。
2. Exploration(探索):面對不完整資訊、沒有文件說明的 API,agent 得靠反覆試探、逆向工程去摸清規則。
3. Long-Context Reasoning(長文本推理):需要整合來自多個異質來源的證據,並在整個過程中保持邏輯一致。
4. Multimodal Understanding(多模態理解):從圖片、影片、音訊中擷取並解讀關鍵資訊。
5. Cross-Platform Coordination(跨平台協調):在瀏覽器、桌面軟體、檔案系統、行事曆等多個應用之間同步狀態。

依照這五種能力,團隊設計了 400 個雙語(中/英各 200 題,每種能力各 40 題)真實世界任務。與過去仰賴靜態、預先記錄答案的做法不同,UniClawBench 的所有任務都跑在「活的」Docker 容器裡——裡面裝著真實可互動的軟體、實際的瀏覽器與本地檔案系統,並用細粒度、逐步驟的完成檢查點(checkpoint)來追蹤 agent 的進度,而不是只看最終有沒有交差。

更關鍵的創新,是一套「三角色閉環評測」機制,用來模擬人類使用者真實的多輪回饋,同時避免評分標準外洩:

• Executor Agent(執行者):也就是被測試的模型本身,只拿得到公開的任務說明。
• Hidden Supervisor Agent(隱藏監督者):握有私有的參考答案與檢查點評分規則,負責即時判斷「通過/失敗/繼續」。
• User Simulator Agent(使用者模擬者):只看得見 agent 的操作軌跡與粗略的進度訊號,依此生成自然的追問或回饋,完全看不到評分細節。

這樣設計讓評測過程能有真實的多輪互動,同時三方資訊互相隔離,不會讓 executor 偷看到答案。此外,團隊還設定了明確的時間限制:一般任務每輪逾時 20 分鐘、全程 30 分鐘;長文本任務放寬到每輪 30 分鐘、全程 45 分鐘,並限制最多 2 次追問互動。為了驗證這套自動化評分是否可信,團隊還找人類專家做了對照,結果自動判定與人類專家在「通過/失敗」上的一致率達到 92.0%,分數上的 Pearson 相關係數為 0.71(Spearman ρ=0.68),顯示這套機制相當可靠。

值得一提的是,為了把「模型本身的能力」和「agent 框架的設計」分開來看,團隊在三種不同的 agent 框架——OpenClaw、EDICT(多代理協作型)、Nanobot(極度省 token 型)——之下,分別測試了十個主流模型,包括 Claude Opus-4.8、GPT-5.4、Kimi-2.6、Qwen-3.5-Plus、Gemini-3.1-Pro,以及 GPT-4.1、Gemini-3.0-Flash、Claude Sonnet-4.6 等。

實驗結果

整體來看,表現最好的組合是 Claude Opus-4.8 搭配 OpenClaw 框架,拿下 47.5% 的通過率(pass rate),其次是 GPT-5.4 的 40.7%,接著是 Kimi-2.6(36.2%)、Gemini-3.1-Pro(32.5%)、Qwen-3.5-Plus(31.8%)。換句話說,即便是目前最頂尖的模型組合,通過率也還不到五成。

拆解到五種能力上看 Claude Opus-4.8 在 OpenClaw 下的表現,差異相當大:Exploration(探索)類任務通過率高達 82.5%,Skill Usage(技能使用)也有 55.0%;但一到 Multimodal Understanding(多模態理解),通過率驟降到只剩 17.5%,Cross-Platform Coordination(跨平台協調)也只有 38.8%,Long-Context Reasoning(長文本推理)則是 43.8%。這個落差清楚指出:現在的 agent 已經相當擅長操作有明確介面的工具、以及在資訊不全時摸索試探,但一旦牽涉到「看懂圖片/影片裡的訊息」或「在多個應用程式之間維持一致狀態」,能力就明顯跟不上。

框架的選擇同樣造成巨大差異。OpenClaw 框架整體通過率最高,得益於它能完整保留互動軌跡(trajectory);EDICT 這種多代理協作架構雖然設計精巧,卻常常出現「協調摩擦」,拖累了整體表現;Nanobot 則走另一個極端,token 用量極省(平均輸入約 0.57M token,相較 EDICT 約 2.15M),但通過率也因此偏低。團隊據此得出一個頗有意思的結論:「框架選擇對表現的影響,甚至比模型選擇本身更大」——這意味著就算換上更強的底層模型,若 agent 框架設計不當,實際表現依然可能被拖垮。

論文還揭露了一個很值得警惕的現象,稱為「halfway failure(半途而廢)」:大多數模型在檢查點(checkpoint)評分上其實拿到不低的分數,顯示過程中確實完成了不少中間步驟,但最終卻無法把整個任務真正做完、拿到「通過」的結果。這說明「看起來進度不錯」跟「任務真正完成」之間存在一道明顯的鴻溝,也是靜態單輪基準完全測不出來的問題。

意義

UniClawBench 的價值,不只在於又推出了一個「分數更難看」的新基準,而在於它把評測從「情境任務」重新拉回到「能力維度」,讓研究者第一次能夠精準指出:agent 失敗到底是敗在哪一種能力上。從實驗結果看,目前的 agent 已經「相當擅長操作本地工具、進行資訊探索」,但在「長時間記憶維持、多模態內容理解、跨應用程式協調」這三塊仍然十分吃力——尤其多模態理解通過率不到二成,幾乎是目前最大的短板。

同時,「框架設計比模型選擇更關鍵」以及「halfway failure」這兩個發現,對業界建構實用 agent 產品有直接的指導意義:單純換更強的底層模型未必能提升真實世界任務的完成率,反而工程層面的框架設計(如何管理上下文、如何協調多個子任務、如何避免資訊遺失)可能才是決定成敗的關鍵瓶頸。而「看起來快做完了,結果最後失敗」這種現象,也提醒開發者不能只用中途的檢查點分數當作可靠性指標,必須直接盯緊最終的任務完成率。

隨著 agent 產品逐漸從展示 demo 走向日常真實使用,像 UniClawBench 這樣採用活體 Docker 環境、多輪人機互動、且能拆解出根本能力缺陷的評測方法,很可能會成為未來 agent 研發與選型的重要參考標準,也為整個領域指出了下一步該優先攻克的方向:多模態落地(grounding)與跨平台狀態同步。

背景

在數學、程式這類「可驗證」任務裡，RL（強化學習）訓練 LLM 很直接：答案對不對，程式跑不跑得過測試，一翻兩瞪眼。但像「幫我寫一封信」「推薦一部電影」這種開放式指令遵循任務，沒有標準答案可以核對，屬於「非可驗證」任務。近年做法是找另一個 LLM 當「裁判」（LLM-as-a-Judge），針對每個 prompt 生成專屬評分細則（rubric），再依 rubric 給 rollout（模型生成的候選回答）打分數當作獎勵訊號。像 DR Tulu、RLCF、Rubrics as Rewards 等工作都屬於這條路線，近期甚至讓 rubric 能隨著訓練中的政策模型（policy）動態調整，避免評分標準跟不上模型能力。

但這篇來自 KAIST AI、Upstage、多倫多大學、CMU、NVIDIA 團隊合作的論文（arXiv:2607.04412）指出一個被忽略的問題：即使 rubric 會變，訓練用的 prompt 本身卻始終是從固定語料庫（例如 WildChat）裡抽出來的、一成不變。這會造成「prompt 難度」和「政策能力」之間的錯位——當一個 prompt 對目前的模型來說太簡單，所有 rollout 品質都差不多好（或都一樣爛），裁判就算 rubric 設計得再精緻，也沒有「差異」可以打分數，梯度訊號直接歸零。作者稱這是 policy-prompt mismatch（政策與提示詞不匹配），並認為這是限制現有 rubric-based RL 的關鍵瓶頸。

方法

論文提出 LLM-as-a-Tutor 框架，把 LLM 的角色從單純的「裁判」升級成「家教」（tutor），同一個模型身兼兩職：

1. 考官（examiner）：每輪訓練開始時，針對每個訓練 prompt，從目前政策模型取樣兩個 rollout，用成對比較（pairwise judgment）判斷這兩個回答品質是否「難以區分」。作者選擇成對比較而非單獨評分，是因為既有研究顯示 LLM 在兩兩比較時比獨立打分更準確、也更貼近人類判斷。
2. 出題老師（generator）：如果考官判定兩個 rollout 品質無明顯差異（代表這個 prompt 對目前模型太簡單），就生成一條「原子約束」（atomic constraint，即單一維度的新要求，例如「請針對 5 歲姪子的需求」「限制在 2 小時內」），把它附加到原本的 prompt 上，同時附上對應的新評分準則,一起併入 rubric。若考官判定兩者已有明顯品質落差，則 prompt 維持不變。

關鍵設計是「只加不減」（append-only）：新約束永遠是疊加上去，不會取代或重寫掉之前的內容，這保證了 prompt 難度只會單調上升，不會因為換題目而「變回簡單」，也不會偏離原始任務分布太遠。整個流程搭配 GRPO（Group Relative Policy Optimization）做策略優化，reward 由 LLM 裁判依加權 rubric 對每個 rollout 評分（0–100 分），再做群組內標準化當作 advantage。

實驗設定用 Qwen3-1.7B-Thinking 當政策模型，Qwen3-8B-Thinking 同時擔任 tutor 與裁判，在 WildChat 隨機抽樣的 4,000 條 prompt 上訓練 3 個 epoch，每個 epoch 觸發一次難度調整。

實驗結果

在三個複雜指令遵循 benchmark——FollowBench、AdvancedIF、InfoBench 上評測，結果顯示 LLM-as-a-Tutor 在六項指標中的五項拿下最佳成績，平均分數 51.96（滿分 100），高於：

• 未訓練基準 Qwen3-1.7B（49.12）
• 固定 prompt 的 Base rubrics（50.51）與 WildChecklists（50.72）
• 動態調整 rubric 但不動 prompt 的 Policy-adaptive rubrics（51.04）
• 政策無關的提示詞複雜化 Evol-Instruct（50.24，反而低於單純用固定 rubric 的 50.51，顯示「亂加難度」若不考慮模型能力可能有害）
• 同樣會動態改寫 prompt 但採用「重寫」而非「附加」策略的 EVA（51.04）

消融實驗也證實了設計的必要性：若把約束無差別地加到所有 prompt（Always）或隨機挑 prompt 加（Random），平均分數只有 42.13／42.82，遠低於針對性判斷後才加的 43.19；若拿 8B 大模型的表現而非 1.7B 政策自己的 rollout 來判斷該不該加約束（Wrong），也只有 42.79。另外比較三種 prompt 修改策略，「附加」（Append）在三個 benchmark 上全面超越「取代前一次約束」（Reset）與「整段重寫」（Rewrite）。

進一步分析顯示，隨著政策模型從 0.6B 擴大到 4B，被判定「太簡單」而加上約束的 prompt 比例從 8.1% 一路升到 40.5%，證明調整節奏會自動跟著模型能力走，不需要人工設計課程表（curriculum schedule）。此外，被考官判為「非挑戰性」的 prompt 平均獎勵分數高達 90.76、標準差僅 12.96；被判為「有挑戰性」的則平均獎勵僅 78.24、標準差達 27.07，說明模型的判斷確實對應真實的難度分布。而每加一條約束，base rubric 的平均分數會從 100 分逐步降到約 92.5 分，標準差則從 0 回升，代表約束確實能重新「撐開」被壓縮到頂的分數分布。

意義

這篇論文點出一個此前被忽視的維度：在非可驗證任務的 RL 訓練中，「政策感知」（policy-awareness）不能只做在 rubric 或獎勵模型層面，訓練資料本身——也就是 prompt——同樣需要隨模型能力動態調整，否則再精緻的評分機制都可能因為「無事可判」而失效。透過讓同一個 LLM 兼任考官與出題者，並用「只加不減」的方式確保難度單調遞增，作者提出了一套不需要外部難度排程、能自我校準的訓練訊號生成機制。這對於當前業界大量依賴 LLM-as-a-Judge 做 RLHF／RL 對齊訓練、卻苦於獎勵訊號隨模型進步而逐漸「飽和」（reward saturation）的問題，提供了一個相對簡單、可插拔的解法：與其不斷微調評分標準，不如讓出題本身也跟著學生一起變難。論文也提出一個有意思的框架轉換——這種機制某種程度上是一種新型態的「蒸餾」，教師模型不再直接提供標準答案，而是透過調整任務本身的難度，讓學生模型在 RL 過程中自己摸索出能力邊界，理論上能讓學生的上限不再被教師的生成能力綁死，而是取決於教師「分辨優劣」的能力——而後者正是 LLM 相對更擅長的事。