K1 論文詳解

背景

近年的自回歸(autoregressive, AR)影片擴散模型,例如 Self-Forcing、LongLive,已經能把幾秒鐘的短影片生得相當好。這類模型把影片切成一個個 chunk,逐 chunk 生成。每生成完一個 chunk,模型就把它的 key-value(KV)entries 存進 cache,後面的 chunk 再透過 attention 讀取這些 cache,以維持畫面連貫。

問題出在影片拉長之後。模型訓練時通常只看過約 5 秒的片段,一旦生成超過這個長度,就會出現所謂的 drifting:顏色與紋理逐漸偏移,動作也越來越少,最後畫面幾乎凍結。

過去的做法主要是 KV conditioning,也就是挑選或修改 cache 裡的 KV entries 來緩解 drift。常見手法包括保留第一個 chunk 當作 attention sink,或調整 RoPE 位置編碼。Deep Forcing、∞-RoPE、MemRoPE 都屬於這一類。

這篇論文指出,這些方法有個沒被檢驗的前提:假設 cache 裡的 KV entries 本身仍在訓練分布內(in-distribution)。作者認為這個前提在超過訓練長度後並不成立。KV entry 是在 rollout 時,根據當下的 context 算出來的,而這個 context 可能是模型訓練時從沒見過的組合。換句話說,cache 裡的內容從「出生」那一刻起就已經 OOD,再怎麼挑選或調整位置編碼都救不回來。作者把這個現象稱為 KV-provenance problem(KV 來源問題)。

方法

ID-Forcing 是一個 test-time 框架,不需要重新訓練。它同時對齊兩件事:KV caching(KV 怎麼算出來)與 KV conditioning(生成時用哪些 KV)。

Self-caching(核心機制)。 一般的 rolling window 在快取新 chunk 時,會讓它 attend 到前面已存在的 KV。長影片中,這些前面的 KV 可能已經帶有 drift。Self-caching 改成:window 中前 ℓ 個 entries 只 attend 自己,不看更早的 KV。其餘 L−ℓ 個 entries 再接在最後一個 self-cached entry 之後,以自回歸方式快取。這樣每個被存下來的 KV,都是在訓練時見過的那種 context 配置下算出來的。這是在 OOD 的源頭就把它擋掉,而不是事後補救。

KV conditioning 的對齊。 作者保留第一個 chunk κ₀ 當作永久的 sink,並對 window 做 re-rotation,讓位置編碼始終落在訓練時見過的範圍內。

實作設定如下:

• 基礎模型:Wan2.1-T2V-1.3B 架構,分別套用在 Self-Forcing 與 LongLive 上。
• Conditioning window 長度 L=3;self-caching 長度 ℓ=2(Self-Forcing)或 ℓ=3(LongLive)。
• 4 步 denoising,timesteps 為 {1000, 750, 500, 250}。
• 每個 chunk 含 3 個 latent frames,解析度 480×832。

論文自己的說法是,整個框架就是「一個單純的 rolling window,加上對每種 KV 操作各一條規則」,實作上相當簡單。

實驗結果

評測方式。 作者用 VBench-Long 的標準指標(Aesthetic Quality、Background Consistency、Imaging Quality、Motion Smoothness、Subject Consistency、Dynamic Degree),另外自訂兩個 drift 指標:

• Color Drift:比較 HSV histogram,分數越高代表顏色越穩定。
• Motion Drift:比較影片前 5 秒與後 5 秒的 Dynamic Degree 差異。

測試長度涵蓋 30、60、120、240 秒,比較對象是 Deep Forcing、∞-RoPE、MemRoPE,以及兩個 base model 本身。

120 秒影片,以 Self-Forcing 為 base:

• Color Drift:ID-Forcing 72.37,對比 ∞-RoPE 54.15、Deep Forcing 59.65。
• Motion Drift:89.06,對比 ∞-RoPE 85.16、MemRoPE 82.81。
• Dynamic Degree:65.65,其他 baseline 為 45.49–62.90。
• Aesthetic Quality:58.23,與 baseline 的 55.45–57.26 相當。

在 LongLive 上,同樣 120 秒的結果是 Color Drift 70.94、Motion Drift 96.09、Dynamic Degree 55.01。

長度穩定性。 原版 Self-Forcing 的 Dynamic Degree 從 30 秒的 44.58 掉到 240 秒的 29.61。ID-Forcing 則從 65.94 到 64.76,幾乎沒有衰減。

Ablation(120 秒,Self-Forcing):

Sink 與 re-rotation 本來就是既有方法常用的手段,它們已經帶來大部分增益。Self-caching 在這個基礎上再讓 Color Drift 多出約 11.71 分,Motion Drift 也從 87.50 提高到 89.06。

User study。 20 位受試者、每組 baseline 5 次試驗,比較 ID-Forcing 與四個對手。整體偏好率:對 Self-Forcing 為 100.0%,對 Deep Forcing 95.0%,對 ∞-RoPE 93.0%,對 MemRoPE 86.0%。在顏色一致性、背景一致性、主體一致性、動態程度、時間閃爍等六個維度上,偏好率落在 59% 到 100% 之間。

限制。 Motion Smoothness 的分數相對較低。作者解釋這個指標偏愛 dynamic degree 低(畫面幾乎凍結)的方法,因此不能直接當成品質變差的證據。不過這只是作者的解讀。論文也沒有深入討論 self-caching 的額外運算與記憶體成本。另外,實驗只用 1.3B 規模的模型,更大模型上是否同樣有效,目前沒有資料。

意義

這篇論文的價值在於換了一個問題的看法。過去大家問的是「cache 裡該留哪些 KV」,ID-Forcing 問的是「這些 KV 當初是怎麼算出來的」。只要 cache 的產生方式偏離訓練配置,後面再精細的 conditioning 都是在處理已經被污染的資料。

實務上有三點值得注意:

1. 不需要重新訓練。現有的 AR 影片擴散模型可以直接套用,把 5 秒訓練的模型延伸到分鐘級生成,成本比用長影片微調低很多。
2. 做法很簡單,只改 cache 的建立規則,沒有額外模組。這讓它容易被整合到其他 AR 影片生成框架,也方便後續研究在它之上疊加其他技巧。
3. Ablation 顯示 sink 與 re-rotation 貢獻了多數增益,self-caching 是最後一塊補強。這個結果也說明,過去這類方法確實有效,只是留下了一個結構性的缺口。

需要保留的地方是:評測用的 Color Drift 與 Motion Drift 是作者自訂的指標,雖然搭配 VBench 與 user study,但受試者只有 20 人。Motion Smoothness 的落後也還需要更多獨立驗證。至於 self-caching 的運算開銷、在更大模型上的表現,以及更長(例如數十分鐘)影片的行為,都還有待後續研究回答。

背景

這幾年 LLM agent 生成 3D 內容的能力進步很快。從文字描述產生 mesh、用程式碼組出 CAD 模型,甚至用積木拼出物件,都已經有不少成果。不過現有評測大多只看幾何品質:形狀像不像、渲染好不好看、跟文字描述對不對得上。

但「好看」跟「能蓋出來、能用」是兩回事。一張椅子的 3D 模型可以很漂亮,卻可能零件互相穿插、無法穩定站立,也沒有說明各零件怎麼接合、用什麼材料、先裝哪一個。一個抽屜可以畫得很像抽屜,卻拉不開。要讓 agent 真正參與物理世界的設計與製造,評測必須問另一組問題:這個結構成立嗎?具備預期的功能嗎?能依序組裝出來嗎?

LMBuild 就是針對這個缺口提出的 benchmark,作者來自 University of Illinois at Urbana-Champaign 等單位,第一作者是 Jiateng Liu。它把「生成物件」重新定義成「生成一個可組裝的結構」,而不只是一個幾何形狀。

方法

LMBuild 把每個生成結果表示成一個 assembled structure,包含四個要素:零件分解(part decomposition)、接合方式(joints)、材料(materials)與組裝順序(sequences)。整個框架由三部分組成。

1. 互動式環境。 Agent 可以透過工具完成下列動作:

• 從零件目錄中檢索現成零件
• 自行創造新零件
• 擺放並調整零件位置
• 宣告接合點與材料
• 指定組裝順序

這個設計的重點在於 agent 得自己決定,什麼時候該用現成零件、什麼時候該從頭創造。

2. 評測資料集。 作者沒有從零開始標註,而是把既有的 CAD 與零件資料集改造成任務。HF 頁面列出的來源包括 LEGO/BrickComposer、Fusion 360、Artiverse、PartNeXt 與開源產品 CAD,再用 Wikipedia 的知識補上物件的功能描述,例如這個東西是做什麼的、該如何運作。HF 頁面提到核心資料集為 200 個物件(arXiv 摘要頁沒有列出這個數字,以 HF 頁面為準)。

3. 評測框架。 框架共有 12 個階層式指標,分成四個維度:

• Soundness(結構健全性):連通性、碰撞偵測、穩定性
• Affordance(功能可供性):功能性幾何、零件完整度、運動學(kinematics)
• Design(設計品質):拆解品質、美感、視覺對齊,其中使用經人工校準的 VLM judge
• Realization(實體實現):組裝順序是否合法、材料指定是否合理、以及以物理模擬衡量的可操作性(operability)

前兩個維度偏向可用規則和幾何計算驗證,後兩個結合 VLM 評審與物理模擬。

實驗結果

作者共評測 30 個系統,涵蓋前沿閉源 API、開源與多模態 LLM,以及幾個專用生成器(BrickGPT、PartCrafter、PartPacker、Cube3D、PhysX-Anything)。摘要點出三個主要發現。

發現一:瓶頸已經換了位置。 對前沿閉源模型來說,soundness(結構健全)與 alignment(與描述對齊)已經不是主要問題,真正難的是 functional affordance 與 physical operability。HF 頁面指出,即使是最好的系統,在模擬式可操作性上也只拿到大約 20 分。換句話說,模型能蓋出站得住、看起來對的東西,但抽屜拉不拉得開、門轉不轉得動,是另一回事。

發現二:強弱模型的策略不同。 比較強的模型比較擅長「創造新零件」,弱的模型則傾向依賴檢索現成零件。這說明目錄檢索是一條比較保險的路,能掩蓋弱模型在幾何推理上的不足,但也限制了它能設計的東西。要處理目錄裡沒有的零件,就得靠真正的創造能力。

發現三:給功能規格就有明顯幫助。 當提示中明確提供功能規格(functional specifications),零件完整度、kinematics 與 physical operability 都有大幅提升。這代表模型缺的不只是建模能力,還缺「這個東西該怎麼運作」的知識,補上之後效果明顯。

我目前只能讀到摘要頁與 HF 頁面的整理內容,沒有看到各模型的逐項分數與提升幅度,因此上面只引用能確認的數字(30 個系統、12 個指標、約 20 分的可操作性上限)。需要完整排行榜與差異數據的讀者,建議直接查閱論文本文。

意義

LMBuild 的價值在於把評測焦點從「幾何像不像」推向「能不能蓋、能不能用」。這個轉向有幾個實際含意:

• 評測指標會影響研究方向。 如果社群只比誰的 mesh 比較漂亮,模型就會朝那個方向優化。把連通性、運動學、組裝順序與模擬操作都納入評分,等於告訴大家下一步要補的是力學、機構與功能推理。
• 揭露了「看起來對」的盲區。 前沿模型在 soundness 上已經不吃力,但物理操作分數仍低(最好約 20),顯示光靠現有的視覺與幾何訓練,不足以支撐真實製造所需的推理。
• 對 agent 設計有直接參考價值。 提供功能規格能顯著改善結果,代表搭配外部知識(如 Wikipedia)或先做功能分解,可能是便宜又有效的做法。強模型更會創造新零件,則提示未來 agent 的差異會越來越體現在「超出現成目錄」的能力上。

當然也要留意限制:部分指標依賴 VLM judge 與模擬器,雖然作者做了人工校準,評分仍可能帶有評審模型與模擬設定的偏差。而且從模擬中的可操作,到真正能被製造、被使用,還有一段距離。即便如此,LMBuild 為「能蓋出可用物件的 agent」提供了一個可重現的量尺,後續進展與不足都有了可比較的基準。

背景

目前主流的 LLM 助理大多是被動的:使用者下指令,模型才開始工作。但在使用者睡覺、開會或專注寫程式的時候,算力其實是閒置的。主動式(proactive)agent 想把這些空檔利用起來,在使用者開口之前先整理資料、起草文件、預先訂位,等使用者回來時成果已經準備好。

這件事聽起來很誘人,實作上卻有不少陷阱。這篇論文指出,即使 agent 做的事「本身是對的」,仍可能誤判使用者的當下情境、增加使用者的審查負擔,甚至傷害信任。舉例來說,agent 在使用者專心工作時跳出一份正確的建議,可能只是打斷思緒。使用者只想先看過再決定,agent 卻直接動手執行,即使結果正確,使用者也會覺得被越權。

現有研究多半各自優化單一面向,例如「預測使用者需求」的準確度,或「任務完成」的成功率。作者認為這樣不夠,於是提出一套完整的基礎框架,涵蓋設計原則、技術分層與評估環境,希望讓主動式 agent 的設計與評估有共通語言。

方法

論文的核心是三個必須「聯合」考慮的原則,簡稱 3T:

1. Task Capability(任務能力):預測出相關的需求,並正確完成有用的工作。
2. Temporal Allocation(時間配置):依資源可用性與結果被需要的時間點來分配算力。框架區分「互動時間」(使用者在線,算力可能與使用者共用)與「睡眠時間」(使用者離線,可放心做背景工作)。
3. Trust(信任):維持使用者的信心與適度依賴。論文以五個既有的信任構面作為基礎:可理解性、技術能力、可靠性、個人情感連結與信念。

在這三個原則之上,作者整理出五個設計維度:

• Task scope:協助當前任務(within-task),或處理另外的目標(out-of-task)。
• Anticipation horizon:預期立即需求、同一次互動內稍後的需求,或互動結束後的需求。
• Activation trigger:由使用者觸發、由外部事件觸發,或由 agent 自行觸發。
• Processing timing:在互動時處理,還是延後到睡眠時間。
• Intervention depth:分成 prepare(只準備素材)、suggest(提出建議給使用者審核)、execute(自主執行)三級。

論文也說明要支撐這些設計選擇,需要哪些情境與系統建模,包括使用者與環境的表示方式、backbone LLM,以及 agent harness。

評估方面,作者提出 Proactivity-Gym,一個以模擬為基礎的測試平台:

• 10 個手工設計的多日情境,涵蓋研究、旅遊、購物、商業、教育、財務、健康等領域。每個情境跨 7–10 個模擬日,含 10–19 個任務,總計 124 個任務。情境中有帶時間戳的事件、任務相依關係、資源限制與截止期限。
• 每個情境有三種使用者 persona,差別在授權偏好:Reviewer(任何變更都需明確核准)、Planner(允許在既定任務內做準備)、Operator(可自主執行指定動作)。
• 環境是有狀態的工具環境,附模擬時鐘,後續分支會依 agent 與使用者先前的行為而變。
• 使用者模擬器由 Qwen 3.8-27B(關閉 reasoning)驅動,再配上一個決定性的狀態機來決定核准與否。狀態機會參考請求內容、模擬時間、persona、互動歷史與信任狀態,並遵守使用者的作息(例如睡眠時段),也不能授予預設範圍以外的權限。

實驗結果

研究評估了 9 個模型,包括 GPT 5.6-{Luna, Sol}、Claude-{Sonnet 5, Opus 5}、Qwen 3.5-{2B, 9B, 27B}、Gemma 4-{12B, 31B},搭配 OpenClaw、Claude Code、Codex 三種 harness,共 23 種 model-harness 組合。每個組合跑 10 個情境 × 3 個 persona × 3 次,即 90 次 run。

自動化評估的主要發現:

• 表現最好的 Claude Opus 5,Task Capability 為 65.1/100,Temporal Allocation 只有 51.7%,Trust 面向中的介入深度對齊(TR-D)為 52.4%。
• 其他模型的 TA 大多低於 20%。agent 特別不擅長「延後與當前工作衝突的任務」。
• TC 與 TA 的相關性很弱(r=0.31),TC 與 TR-D 也很弱(r=0.34)。也就是說,任務做得好,不代表時間配置或介入深度也做得好,三者確實需要分開量測。
• LLM judge 會把任務能力和信任混為一談。 LLM judge 給 Claude Opus 5 的可理解性是 4.72/5、技術能力是 4.60/5,但它在介入深度上的對齊只有約五成。LLM 評分與 TC 的相關性高達 r=0.70,表示 judge 主要在看「做得對不對」,對「做事方式是否符合使用者期待」不敏感。
• Harness 也有影響。 從 Claude Code 換成 OpenClaw,五個開源模型的 TC 平均下降 3.6 分,但差異因模型而異:Qwen 3.5-27B 約 +0.5,Gemma 4-12B 則掉了 11.1。Claude Opus 5 做同樣的切換,TC 提升 4.6%、TA 提升 21.1%。

30 人的使用者研究:

• 選擇「正確的動作或回應」的比例是 92.2%,可見正確性仍是基本門檻。
• 在內容品質相同的情況下,88.3% 的比較中參與者選擇與自己介入偏好一致的 agent。
• 時間配置的影響特別大:當正確的協助與使用者手邊的工作衝突時,接受率只有 26.7%。若改成睡眠時間提供協助,即使成果需要修改,接受率仍有 97.8%。就算即時協助只需 10 分鐘審查、也沒有資源或期限衝突,仍有 64.4% 的人偏好睡眠時間版本。
• 信任是不對稱的:介入不對齊後信任平均下降 1.86 分,恢復對齊後只回升 1.27 分。在「對齊 → 不對齊 → 對齊」的序列中,信任從 4.43/5 掉下去後只回到 3.43/5,儘管最後那次介入本身被評為 4.71/5。有參與者提到,agent 錯一次之後,得長時間持續表現良好才能挽回。

意義

這篇論文最重要的訊息是:主動式 agent 不能只當成「更積極的任務完成器」。做對事只是三個條件之一,另外兩個是在對的時間做,以及用使用者能接受的程度做。Opus 5 這類前沿模型在 TC 上看起來不錯,但 TA 與 TR-D 都只有五成左右,顯示這些能力目前並未隨模型能力自然出現,需要在訓練或 harness 設計上專門處理。

對評估方法來說,結果也是一個警訊。如果只用 LLM judge 給「信任」或「滿意度」打分,很可能高估系統,因為 judge 與任務正確性高度綁在一起。要評估主動式系統,需要像 Proactivity-Gym 這樣有時間軸、有狀態、有 persona 與信任動態的模擬環境,再配合真人研究校正。

對產品設計者來說,有兩個可直接使用的觀察。第一,把主動工作排到使用者的睡眠或離線時段,可能比即時介入更有效,甚至不完美的成果也更容易被接受。第二,由於信任「易損難復」,預設採取保守的介入深度(先 prepare 或 suggest,再逐步放寬到 execute),並讓使用者能設定自己的授權偏好,比追求自動化程度更重要。

不過有幾點要保留。Proactivity-Gym 目前只有 10 個手工情境,使用者是模擬的,30 人的研究規模也有限,結論的普適性仍待更大規模的驗證。儘管如此,這套 3T 與五維度的框架,為這個還很零散的方向提供了可討論、可量測的共同基礎。