K1 論文詳解

背景

近年生成模型在影片保真度上突飛猛進,尤其是自迴歸(autoregressive, AR)影片生成——透過因果式的「滾動生成」(rollout),一格一格地延展畫面,支撐起長時間影片生成、互動式世界模型(world model)與可持續演化的虛擬環境等應用。但這條路線有個結構性的瓶頸:模型的 context window、儲存空間與運算資源終究是有限的。當生成序列越拉越長,早期畫面中出現過的角色身分、物體的動態狀態、甚至使用者介入所造成的因果變化,往往在其「重要性」尚未消失前,就已經被擠出模型能直接存取的範圍。

這篇由 Harold Haodong Chen 領銜、共 25 位作者合作完成的綜述論文(arXiv:2609.28466),正是聚焦在這個問題上。作者群橫跨 HKUST、CityU HK、復旦大學、CMU、NYU、HKUST(GZ)、NUS、Georgia Tech、北大、MBZUAI、NVIDIA、UCF、UNITN、NTU、UC Merced 等十多所頂尖機構,由 Ying-Cong Chen、Ser-Nam Lim、Rynson W.H. Lau、Yu Cheng、Ming-Hsuan Yang、Qifeng Chen 等資深學者共同督導。論文指出,現有研究對「記憶」的定義與實作方式相當分散、術語不統一,因此他們嘗試建立一套統一框架,把記憶操作性地定義為:「跨越多個 AR 步驟持續保存的歷史資訊,即使產生它的原始畫面證據已經無法在局部 context 中取得,這些資訊仍能影響未來的生成結果」。

論文也系統性歸納了「無記憶」滾動生成會出現的六種退化模式:實體一旦離開當前 context 就被遺忘、外觀隨生成過程漂移、當某個空間區域重新進入畫面時出現不一致、長時間滾動下動態表現退化、長篇敘事中語意逐漸偏移,以及對使用者介入(intervention)後的因果/狀態不一致。這些現象幾乎是所有長影片生成系統都會碰到的通病,也是這篇綜述試圖系統性梳理與解答的核心問題。

方法

作者提出一套「五個互補視角」的分析框架,用來統整整個領域內形形色色的記憶機制設計:

(I) Forms(形式):記憶的「載體」是什麼。論文將其細分為像素空間的畫面/片段記憶、VAE 潛在空間(latent-space)記憶、隱式狀態記憶(implicit state)、顯式狀態記憶(explicit state),以及可自適應調整的參數化記憶(adaptive parametric memory)。

(II) Functions(功能):記憶要保存哪些語意與物理資訊,包括身分保持(identity preservation)、空間一致性、動態追蹤、語意承諾的延續,以及因果狀態轉換的正確性。

(III) Operations(操作):記憶的完整生命週期——查詢構成(query formation)、檢索(retrieval)、整合(integration)、寫入(writing)、更新與管理,構成一套類似資料庫存取的流程。

(IV) Learning(學習):在 closed-loop rollout(閉環滾動生成)下如何優化記憶行為,涉及訓練目標設計與記憶狀態分佈的建模策略。

(V) Evaluation(評估):如何設計「揭露記憶能力」(memory-revealing)的評測協定,而非僅使用一般影片品質指標,才能真正診斷模型是否具備記憶能力,而非僅僅是視覺上看起來連貫。

論文以此框架回顧並歸類了大量具代表性的方法,包括離散 token 路線的 VideoGPT、VideoPoet、Emu3;擴散式 AR 路線的 Causal Forcing、LVDM、FreeNoise;互動式世界模型 Genie、Yume、LingBot-VA;視覺記憶方案 ConsistI2V、Context-as-Memory、LongLive-RAG;潛在空間方法 FIFO-Diffusion、PA-VDM、Astra;以及結構化記憶方案 WorldMem、MemCam、Matrix 等,橫跨學界近年最主流的長影片與世界模型生成系統。

實驗結果

作為一篇綜述而非單一模型論文,這篇工作的「成果」並非跑分數字,而是系統性的知識整理與問題診斷。其貢獻在於:首次把過去分散在不同論文中、彼此術語不一致的記憶設計(例如有的叫「context bank」、有的叫「state cache」、有的叫「memory bank」),統一收攏進同一套 Forms–Functions–Operations–Learning–Evaluation 五維框架下做橫向比較。透過這套框架,讀者可以清楚看到:哪些方法只解決了「外觀一致性」卻沒解決「因果狀態正確性」;哪些方法用顯式的空間記憶(如 3D 點雲或場景圖)來換取更強的空間一致性,卻犧牲了計算效率;哪些方法依賴隱式的 KV-cache 式壓縮,規模化容易但可解釋性差。

論文也指出,目前絕大多數評測仍以整體影片品質(如 FVD、CLIP 一致性分數)為主,而缺乏能專門「拷問」記憶能力的評測協定——例如刻意讓角色離開畫面很久後再度出現、或在生成中途插入使用者介入指令,測試模型能否記住並正確反映先前的因果變化。這類「memory-revealing」評測範式目前仍相當稀缺,是作者特別強調的缺口。

意義

這篇綜述的價值不在於提出一個新模型,而在於為快速膨脹、術語混亂的「AR 影片記憶」子領域,提供一張結構清晰的地圖。對於想要打造互動式世界模型(如遊戲引擎替代品、機器人模擬環境、長篇故事生成系統)的研究者與工程團隊來說,這套五維框架可以直接拿來做架構選型的參考依據——例如在資源受限的邊緣裝置上該選用哪種記憶形式、在需要強因果一致性的機器人模擬場景中該優先強化哪個 Operations 環節。

論文最後總結了四大開放挑戰:一是「可組合、資源感知」(composable and resource-aware)的記憶架構,讓不同記憶形式可以按需組合而不是綁死在單一設計;二是「可信賴的狀態更新」(trustworthy state updating),避免記憶被錯誤資訊污染後持續傳播錯誤;三是「自我滾動學習」(self-rollout learning),讓模型能在自己生成的閉環資料上持續優化記憶行為而不崩潰;四是標準化評估,建立業界公認的 memory benchmark。

隨著影片生成模型逐漸從「產生一段影片」演化為「維持一個持續運行的世界」,記憶機制很可能會成為繼影像品質、時序一致性之後,下一個決定這類系統能否真正實用化的關鍵指標。這篇由 25 位作者、橫跨十餘所頂尖機構共同完成的綜述,某種程度上標誌著這個子領域正從零散的工程技巧,走向有系統的科學研究階段。

背景

近年來,讓大型語言模型(LLM)驅動的代理人(agent)具備「記憶」能力,已成為提升其長期表現的重要方向。所謂的 agentic memory,概念上很簡單:把過去執行任務時累積的經驗保存下來,等到未來遇到類似任務時拿出來參考,藉此讓代理人越用越聰明,而不用每次都從零開始摸索。

但現有的記憶系統絕大多數採用「寫入時策展」(write-time curation)的做法:代理人完成一個任務後,立刻把整段行動軌跡(trajectory)濃縮成一個固定的產物,例如反思(reflection)、工作流程(workflow)、技能(skill)或推理策略,存入記憶庫,等之後有新任務進來時,再用相似度檢索的方式把最相關的記憶撈出來用。

這篇來自 Yefan Zhou、Yang Li、Zeyu Leo Liu、Semih Yavuz 與 Shafiq Joty 的論文《Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents》(arXiv:2609.27334)指出,這種「先摘要、後檢索」的設計有兩個根本性的問題。第一,寫入摘要的當下,系統並不知道未來的查詢(query)長什麼樣子,只能被迫決定「這段經驗中哪些資訊值得留下」,這個決定一旦做了就不可逆——一旦被丟棄的細節,以後永遠拿不回來。第二,由於同一份摘要必須服務未來各式各樣、事先未知的下游任務,它注定只能是一份「與具體查詢無關」的通用摘要,難以針對每個新任務的實際需求量身打造。

更麻煩的是,想要訓練一個「懂得寫入時策展」的模型本身就很困難:一個儲存決策到底好不好,往往要等到很多任務之後、真正遇到相關查詢時才會顯現出價值,這形成了一個長跨度(long-horizon)的信用分配(credit assignment)問題——訓練訊號和造成訊號的行為之間隔了太多步驟,難以有效學習。

方法

針對上述痛點,作者提出了完全不同的設計哲學:與其在寫入時就急著摘要、丟棄資訊,不如把原始的完整行動軌跡(raw trajectories)保留下來,將「策展」這件事延後到讀取時(read time)才進行——也就是當下一個新任務出現、系統已經知道要解決什麼問題的時候。

具體來說,JitMem(Just-in-Time Memory)的運作流程是:當一個新任務到來時,系統先從記憶庫中檢索出相關的歷史軌跡;接著,一個專門的「記憶策展者」(memory curator)會同時參考「檢索到的歷史軌跡」與「當前這個新任務」,即時合成一份精簡、針對這個任務量身打造的payload(酬載/摘要內容),再交給執行任務的代理人使用。

這個設計的關鍵優勢在於訓練方式的改變。因為這份 payload 是在同一個任務中被立即消費、立即產生成敗結果的,策展者可以直接用「這次任務有沒有成功」作為訓練訊號來學習,而不需要像寫入時策展那樣,等待延遲很久才出現的效用訊號,也不必人工把相關的任務硬湊在一起分組訓練。換句話說,JitMem 把原本長跨度、難以歸因的信用分配問題,轉化成了一個短跨度、可以直接用任務成功率做強化學習式優化的問題。

論文也特別測試了「未經訓練的策展者」(untrained curator)——也就是單純用基礎 LLM 扮演策展角色,不做任何額外訓練——結果發現這種版本本身就已經能和其他經過精心設計(甚至經過訓練)的基線方法打平甚至超越,這說明「在讀取當下、針對任務做客製化整理」這個做法本身就是效益的主要來源;而在此基礎上再進行策展者的訓練,則能進一步放大效果,兩者相輔相成。

實驗結果

研究團隊在三個具代表性的 agent benchmark 上驗證 JitMem:

• ALFWorld:一個模擬居家環境中執行多步驟任務(如整理物品、烹飪指令等)的文字化互動基準。
• WebShop:模擬真實電商網站購物情境,要求代理人根據使用者指令搜尋、比較並完成正確商品購買的基準。
• τ²-bench(tau2-bench):針對工具使用與多輪對話任務設計的基準,常用於評估客服類、任務導向型 agent 的表現。

實驗結果顯示,JitMem 在這三個 benchmark 上都全面超越了「無記憶」(no-memory)代理人,以及各種以往的啟發式(heuristic)寫入時記憶方法與經過學習的寫入時記憶方法。具體的絕對成功率(success-rate)提升幅度為:

• ALFWorld:比最強基線(strongest baseline)提升 16.2 個百分點
• WebShop:比最強基線提升 16.3 個百分點
• τ²-bench:比最強基線提升 3.9 個百分點

值得注意的是,前兩個基準(ALFWorld、WebShop)的提升幅度遠大於 τ²-bench,顯示在資訊量大、軌跡結構較複雜、可重用經驗較豐富的任務場景中,「讀取時客製化整理」的優勢更加明顯;而在 τ²-bench 這種工具呼叫與對話流程相對制式化的任務裡,記憶策展帶來的邊際效益相對有限,但依然是正向的提升。

此外,如前所述,論文特別強調一個對照實驗:即使不對策展者做任何額外訓練,只靠基礎模型充當「讀取時的整理者」,其表現也已經能與經過訓練或精心設計的寫入時記憶基線方法相competitive甚至反超。而在此基礎上進一步訓練策展者(用任務成功與否作為監督訊號),則能讓效果進一步疊加提升,證明訓練確實帶來額外的增量價值,但架構設計本身(讀取時、任務自適應)才是最大的貢獻來源。

意義

這篇論文對 LLM agent 的記憶系統設計提出了一個值得重新思考的觀點:記憶策展的「時機」和「訊號來源」,可能比記憶策展的「演算法複雜度」更為關鍵。過去許多研究把心力投注在如何設計更聰明的摘要方法、更好的反思機制或更精細的技能庫結構,但這篇論文顯示,只要把策展這個動作從「任務結束後」延後到「新任務出現時」,單單這個時間點的轉換,就能帶來遠大於演算法本身精緻程度的效益提升。

更深層的意義在於,它替 agent 記憶系統的可訓練性(trainability)找到了一條更乾淨的路徑。傳統寫入時策展方法面臨的長跨度信用分配問題,長期以來是強化學習應用在 agent 記憶上的一大障礙——你很難知道「這次選擇記住/丟棄的內容」到底對幾十個任務後才出現的某個查詢有沒有幫助。JitMem 透過把策展動作綁定在「當下任務、當下結果」上,讓策展者可以用近似監督式學習或直接的策略優化來訓練,訊號清楚、回饋即時,這對於未來設計「可持續自我改進」的 agent 系統極具參考價值。

從實務角度看,這也意味著在建構企業級或產品級的 agent 記憶系統時,與其一開始就投入大量工程資源去設計精巧的摘要/技能抽取模組,不如優先考慮「保留原始軌跡 + 讀取時按需整理」這種更簡單、更具彈性的架構——論文顯示即使不訓練策展者,僅靠現成 LLM 做讀取時整理,就已經能超越許多精心設計的寫入時基線。這種「先把資料留住,決策留到有需要時再做」的思路,某種程度上也呼應了資料庫與資訊檢索領域「延遲物化」(lazy materialization)的經典智慧,顯示看似全新的 agent 記憶問題,其實可以從更成熟的系統設計原則中汲取靈感。對正在打造長期運作、需要持續學習的 AI 代理人的團隊來說,這篇論文提供了一個既簡單又有實證支持的替代方案。

背景

文字轉影片（text-to-video）生成技術這幾年進展飛快,從早期只能產出幾秒鐘、單一鏡頭的短片,演變到現在能夠遵循複雜條件、產出長達 30 秒的多鏡頭影片。但這也帶來一個常被忽略的瓶頸:使用者輸入的原始提示詞(prompt)往往只是「一句話的想法」,例如「一個女生在雨中奔跑」,而真正決定影片好壞的,其實是背後那份沒有寫出來的「電影劇本」——鏡頭如何切換、攝影機如何運動、光線如何配置、聲音如何鋪陳,乃至於多個鏡頭之間的敘事連貫性。換句話說,影片生成的起點其實是文字空間裡的一份「電影劇本」,最終才被具象化成畫面。當生成模型愈來愈長、愈來愈能忠實執行複雜指令時,提示詞的品質就直接決定了整部片的上限。

這正是 WanPE(Wan Prompt Enhancer)這篇論文要解決的問題。作者群(由 Yubo Zhu 領銜,共 30 位研究者於 2026 年 9 月 24 日提交 arXiv,分類為 cs.CV)提出了一個 3970 億(397B)參數的提示詞增強模型,專門用來把使用者輸入的簡短、不完整的提示詞,改寫成具備「導演級」規劃能力的分鏡腳本,再交給影片生成模型(Wan3.0)去產出畫面。過去業界雖然也有「prompt rewriting」的做法,但大多是一次性地把一句話擴寫成更長、更詳細的描述(即所謂 forward rewriting),缺乏對多鏡頭、長時間敘事一致性的系統性建模,也難以驗證改寫後的內容是否仍忠於使用者原本的意圖。WanPE 想要正面處理的,就是「如何讓提示詞增強既有電影感、又不偏離使用者原始需求」這個雙重目標。

方法

WanPE 的核心方法論可以拆成兩個關鍵設計:

第一,是「video-grounded reverse construction」(影片為根據的逆向建構)。與其讓模型憑空想像該怎麼把一句話擴寫成分鏡腳本,WanPE 反其道而行:先蒐集 105 萬部(1.05M)真實世界的影片,對這些影片做逆向解析,從畫面內容反推出對應的「shot-level cinematic plan」——也就是每個鏡頭的動作、運鏡、光線、聲音等細節該如何用文字描述。這種「從真實影片倒推劇本」的方式,讓模型學到的不是憑空捏造的寫作風格,而是真正對應到可生成、可執行畫面的專業分鏡語言。論文的消融實驗證實,這種逆向建構方法明顯優於傳統的「forward rewriting」(直接把提示詞往下寫得更詳細),因為後者容易產生與實際可生成內容脫節的華麗辭藻。

第二,是「Semantic-Consistency GRPO」(SC-GRPO,語意一致性強化學習)。GRPO(Group Relative Policy Optimization)是近年在大型語言模型對齊訓練中常用的強化學習演算法,WanPE 在此基礎上加入了「語意一致性」的獎勵設計,目的是確保模型在把使用者的一句話擴寫成跨越多個鏡頭、長達 30 秒的分鏡劇本時,使用者最初提出的核心需求(例如角色、場景、關鍵動作)不會在鏡頭與鏡頭之間逐漸「跑掉」或被稀釋。這解決了一個現實痛點:提示詞越長、鏡頭越多,模型越容易「自由發揮」而偏離原始意圖。論文的消融研究顯示,SC-GRPO 在不同模型規模(model scale)下都能穩健地維持語意保真度,證明這不是單純靠堆參數量換來的效果,而是訓練方法本身的貢獻。

為了驗證這套方法,作者也建立了一個新的評測基準 WanPEval,這是一個人工標註的測試集,涵蓋 5 秒到 30 秒不等的影片時長,並涵蓋不同的「意圖顆粒度」(intent granularity,例如使用者給的是模糊的一句話,還是相對具體的場景描述)。整個基準總共收集了約 1.1 萬次(11K)盲測配對評估(blind pairwise assessments),也就是讓標註者在不知道兩段影片分別來自哪個系統的情況下,比較哪一個更符合人類偏好。

實驗結果

當 WanPE-397B 被用來為 Wan3.0 的影片生成器做提示詞前處理時,相較於直接使用使用者原始提示詞,人類偏好度出現了顯著提升:

• 在 5 到 15 秒的短片區間,WanPE 讓人類偏好分數提升了 10.66 到 18.84 分。
• 在 30 秒的長片區間,提升幅度更是誇張地達到 50.86 分——這也印證了論文的核心論點:影片越長、多鏡頭敘事越複雜,提示詞規劃的品質對最終成片影響越大,而 WanPE 在這種長時間、多鏡頭場景下的優勢也最為明顯。

在與其他商業化提示詞增強 / 影片生成方案的橫向比較中,WanPE 在 5 到 15 秒的區間全面領先所有受評測的商業產品(commercial offerings);在 30 秒的區間,雖然沒有全面勝出,但仍然能與目前公認強力的競品 Seedance 2.5 打成平手、維持競爭力。

消融實驗進一步拆解了兩個模組各自的貢獻:拿掉 video-grounded reverse construction、改用傳統的 forward rewriting 會造成明顯的性能下滑,顯示「從真實影片反推分鏡語言」這個資料建構方式是關鍵;而 SC-GRPO 則被證明在不同參數規模的模型上都能穩定發揮語意保真效果,不隨模型縮小而失效,顯示這套強化學習機制具有一定的可遷移性,不只是在 397B 這種超大規模模型上才管用。

意義

WanPE 這篇論文釐清了一個容易被忽視,但隨著影片生成模型不斷「拉長時長、加深指令遵循能力」而愈發重要的問題:當影片生成本身的能力(畫面品質、動作連貫性、指令遵循度)逐漸逼近上限時,真正拉開差距的,可能不再是生成模型本身,而是「誰能把使用者一句模糊的話,轉譯成一份專業、可執行、又忠於原意的電影劇本」。這其實與文字大型語言模型領域中「prompt engineering 本身也是一種可學習能力」的趨勢遙相呼應——只是這裡把它系統化、產品化,做成了一個 397B 參數的專用模型,而不是依賴人類手動寫提示詞技巧。

從技術路線來看,「video-grounded reverse construction」這個思路也提供了一個值得借鏡的資料建構範式:與其教模型憑空想像怎麼寫出好提示詞,不如讓模型從大量真實影片中逆向學習「畫面與文字描述之間真正對應的規律」,這種資料驅動、以真實產出為錨點的方法,理論上可以延伸到其他「文字→複雜多模態產出」的任務,例如遊戲關卡設計提示詞、3D 場景描述生成等。

而 SC-GRPO 所處理的「長序列語意一致性隨規劃長度增加而漂移」的問題,也不只是影片生成獨有的挑戰——任何需要模型做長程規劃(long-horizon planning)並同時保持與初始指令對齊的任務(例如多步驟代理任務、長文件寫作規劃),都可能面臨類似的語意漂移問題。WanPE 用強化學習的獎勵設計來顯式約束這種一致性,而非單純依賴更大的模型或更長的上下文視窗,這提供了一種「用訓練目標解決長程對齊問題」而非「用蠻力擴大規模」的替代思路,對於正在打造多鏡頭、長時長影片產品的團隊而言,是一個值得參考的工程與研究方向。