K1 論文詳解

背景

影片大型語言模型(Video LLM)過去多半是「離線」運作:整段影片先丟進模型,使用者再提問。真實場景並非如此。監視器、AR 眼鏡、直播助理或機器人面對的是持續湧入的影像串流,問題可能在幾秒後才出現,也可能永遠不出現。模型有兩件事得同時做好。

第一件是在不知道未來會被問什麼的情況下保存證據。如果把每一幀的視覺特徵都存起來,顯存和延遲很快就爆掉。如果只看最近幾秒,對「十分鐘前那個人拿了什麼?」這類歷史問題就答不出來。

第二件是在證據足夠時主動開口。串流場景中,模型大多數時間應該保持沉默,等到事件真的發生才回應。這就是「proactive response」。

現有做法常把這幾件事拆開處理:感知用一個模組,記憶用另一套檢索或壓縮機制,回應時機再靠另一個判斷頭。拆開之後,記憶通常是壓縮後的視覺特徵,不容易重用,也和語言任務脫節。另外,主動回應的訓練資料有嚴重的類別不平衡,絕大多數時間點的標籤都是「繼續等待」,模型很容易學成永遠不說話。

OneStreamer 想回答的問題是:能不能用同一個生成式介面,同時學會「記錄證據」、「形成記憶」和「適時回應」?

方法

OneStreamer 以 Qwen3-VL-4B-Instruct 為底座,凍結 vision encoder,只訓練 multimodal projector 與 LLM,在 32 張 NVIDIA H200 上訓練一個 epoch。核心設計有三塊。

1. Proactive Hierarchical Caption Memory(PHCM)

模型在串流過程中會自己生成兩種文字紀錄:

• </Observe>:密集的局部細節 caption,描述剛剛直接觀察到的物件、動作、場景與狀態變化,並帶有時間標記。
• </Summary>:較稀疏的語意摘要,在事件結束後以較粗的粒度總結。

推論時,最近 16 到 32 幀(依任務以 1 到 4 FPS 取樣)仍以視覺 token 保留,作為「近期視窗」。更早的畫面離開視窗後,模型生成的 caption 會留在文字歷史中,提供長程上下文,不必再回頭取用歷史視覺特徵。訓練時用串流 caption 作為監督目標,讓模型學會解讀「已觀察的影片前綴」。因為記憶本身就是模型的輸出,它和問答用的是同一個語言空間,可以直接重用。

2. Proactive State Transition Learning(PSTL)

模型的輸出被設計成三種控制狀態:</Silence>(繼續觀察)、</Standby>(證據正在浮現但還不夠)、</Response>(產出使用者可見的回答)。難點在於 Silence 的樣本壓倒性地多。

PSTL 的做法是保留每一個輸出錨點(output anchor)的監督,同時只挑選具代表性的「狀態轉換」與「狀態持續」token 來計算損失。結果只監督了 27.5% 的已標註狀態 token,效果卻優於對所有 token 做密集 cross-entropy。

3. 串流資料合成管線與 OneStreamer-1M

作者設計了一條資料合成流程,透過「證據區間定位」(evidence-interval localization)與「回應時間校準」(response-time calibration),讓輸出內容與時間點對齊當下已有的證據,避免答案提早洩漏未來資訊。結合清理過的開源資料後,得到 OneStreamer-1M,共 1,160,004 筆,分四類:

• Proactive Caption Memory:60,000 筆
• Proactive Interaction:271,570 筆
• Proactive QA:197,584 筆
• Perception & Memory QA:630,850 筆

實驗結果

作者報告 4B 模型在八個串流影片理解 benchmark 上,都是所比較方法中的最佳。下表對照同底座的 Qwen3-VL-4B:

提升最大的是和「主動回應」與「時間點判斷」相關的項目(ProactiveVQA +14.4、OVO-Timing +12.2),也包含一般的串流感知任務(OVOBench +13.3、ODVBench +13.7)。StreamingBench Real-Time 的基線本來就高(81.8),提升較小(+5.1)。要注意的是,這些提升是在「加入 OneStreamer-1M 訓練資料」與「新機制」兩者疊加下得到的,論文表格本身無法把兩者的貢獻完全分開,看消融實驗更能判斷各機制的作用。

消融實驗的重點有三個:

1. 保留生成 caption 能改善歷史問答:在歷史記憶類的指標(ASI)上,從 63.5 提升到 71.6,而即時感知能力沒有下降。這回應了摘要裡「不犧牲即時感知」的主張。
2. 階層式設計優於單一做法:「近期視覺視窗 + 遠端 caption 記憶」的組合,在記憶任務上勝過「保留完整歷史」,也勝過「只看近期」。
3. PSTL 的選擇策略有效:選擇性狀態監督優於密集 cross-entropy。在監督比例相同的情況下,它也優於隨機挑選,說明收益來自「怎麼選」,而不單單是「選得少」。

意義

這篇論文有幾個值得注意的地方。

第一,記憶以文字形式存放。把歷史變成模型自己寫的 caption,有幾個實務上的好處:佔用的上下文遠比視覺 token 小,可以直接閱讀和除錯,也能被後續任何問題重用。代價是,caption 沒寫到的細節就永遠丟失了。所以「query-independent」的 caption 品質(寫什麼、寫多細)會成為上限。論文用 caption 監督資料(6 萬筆)來訓練這項能力,但在更開放、更長時間尺度的場景中是否仍然足夠,還需要觀察。

第二,「該不該說話」被當成一般的生成問題。用 </Silence>、</Standby>、</Response> 這些 token 表示狀態,不需要額外的決策頭,與感知和記憶共用同一套訓練流程。PSTL 針對類別不平衡的解法也很通用,任何「大部分時間無事發生」的序列決策任務(例如機器人監控、對話中的插話時機)都可能借用。

第三,4B 的規模說明了資料與介面設計的價值。在八個 benchmark 上贏過同類方法,而且用的是小模型,對想在邊緣裝置或低延遲場景部署的團隊很有吸引力。另一方面,「best among the compared methods」取決於作者選的比較對象與設定,讀者在採用前,最好自行核對論文中的完整比較表,以及是否包含更大的模型。

整體來看,OneStreamer 的主張是:把感知、記憶形成與主動回應,都歸結為同一種「主動生成」,是一條簡潔且可擴展的路線。後續值得追蹤的問題包括:caption 記憶在數小時以上的影片中會不會累積錯誤、</Observe> 的生成成本對即時延遲的影響,以及這套資料與模型是否會開源,讓社群能複現這些結果。

背景

近年訓練推理模型時,常見一種說法:on-policy 學習(訓練資料由模型自己產生)比 off-policy 學習(資料來自別的模型或固定資料集)更好。支持這個說法的論點有三個。第一,它能減少 catastrophic forgetting。第二,它的參數更新比較稀疏。第三,它的泛化能力較佳。這個印象多半來自 RL 與 SFT 的比較:RL 是 on-policy,SFT 通常是 off-policy,而 RL 的確常常表現較好。

這類比較有一個方法上的問題。SFT 和 RL 的差異不只在資料從哪裡來,還包括損失函數、獎勵訊號、學習率、訓練步數等許多因素。這些因素同時改變,所以很難說好處是來自 rollout policy,還是來自其他設計。

這篇論文想把「rollout policy」單獨拆出來檢驗。作者選了 strong-to-weak distillation 這個設定:用強的 teacher 模型教較弱的 student 模型。在這個設定下,可以獨立調整三個變數:

1. Rollout policy:訓練用的序列由 teacher 還是 student 產生。
2. Token-level KL 的方向:forward KL 或 reverse KL。
3. 學習率。

實驗涵蓋 Llama3 與 Qwen2.5 兩個模型家族,任務包含科學、醫療與算術(Countdown)等推理領域。

方法

先說明兩個 KL 方向的差別,這是理解全文的關鍵。這段是一般背景,不是論文獨有的設計。

• Forward KL(KL(teacher‖student))會逼 student 覆蓋 teacher 分佈中有機率的所有 token,傾向 mode-covering,輸出的覆蓋範圍較廣。
• Reverse KL(KL(student‖teacher))以 student 自己的分佈為權重,傾向 mode-seeking。student 會集中在 teacher 認為高機率的少數模式上。

作者把這三個軸獨立組合,形成完整的實驗矩陣。他們也不只比較「純 teacher」與「純 student」兩個端點,而是做了一條連續的 student-teacher rollout-policy 光譜,觀察訓練資料從 teacher 逐步轉向 student 時,表現如何變化。

為了解釋觀察到的現象,論文還分析了兩種 KL 的梯度,檢查 rollout policy 改變時,梯度的形式與穩定性有什麼不同。

此外,作者做了幾項穩健性檢查,確認結論不是特定設定造成的:

• 移除 gradient clipping。
• 改用 sampled KL estimator,而不是完整的 token-level KL。
• 改在需要更長推理鏈的任務上訓練。

最後,他們也檢驗蒸餾後再接 RLVR(reinforcement learning with verifiable rewards)時,先前的差異是否還存在。

實驗結果

摘要與公開頁面只給出定性結論,沒有列出完整的數字表。以下只整理論文明確陳述的發現,不自行補充具體數值。

1. Rollout policy 不一定是主角。 作者發現,對最終任務表現與輸出覆蓋率影響較明確的是 KL 方向。對 forgetting 與更新稀疏度影響最大的是學習率。這和「on-policy 本身就能減少遺忘、讓更新稀疏」的流行說法不同。至少在這個受控設定下,這些性質更像是學習率的作用,而不是 rollout policy 的作用。

2. Forward KL 對 rollout policy 非常穩健。 不論資料多 on-policy 或多 off-policy,forward KL 的表現都穩定且強。Reverse KL 則敏感得多,而且明顯偏好 student 自己產生的 rollout。梯度分析和連續光譜實驗都支持這一點。直覺上,reverse KL 的目標本身就取決於 student 的分佈,所以資料來源一變,訓練訊號就跟著變。

3. On-policy 資料確實有一個優勢:泛化到更難的任務。 在 Countdown 算術任務上,不論用哪一種 KL 方向,on-policy 資料都能讓模型更好地泛化到更困難的變體。作者沒有否定 on-policy 的價值。

4. 這個優勢不一定能延續到 RLVR 之後。 蒸餾完成後再做 RLVR,on-policy 蒸餾帶來的泛化優勢無法穩定保留。這暗示 RLVR 階段可能會抹平,或至少改變,蒸餾階段留下的差異。

5. 結論經得起檢驗。 移除 gradient clipping、使用 sampled KL estimator、改用更長推理鏈的任務,主要結論都沒有被推翻。

論文頁面沒有提供各 benchmark 的具體分數、模型參數量或改進幅度。需要確切數字的讀者,建議直接查閱全文的表格與圖。

意義

對實務的啟示。 如果你在做 strong-to-weak distillation,這篇論文提供了一個務實的建議:不必預設 on-policy 就最好。若選用 forward KL,teacher 產生的資料就能穩定地達到強表現,省下 student 採樣與在線生成的成本與工程複雜度。若選用 reverse KL,就應該搭配 student 產生的 rollout,否則表現會明顯受影響。換句話說,目標函數與資料來源要配套設計,不能只談其中一個。

對超參數的提醒。 學習率主導 forgetting 與更新稀疏度。這提醒我們,先前一些「on-policy 比較不會遺忘」的觀察,可能混入了學習率差異的影響。比較不同訓練範式時,若學習率沒有被控制或分別調整,結論可能不可靠。

對評估的提醒。 On-policy 的價值取決於你看哪個指標。在一般任務表現上,它的優勢不明顯。在更難的 Countdown 變體上,它有泛化優勢。再經過 RLVR,這個優勢又不穩定。這說明評估設定和訓練管線的下游階段都會影響結論。

限制。 這是一項針對特定設定的受控研究:Llama3 與 Qwen2.5、少數幾個推理領域、strong-to-weak distillation。結論能否推廣到更大的模型、其他任務,或非蒸餾的 RL 場景,仍需要後續驗證。而且摘要並沒有說 on-policy 沒有用,它的結論是「其價值取決於目標、評估設定與優化超參數」。這是一個比「on-policy 一定更好」更細緻,也更有條件的說法。

背景

愈來愈多學術會議與期刊開始試用 LLM 當「AI 審稿員」,用來初篩、給分或寫審稿意見。這帶來一個很實際的疑慮:同一份研究成果,換個寫法,AI 會不會給出不同的評價?

如果會,後果不只是評分不穩。作者會有動機去優化措辭、包裝敘事,而不是改進研究本身。審稿機制原本要獎勵的是科學貢獻,最後可能變成獎勵修辭技巧。

這篇論文把這個問題正式定義為 Rhetorical Robustness(修辭穩健性)。它同時要求兩件事:

1. 穩定性:對內容不變、只改寫法的稿件,評價要一致。
2. 區分力:對不同的論文,評價要拉得開。

要同時看兩者,是因為只看穩定性很容易被鑽漏洞。如果審稿員不管收到什麼稿件都給差不多的分數,它的穩定性當然很高,但這種審稿員沒有用。

方法

作者提出兩個主要貢獻:一個評測基準,以及一個依據評測發現設計的審稿方法。

RobustReview 基準。 這是一個受控的「完整稿件」基準,共有 1,260 個稿件版本。每篇論文會被改寫成多個版本。改寫的原則是保留科學內容,只改變措辭與表達風格。這讓研究者能直接量測「內容相同、寫法不同」時,審稿員的分數變動有多大。研究使用的是完整稿件,不是摘要或片段,所以結果更接近真實審稿情境。

作者用這個基準評測了 30 種審稿員配置,涵蓋不同的 backbone 模型與提示(prompting)協定。

SciCore 審稿員。 評測結果促成了 SciCore,這是一個雙分支(dual-branch)審稿員:

• 分支一:直接讀完整稿件,給出整體判斷。
• 分支二:先從稿件中抽取出結構化的「science core」(科學核心,即問題、方法、證據、結論等實質內容),再只根據這份濃縮的核心做判斷。

最後把兩個分支的判斷取平均。分支一保留了對整篇稿件的評估能力。分支二把稿件正規化成與措辭較無關的內容表示,目的是降低對修辭的敏感度。

實驗結果

我能讀到的 Hugging Face 與 arXiv 頁面只提供摘要層級的資訊,沒有完整的結果表格。所以下面只列論文明確陳述的發現,不補上我無法確認的細部數字。

第一,存在「假穩健」(false robustness)。 有些審稿員的改寫敏感度很低,看起來很穩,但同時在不同論文之間出現分數塌縮(score collapse),也就是對所有論文都給相近的分數。它們的穩定只是因為沒在做區分。這證明了只報告穩定性指標會誤導人,必須同時看區分力。

第二,人類對齊與修辭穩健性給出不同的排名。 一個審稿員的分數與人類審稿者越接近,不代表它越不受修辭影響。兩個指標排出的名次並不一致,所以修辭穩健性是一個獨立的評測目標,不能靠既有的人類對齊指標順便涵蓋。

第三,內容導向的提示協定效果不一致。 作者評測了一種要求模型專注內容的提示方式,結果它在不同 backbone 上並沒有穩定地改善穩健性。換句話說,光靠「請你只看內容、別被文筆影響」這類指令,不是可靠的解法。

第四,SciCore 的表現。 在主要比較中,論文使用 GPT-5.5 作為 backbone。SciCore 在所有受測審稿員中取得領先的「穩定性—區分力」聯合表現,同時維持有競爭力的人類對齊程度。論文的措辭是「leading joint profile」和「competitive alignment」,沒有宣稱全面最佳。我在可讀的頁面中也沒有取得具體的分數差距,所以這裡不引用數字。(其中一個頁面的摘要寫成 GPT-4.5,但原始摘要是 GPT-5.5,以原始摘要為準。)

意義

這篇論文的價值主要在三個地方。

它把問題講清楚了。 「AI 審稿員會被文筆影響」過去多半是直覺。這篇論文給了可量測的定義和一個受控基準,讓這個問題可以被比較、被追蹤。「穩定性 × 區分力」的聯合要求也是一個值得沿用的設計。評測 LLM-as-a-Judge 的其他場景(例如作文評分、程式碼審查、履歷篩選)也會碰到同樣的假穩健陷阱。

它提醒我們不要把「像人」當成唯一標準。 人類對齊高的審稿員未必穩健。如果只用人類對齊來選審稿員,可能會選到容易被修辭影響的模型。部署這類系統時,穩健性應該獨立評估。

SciCore 提供了一個可行的方向,但還不是定論。 「先抽取核心,再評分」的做法,等於在評分前加了一層內容正規化。它的代價是多一次抽取,而且整體品質取決於 science core 抽得準不準。如果抽取過程遺漏了關鍵細節,或被原文的措辭影響,這個分支的優勢就會打折。作者也用的是「demonstrate the potential」這類謹慎的說法。另外,主要比較只在單一 backbone(GPT-5.5)上進行,能否推廣到其他模型,還需要更多驗證。

對於正在考慮把 LLM 引入審稿流程的會議或期刊來說,這篇論文的實務結論很直接:不要只看 AI 審稿員與人類的相關係數,也要用內容不變的改寫去測它,並同時確認它真的能分辨論文好壞。