K1 論文詳解

背景

訓練一個大型模型時,選哪個最佳化器(optimizer)早已不是「用 Adam 就好」這麼單純的事。隨著模型規模衝上百億甚至千億參數,最佳化器的選擇變成一個牽動運算成本、顯示記憶體、調參預算與任務多樣性的系統層級決策。過去十年間,學界與業界陸續提出了超過一百種最佳化方法——從最早的 SGD、Adam、AdamW,到近年火紅的 Lion、Muon、Sophia、Shampoo、SOAP 等試圖引入二階資訊或結構化更新的新方法。問題是,這些方法各自用不同的符號、不同的動機、不同的實驗設定發表,使得研究者與工程師很難回答一個看似簡單的問題:在我現在的訓練場景下,到底該用哪一個?

由來自 Li、Pan、Liu、Ouyang、Jin、Xu、Wei、Pang、Che、Zhou、He、Tan 等 12 位研究者共同完成的這篇 91 頁論文《OmniOpt》,正是想解決這種「碎片化」問題。他們的目標不是再發明一個新的最佳化器,而是替整個領域畫出一張統一的座標系統,讓上百種方法可以被放進同一個框架裡比較、理解、選擇。

方法

OmniOpt 的核心建立在四個彼此耦合的組件上。

第一,他們把每一個最佳化器的參數更新過程,拆解成一個「五階段的 meta-pipeline」(統一元管線):從原始梯度出發,依序經過動量/梯度處理、自適應縮放、(近似)二階或結構化前處理、正規化與權重衰減,最後才產生真正套用到參數上的更新量。作者發現,市面上絕大多數方法其實只在這五個階段裡動了一兩個環節——例如 AdamW 主要在「自適應縮放」階段做文章,而 Shampoo、SOAP 這類方法則是在「結構化前處理」階段引入類 Kronecker 或二階近似。

第二,論文引入「範數約束線性最小化神諭」(norm-constrained linear minimization oracle, LMO)這個統一的數學語言,把看似風格迥異的更新規則(符號化更新、正交化更新、range-based 更新等)都改寫成在某個範數球約束下求解線性最小化問題的形式,藉此揭露不同方法之間隱藏的等價性與差異。

第三,前兩個視角合力支撐起一個「雙維度分類法」:一個維度依「機制家族」把每個方法歸類(例如動量類、自適應學習率類、二階資訊類、結構化/正交化類、排程與正則化類);另一個維度則記錄該方法真正想改善的「可測量訓練目標」(例如收斂速度、記憶體占用、超參數穩健性、大批次穩定性等),而不是只看論文自稱的賣點。

第四,也是全文的重頭戲:作者把整套分類法實際「跑」在一個跨領域(cross-domain)的統一 benchmark 上,涵蓋從語言模型預訓練(language model pretraining)一路到影像分類(image classification)等不同任務型態、不同模型規模與不同訓練規制(training regime),系統性地比較各個機制家族在多個效果目標上的表現與取捨。

實驗結果

與其產出「哪個最佳化器最強」這種單一排行榜,OmniOpt 的實驗設計更像是一份「體檢報告」:針對每個機制家族,在語言模型預訓練與影像分類等不同場景下,分別衡量它在收斂速度、最終效果、記憶體與計算開銷、對超參數的敏感度等多個維度上的相對表現,並把結果映射回前述的雙維度分類座標。作者的整體結論是:沒有任何一個機制家族能在所有效果目標與所有規模下全面壓制其他家族——引入二階或結構化資訊的方法(如 Shampoo、SOAP 一類)往往在收斂速度與樣本效率上有優勢,但代價是更高的記憶體與計算開銷;而輕量的一階自適應方法(如 AdamW 系)雖然單步效率高,但在超參數敏感度或大批次穩定性上未必是最優解。這種「有得必有失」的結構性取捨,正是過去零散的單篇論文很難呈現的全貌,而 OmniOpt 透過統一的機制-目標座標系統把它系統性地攤開。

意義

對研究社群而言,OmniOpt 提供的不是又一個「更好的優化器」,而是一套可操作的「座標系統」:當你知道自己的訓練場景更在意記憶體、還是更在意收斂速度、又或是超參數調校成本有限,就可以依據機制家族與目標維度快速縮小候選範圍,而不必在上百篇論文與各種零散 benchmark 之間大海撈針。這對於身處工程一線、需要在有限算力預算下做出優化器選型決策的團隊尤其實用。更長遠來看,作者也指出,現有超過一百種方法大多只觸及五階段元管線裡的一兩個環節,這意味著管線中仍有大片尚未被充分探索的組合空間——未來的優化器研究,或許不再是零散地「再發明一個新技巧」,而是有系統地在這張地圖的空白處落子。這種「先繪圖、再探勘」的研究範式轉變,可能是這篇論文比任何單一實驗數字都更值得長期關注的貢獻。

背景

近年多模態基礎模型與代理人(agent)系統快速發展,GUI 代理人——也就是能看懂螢幕畫面、模擬滑鼠鍵盤或觸控操作來完成任務的 AI——也從只能在單一平台(例如只會操作 Windows 桌面,或只會操作手機 App)進化到嘗試跨平台作業。這聽起來像是自然的下一步,但實際做起來困難重重。

第一個難題是資料稀缺。要訓練一個能在桌面與行動裝置間切換自如的代理人,需要大量「可執行」的跨平台互動軌跡(trajectory)——也就是一步步操作紀錄,而且每一步都必須真的能在環境中執行成功。目前市面上的資料集要嘛平台覆蓋率有限,要嘛品質參差不齊。

第二個難題更棘手:不同平台的操作邏輯天差地遠。桌面系統習慣用滑鼠點擊、鍵盤快捷鍵、視窗管理;行動裝置則仰賴觸控、滑動手勢、返回鍵導覽。如果直接把兩種平台的資料混在一起做聯合訓練(joint training)或持續學習(continual learning),模型很容易出現「行為模式混淆」——例如在手機上做出滑鼠點擊的動作邏輯——甚至發生災難性遺忘(catastrophic forgetting),也就是學會新平台後,舊平台的能力反而退步。

為了解決這兩個問題,研究團隊做了兩件事:一是打造 Uni-GUI,一個高品質的跨平台 GUI 互動資料集;二是提出 UI-MOPD(Multi-Platform On-Policy Distillation),號稱是第一個把「多教師 on-policy 蒸餾」機制導入 GUI 代理人持續學習的方法。論文於 2026 年 7 月投遞到 arXiv(編號 2607.04425),同時附上專案網站與 Hugging Face 頁面供讀者查閱更多細節。

方法

UI-MOPD 的核心想法可以理解成「一個學生、多位家教」。整個訓練流程大致分兩階段:

第一階段:訓練平台專家教師模型。 研究團隊先用 Uni-GUI 資料集中屬於桌面與行動裝置的資料,分別對大型模型(採用 Qwen3-VL-32B-Thinking 這類具備思考鏈能力的多模態模型)做監督微調(SFT),各自訓練出一個「桌面教師」與一個「行動裝置教師」,讓每個教師都對自己平台的操作慣例(convention)有深刻理解。

第二階段:平台條件化蒸餾(platform-conditioned distillation)。 接著,團隊用一個相對輕量的共享策略模型(student policy,採用 8B 規模的 Qwen3-VL-8B-Thinking)進行強化學習訓練。關鍵設計在於:當學生模型目前所處的環境是桌面時,系統會動態選擇桌面教師來提供監督訊號;若環境切換到行動裝置,則自動切換成行動裝置教師。這種「依環境動態選教師」的路由機制,避免了把兩種平台的行為模式強行揉在同一個梯度更新裡,而是讓學生在保留既有能力的前提下,逐步吸收新平台的行為先驗(behavioral prior)。

技術細節上,蒸餾懲罰項使用 KL 散度來衡量學生與教師輸出分布的差距,並搭配一種「自適應 KL 遮罩」機制——當某個任務群組的獎勵(reward)已經夠高時,便暫時關閉教師的懲罰,讓模型有更多探索空間去啃困難任務,而不是一味模仿教師的既有行為。獎勵函數本身採用結構化的分級設計:完美完成任務給予正向獎勵,部分正確給予較小的懲罰,無效動作則給予較重的懲罰,藉此引導強化學習朝正確方向收斂。

至於訓練資料 Uni-GUI,是團隊自建的統一跨平台資料收集流程所產出,結合桌面與行動裝置的自行收集軌跡,並清洗、整合既有的開源軌跡資料,最終形成涵蓋兩大平台、數萬步操作、上萬條軌跡規模的資料集,用來支撐教師模型的訓練與蒸餾過程的監督訊號品質。

實驗結果

團隊在兩個交互式(interactive)基準上評估 UI-MOPD:

• OSWorld(桌面環境基準,包含數百項真實桌面任務):UI-MOPD 達到 38.2% 的任務成功率。
• MobileWorld(行動裝置環境基準,包含逾百項手機操作任務):UI-MOPD 達到 12.0% 的任務成功率。

論文摘要中特別強調,相較於基準方法,UI-MOPD 在 OSWorld 上帶來約 12.7% 的相對提升,在 MobileWorld 上更帶來高達 55.8% 的相對提升——顯示這個方法在「新平台適應」上的效果特別顯著,而不是靠犧牲既有平台能力換來的。

與其他常見的多平台訓練策略相比也頗具說服力:

• 混合式監督微調(Mixed-SFT),也就是把桌面與行動裝置資料直接混合訓練,結果是 OSWorld 35.0%、MobileWorld 僅 6.4%,印證了論文一開始提出的「行為模式混淆」問題確實存在。
• 模型合併(Model Merge,採用 TIES 等參數融合技術),把桌面專家與行動裝置專家的權重直接平均合併,結果 OSWorld 36.8% 看似尚可,但 MobileWorld 卻直接崩潰到 0%——顯示單純在參數空間做平均,無法保留兩邊平台各自的操作邏輯,一旦兩者衝突,其中一方的能力會完全消失。

相較之下,UI-MOPD 在兩個平台上都取得最高分,證明「路由式多教師蒸餾」確實比「資料混合」或「參數合併」更能兼顧新舊平台能力。此外,團隊也在靜態 GUI 理解類的基準(例如評估模型是否能正確定位螢幕元素的 grounding 基準,以及行動裝置操作理解基準)上做了驗證,顯示模型不僅在動態互動任務上表現提升,基礎的視覺定位與指令理解能力也維持在有競爭力的水準,佐證了蒸餾機制沒有犧牲模型的底層感知能力。

意義

UI-MOPD 提供的啟示,對正在打造「通用型」數位助理或自動化代理人的團隊來說相當關鍵。過去業界常見的做法不外乎兩種:一種是「一個平台一個模型」,雖然效果好但難以擴展、維運成本高;另一種是「大鍋炒式聯合訓練」,把所有平台資料丟進同一個模型硬練,卻常常換來顧此失彼的結果——本論文用 MobileWorld 上模型合併方法崩到 0% 的實驗數據,具體展示了這種取捨有多脆弱。

UI-MOPD 的多教師 on-policy 蒸餾架構,本質上是把「知識蒸餾」與「持續學習」兩個原本各自獨立的研究方向結合起來,用一個相對小巧的 8B 學生模型,透過動態路由去繼承多個大型專家教師(32B 規模)的平台特化能力。這種「大模型當老師、小模型當通才學生」的思路,不僅降低了實際部署時的推理成本(8B 模型比 32B 模型更容易在生產環境中即時運行),也為未來持續加入「第三個平台」「第四個平台」提供了一條可擴展的路徑——理論上只要訓練一個新的平台教師,再把它納入路由機制,就能讓學生模型持續進化,而不必每次都從頭重新訓練整個系統。

對整個 GUI 代理人領域而言,這篇論文也呼應了近期業界對「電腦使用代理人(computer-use agent)」與「手機自動化代理人」需求日益迫切的趨勢——無論是自動化辦公流程、跨裝置的個人助理,或是無障礙輔助工具,能夠同時勝任桌面與行動裝置操作的單一代理人,將會比分開維護多套系統更具商業與實用價值。Uni-GUI 資料集的公開(若後續開源),以及 UI-MOPD 方法論本身,都有機會成為後續研究在「多平台、多教師、持續學習」方向上的重要參考基準。當然,38.2% 與 12.0% 的成功率也說明這個領域仍有相當大的進步空間,尤其是 MobileWorld 上個位數到十位數的成功率,顯示行動裝置環境的複雜度(例如 App 生態多樣、UI 版本迭代快)仍是遠比桌面環境更難啃的硬骨頭,值得後續研究持續投入。

背景

3D 重建與 3D 生成長期以來被視為兩個獨立問題來解決:重建任務通常採用「像素回歸」方式,直接從影像預測深度或幾何屬性;生成任務則多半依賴 latent diffusion,也就是先用 VAE(Variational Autoencoder)或 RAE(Representation Autoencoder)把影像壓縮成潛在特徵,再對這些特徵做擴散建模。近期已有工作嘗試把兩者統一到同一套 latent space 框架裡,但這種做法有兩個明顯缺陷:第一,diffusion 的訓練目標是定義在潛在特徵上,而不是真正的 3D 表徵本身,導致優化方向和 3D 場景的實際保真度存在落差;第二,無論是重建分支還是生成分支,都會因為 latent encoding 而遺失部分資訊,且必須依賴額外預訓練好的 VAE 或 RAE,增加了系統複雜度與失真來源。由 Sensen Gao、Zhaoqing Wang、Qihang Cao、Dongdong Yu、Changhu Wang、Jia-Wang Bian 等人提出的 PixWorld,正是針對這個核心矛盾而生:能不能設計一個單一模型,直接在像素空間同時處理 3D 重建與生成,徹底繞開 latent 壓縮帶來的資訊損失?

方法

PixWorld 的核心思路是把 diffusion 的監督訊號直接建立在「渲染出來的影像」上,而不是壓縮後的潛在特徵,藉此讓最佳化目標與 3D 場景的視覺保真度直接對齊。模型架構是一個約 10.4 億(1.04B)參數的統一框架,主體為 24 層的 two-stream MMDiT(Multi-Modal DiT),hidden width 為 1024、16 個注意力頭(每個 head dim 64),並使用 SwiGLU 前饋層。設計上採用「乾淨」與「帶噪」兩條獨立資料流,彼此透過共享的 joint full attention 交互,影像先以 16×16 的 patch 切分並加上可學習的位置編碼,再透過多任務輸出頭同時預測深度與 3D Gaussian 屬性,相機參數則以 PRoPE 編碼方式注入模型。

除了標準的 2D 光度損失(photometric loss)與感知損失(perceptual loss,基於 LPIPS)之外,PixWorld 還引入了一個關鍵創新——幾何感知損失(geometry perception loss)。它借助一個凍結參數的預訓練 3D 基礎模型 π³ 作為「幾何評判器」,把渲染出的視角與真實視角在該模型的幾何感知特徵空間中對齊,從而為 2D 監督補上原本缺乏的 3D 結構資訊。訓練資料結合 RealEstate10K 與 DL3DV-10K 共約 6.7 萬個場景,並額外用 BLIP-3o 語料庫中的 1000 萬張單張影像做增強;每個場景隨機取 4 到 8 個視角,並隨機切分為乾淨/帶噪子集進行訓練。模型以 AdamW 優化器訓練約 20 萬步,學習率從 1×10⁻⁴ 線性衰減至 1×10⁻⁵,搭配 EMA(衰減率 0.9995)與梯度裁剪(1.0),並以 20% 比例做 classifier-free 文字丟棄,訓練解析度為 336×448,使用 32 張 NVIDIA A800-SXM4-80G GPU。

實驗結果

在新視角合成(novel view synthesis)任務中,PixWorld 在 RealEstate10K 的 4-view 設定下達到 PSNR 24.18、SSIM 0.832、LPIPS 0.138;8-view 設定下為 PSNR 23.54、SSIM 0.815、LPIPS 0.210;在更具挑戰性的 DL3DV-10K 4-view 設定則為 PSNR 19.37、SSIM 0.594、LPIPS 0.340,整體表現可與目前最先進的重建方法(如 LVSM、Geometry Forcing)相匹配。

在 3D 場景生成任務上,PixWorld 在 WorldScore 綜合基準測試中取得 71.04 分,拿下整體最佳成績,其中相機控制精度(Camera Control)91.08、3D 一致性(3D Consistency)91.39、光度一致性(Photometric Consistency)93.84,三項子指標皆為第一名。與 latent-space 生成方法 FlashWorld 相比,PixWorld 在單視角(1-view)生成設定下 PSNR 提升 1.06 dB,相機控制精度指標 AUC@5 也從 0.546 提升到 0.614。消融實驗證實了幾何感知損失的重要性:一旦移除該損失,在 RealEstate10K 的 1-view 設定下 PSNR 從 19.12 掉到 17.99(下降 1.13 dB),SSIM 從 0.717 掉到 0.612,AUC@5 也相對下降約 12.5%,顯示光靠 2D 光度與感知監督不足以保證 3D 幾何的正確性。此外,論文還與 Gen3C、Gen3R、Wan-2.1、WonderJourney、LucidDreamer 等多個生成與重建基線做了比較,PixWorld 在多數指標上都取得領先或持平的結果。

意義

PixWorld 的價值在於證明了一件事:3D 重建與生成不必被迫拆解成兩套獨立系統,也不必依賴額外的 VAE/RAE 才能統一。透過把 diffusion 監督直接搬回像素空間,並用預訓練 3D 基礎模型提供幾何監督,PixWorld 讓優化目標與最終渲染品質真正對齊,同時避免了潛在編碼帶來的資訊損失。這對後續的世界模型(world model)、可控場景生成、以及需要同時具備高保真重建與自由視角生成能力的應用(例如虛擬拍攝、遊戲場景快速搭建、機器人模擬環境)都有直接參考價值。更重要的是,它提供了一條不同於「一切都往 latent space 塞」的技術路線,說明像素空間 diffusion 配合合適的幾何監督,同樣可以兼顧效率與品質,為未來統一式 3D 生成-重建模型的設計提供了新的思路。