K1 論文詳解

背景

目前主流的指令式圖像編輯（instruction-based image editing）框架，幾乎都是直接沿用文字生成圖像（text-to-image）diffusion model 的訓練套路：蒐集大量「原圖—指令—目標圖」三元組，用監督學習方式微調模型。這個做法看似合理，但論文作者指出其中存在兩個被長期忽視的根本性落差。

第一個落差是「編輯概念的粒度不足」。現有資料集（例如作者提到的先前 SOTA ScaleEdit-12M）雖然規模龐大，但編輯類型的分類通常只有 10 到 23 種粗略類別，例如「換背景」「改顏色」「加物件」這種籠統標籤。但真實世界的編輯需求遠比這細膩得多——同樣是「調整人物動作」，可能細分成「比愛心手勢」「聳肩」等具體動作；同樣是「改表情」，也可能細分成「焦慮」「困惑」等微妙情緒狀態。粗粒度的類別體系讓模型學不到這些細節差異，也讓後續評測難以精準診斷模型的弱點在哪裡。

第二個落差是「訓練效率低下」。在傳統的單一編輯樣本中，一張圖片裡真正發生變化的像素往往只佔一小部分，其餘背景大多維持不變。這意味著模型在訓練時，大部分的監督信號其實是在教它「保持不變」，而非學習真正的結構性變換能力。監督信號稀疏（sparse supervision），導致模型需要消耗更多訓練樣本才能學會有效的編輯技能，訓練效率大打折扣。

基於這兩個觀察，作者團隊提出一個核心主張：與其像過去一樣持續擴大「原始圖片」的多樣性，不如轉向擴大「編輯概念」本身的多樣性與密度，這才是圖像編輯模型突破瓶頸的關鍵。

方法

論文提出三項互相搭配的核心貢獻：概念分類體系、資料合成框架，以及密集監督訓練策略。

階層式概念分類與 ConceptEdit-12M 資料集。 團隊建立了一套包含超過 1,028 種細粒度編輯概念的階層式分類體系（taxonomy），涵蓋六大類別：全域增強與氛圍（Global Enhancement and Atmosphere）、通用物件與實體編輯、人像與人物中心編輯、文字與圖形設計、生成與構圖，以及進階與領域專屬應用。基於這套分類體系，他們構建了 ConceptEdit-12M——一個包含 1,200 萬組高品質編輯配對的大規模資料集，規模上追平此前最大的 ScaleEdit-12M，但概念多樣性遠超對方（後者最多只有 23 個子任務）。

四階段資料合成框架。 為了在龐大規模下依然保持資料品質，作者設計了一套「以概念庫為驅動」的四階段合成流程：(1) 利用大型語言模型（LLM）蒸餾世界知識，透過迭代方式動態擴充結構化的概念庫；(2) 用視覺語言模型（VLM）評估概念與來源圖片的語意相容性，據此生成客製化的編輯指令，同時產生對應的 VQA 驗證問題；(3) 由編輯模型（本文採用 FLUX.2-klein-9B）根據文字指令合成目標圖片；(4) 用「實例專屬」的 VQA 問答對，針對容易出錯的局部區域進行過濾把關，而非套用一套通用的驗證標準。實驗顯示這種實例專屬過濾比傳統通用驗證方式效果顯著更好：precision 提升 9.0%、recall 提升 30.0%、F1-score 提升 21.0%、整體 accuracy 提升 5.0%。此外，這套結構化的概念庫還有效緩解了「分佈崩塌」問題——若採用隨機取樣的方式生成指令，74.6% 的指令會集中在僅僅 5 種主導風格上，而結構化取樣則能維持概念分佈的均衡。

密集監督訓練策略（Dense Supervision）。 針對監督信號稀疏的問題，作者提出將多個互不干擾的編輯概念，合成到同一組圖片配對中，讓一次訓練樣本同時攜帶多種編輯訊號。這迫使模型將更多表徵能力用於學習「結構性變換」，而非單純學習「保持背景不動」。實驗顯示，若不採用組合式編輯，模型需要多花約 1.5 倍的樣本量才能達到相同效果；反之，採用單一與組合編輯 1:1 混合比例的密集監督策略，能將收斂速度加快 1.5 倍，且對單一概念任務的表現也有正向提升，代價僅是 VQA 過濾階段每個樣本增加約 0.069 秒的計算開銷，相當輕微。

ConceptEdit-Bench 評測集。 為了配合細粒度概念體系，團隊也建立了對應的評測基準 ConceptEdit-Bench，涵蓋約 1,000 個細粒度類別，用以精準診斷模型在各類編輯場景下的具體弱點，而非僅給出一個籠統的整體分數。

實驗結果

訓練基座採用 Z-Image 框架，指令生成與過濾使用 Qwen3.5-122B-A10B，圖像合成使用 FLUX.2-klein-9B，訓練設定為 learning rate 1×10⁻⁵、batch size 512。

在 ImgEdit-Bench 上，於 200 萬（2M）訓練樣本規模下，採用千概念＋組合編輯策略的 ConceptEdit₁₀₀₀ 模型取得 3.48 分的整體分數，相較於基準方法 ScaleEdit 的 3.17 分，提升 0.31 分；當訓練樣本擴大到 500 萬（5M）時，ConceptEdit₁₀₀₀ 進一步達到 3.75 分，而 ScaleEdit 僅為 3.31 分，差距擴大到 0.44 分。消融實驗也證實了「概念粒度」本身的貢獻：在同樣 2M 訓練規模下，將編輯概念類別數從 10 種擴增到 1,000 種，分數即從 3.05 提升到 3.33。

在 GEdit-Bench 的英文子集上，5M 規模下 ConceptEdit₁₀₀₀ 的語意相似度相關指標（GSC）達到 6.86，相較 ScaleEdit 的 5.77 提升 1.09 分；中文子集上也觀察到組合式編輯策略帶來的一致性增益。

在與其他資料集/模型的對比中，ConceptEdit 系列整體優於使用 1,000 萬樣本的 UnicEdit，以及此前規模最大的 ScaleEdit-12M。而在 ConceptEdit-Bench 這個新提出的細粒度評測上，閉源模型 Nano Banana 2 取得 66.19 分，開源模型中表現最佳的 FireRed-Image-Edit-1.0 則為 65.86 分，顯示即便是目前最強的模型，在覆蓋上千種細分編輯場景時仍有明顯進步空間，尤其是在人像編輯與構圖類別上普遍表現較弱，反映出這些任務對細節世界知識與空間推理能力要求更高。

意義

這篇論文的價值不只在於「又做了一個更大的資料集」，而是提出了一個值得整個領域反思的方向轉變：過去大家默認擴大訓練資料規模就是「多蒐集更多來源圖片」，但這篇工作指出，真正的瓶頸其實出在「編輯概念的多樣性與密度」——換言之，資料的「廣度」不等於「深度」。透過把粗粒度的十幾個類別拆解為上千個細粒度概念，並用密集監督讓每個訓練樣本承載更多有效學習信號，團隊在不額外擴大資料規模（同樣是 12M 等級）的前提下，取得了顯著優於前代 SOTA 的效果，同時把訓練效率提升了 1.5 倍——這對於動輒需要耗費大量算力訓練的圖像編輯模型而言，是相當實際的成本節省。

另一個容易被低估但很重要的貢獻，是實例專屬 VQA 過濾機制對資料品質的把關方式。隨著合成資料在訓練大型生成模型中的比重越來越高，「如何確保海量合成資料的品質與分佈均衡」正在成為一個核心工程問題，而本文展示的「用 VLM 針對每個實例動態生成驗證問題」的思路，比起套用單一通用驗證標準更貼近真實需求，這個方法論或許可以推廣到其他需要大規模合成資料的生成任務上。

最後，ConceptEdit-Bench 這個上千類別的細粒度評測集本身也是一項重要的基礎設施貢獻。它讓「Nano Banana 2 略勝於開源最強模型 FireRed-Image-Edit-1.0」這類比較，能夠進一步拆解到具體是哪些子類別（例如人像與構圖）拉開差距，而不只是一個籠統分數。對於後續研究者而言，這種診斷性評測比單一總分更能指引改進方向，也預示著圖像編輯領域的評測標準正在從「粗略打分」走向「精細診斷」的新階段。

背景

訓練超大型語言模型時,學習率(learning rate)幾乎是最關鍵、也最難調的超參數。傳統做法是在目標規模上直接做網格搜尋(grid sweep),但對於動輒百億甚至千億參數、訓練資料上看兆(trillion)token 的 Mixture-of-Experts(MoE)模型來說,這種做法的運算成本高到近乎不可行——光是跑幾組學習率的完整訓練,就可能耗費相當於訓練一個完整基礎模型的算力。

MoE 架構本身的賣點,是用「稀疏啟動」(每次只啟用一小部分專家 expert)的方式,在不成比例增加運算量的前提下大幅擴充模型容量。但也正因為架構特殊(路由機制、專家數量、負載平衡等),既有的超參數遷移理論——例如 Maximal Update Parameterization(μP,一種讓最佳學習率能隨模型寬度穩定遷移的參數化方法)——多半是針對稠密(dense)transformer 設計的,能否套用到搭配 Multi-head Latent Attention(MLA)與 Muon optimizer 的 MoE 模型上,一直缺乏系統性驗證。這篇論文正是要補上這一塊拼圖。

方法

作者提出一套兩階段(two-step)的超參數遷移框架,核心邏輯是「先橫向遷移、再縱向外推」。

第一步,他們針對搭配 MLA 與 Muon optimizer 的 MoE 架構,重新推導並驗證 μP 的參數初始化與學習率縮放規則,證明只要依照 μP 設定,最佳學習率能夠在「寬度」(width,即隱藏維度、專家數等)不斷放大的一系列模型上維持一致——也就是說,在一個小寬度模型上調好的學習率,可以直接套用到寬度大得多的模型,不需要重新搜尋。

第二步,他們把這種遷移能力再往「訓練 token 數」這個維度延伸。做法是:先在若干個小型代理模型(proxy model)上,用有限的 token 預算(論文中約在 2550 億到 5020 億 token 區間)分別找出各自的最佳學習率,然後對這些「最佳學習率 vs. token 預算」的資料點做線性迴歸,建立一條可預測的 scaling law 曲線,再把這條曲線外推到 10 兆(10 trillion)token 的目標訓練規模。這個迴歸的擬合優度高達 R²=0.95,顯示外推結果相當可信。

換句話說,整套方法只需要在小模型、小 token 預算上做幾次便宜的實驗,就能同時預測出「大模型」與「長訓練」兩個維度組合下的最佳學習率,徹底避開昂貴的全尺度 2D 網格搜尋。

實驗結果

作者將這套方法實際套用在自家從零訓練的基礎模型上:總參數 155B、啟用參數(active parameters)17B 的 MoE 模型,訓練資料規模達到 10 兆 token。透過小型代理模型(總參數約 10.8B、啟用參數約 3.3B)外推得到的最佳學習率(約 3.85×10⁻⁴),直接套用到全尺度模型的訓練中,整個訓練過程穩定收斂,沒有出現需要中途調整學習率的異常。

在下游評測上,這個模型在英文通用知識(如 MMLU-Pro、BBH)、數學推理(GSM8K、MATH)、程式碼生成(HumanEval、MBPP,以 Pass@1 計)以及多語言理解(涵蓋韓文、日文、越南文、中文的 Global-MMLU)等多項 benchmark 上都展現出具競爭力的表現,驗證了「用外推學習率訓練出的模型品質不打折」。

更值得注意的是算力成本的對比:全尺度模型的超參數搜尋若照傳統做法進行,估計需要額外 240.3 ZFLOPs 的運算量,而作者提出的代理模型搜尋方案僅需 64.8 ZFLOPs,兩者相差近 4 倍,而全尺度模型本身的訓練算力更是代理實驗的近百倍——這意味著即使代理實驗本身不算「免費」,相對於直接在目標規模上搜尋,依然節省了絕大部分成本。

意義

這篇論文的價值不只在於「又發表了一個大模型」,而是提供了一套可重複使用的方法論:證明了 μP 這類超參數遷移理論,經過適當改造後同樣適用於 MoE + MLA + Muon 這種當前業界主流的高效架構組合,而且遷移範圍可以同時涵蓋「模型寬度」與「訓練 token 數」兩個維度,不必侷限在單一軸向。

對於資源有限、卻仍想訓練前沿等級大模型的團隊而言,這代表超參數調校不再需要「賭一把」直接在目標規模上跑,而是可以用遠遠更便宜的小模型代理實驗,搭配線性迴歸外推,以相對可控的成本得到高信賴度(R²=0.95)的預測結果。隨著模型規模與訓練 token 數持續往上探,這種「先小規模驗證、再有把握地放大」的思路,很可能成為未來訓練超大型 MoE 基礎模型時的標準前置步驟。

背景

隨著大型語言模型(LLM)逐漸從純聊天工具進化成能在裝置上主動執行任務的「個人副駕駛」,手機作業系統成了檢驗這類代理人(agent)能力的最佳戰場。使用者期待的不只是「打開設定」、「發一則訊息」這種單步操作,而是像「幫我把上週跟客戶約的會議延後一天,並通知所有與會者,同時更新我的行程偏好」這種需要多步規劃、跨應用程式協調的複雜任務。

然而現有的評測基準(benchmark)長期存在兩個盲點。第一類是「GUI 中心」的基準,只測試代理人能不能正確點擊畫面、辨識介面元素,卻完全忽略背景的工具呼叫(tool use)與長時程規劃能力——畢竟很多手機任務其實是透過 API 或系統服務在背景完成,而非單純的螢幕操作。第二類是「靜態函式呼叫」基準,這類方法用離線的方式比對模型輸出的 API 呼叫是否跟標準答案吻合,但這種比對脫離了真實的執行環境:沒有真的資料庫狀態變化、沒有權限限制、也沒有意外的執行期錯誤(runtime error)。換句話說,模型可能在紙上談兵式的測驗中拿高分,卻在真實手機環境裡因為一次資料庫寫入失敗或權限被拒就整個任務崩潰。

為了填補這個落差,研究團隊提出了 MobilePA-Bench——一個「可互動、有狀態、以工具為中心」的手機規劃代理人(planner agent)評測基準,試圖同時捕捉工具呼叫的正確性與真實運行環境的複雜性。

方法

MobilePA-Bench 的核心是一個「可執行的沙盒(sandbox)」,裡面維護著即時的應用程式資料庫,並且會針對代理人的每一步操作回傳結構化的回饋——這代表模型不是在猜測正確答案,而是要跟一個真的會「變化狀態」的環境互動,就像操作真實手機一樣。

整個基準涵蓋 13 個功能領域、總共 212 個真實手機工具,領域範圍從音訊娛樂(25 個工具)、應用程式與儲存空間(23 個)、顯示與音效(22 個)、系統設定(22 個),到時間管理、AI 助理、通話與通訊、網路連線、旅遊生活、跨裝置控制、輸入互動、生產力工具,乃至安全隱私(10 個)一應俱全。基準總共設計了 1,705 個評測任務,並依據能力面向拆分為四大類:

1. 基礎工具使用(Basic Tool Use,1,040 題):測試直接呼叫 API、參數對齊(grounding)、處理工具間的依賴關係,以及錯誤發生後的復原能力。
2. 子代理協作(Sub-agent Collaboration,89 題):評估中央規劃代理人能否把複雜任務拆解,並正確委派給專責的子代理(例如負責 GUI 操作或視覺辨識的子代理)。
3. 記憶使用(Memory Usage,376 題):測試代理人能否喚起先前儲存的使用者檔案、偏好設定與歷史紀錄,以解讀那些「沒有明講」的隱含需求(例如使用者說「訂我平常喜歡的那家餐廳」)。
4. 技能使用(Skill Usage,200 題):考驗代理人是否懂得直接呼叫預先包裝好的「複合技能」(一次涵蓋多個步驟的組合式操作),而不是每次都從零開始規劃。

為了確保評分的可靠性,每個任務都透過三種「證據對齊」的驗證方式來判定成敗:**工具呼叫(Bucket 1)**檢查工具序列與參數是否精確正確;**狀態變化(Bucket 2)**直接檢查沙盒資料庫是否產生了應有的變動;**代理行為(Bucket 3)**則觀察互動軌跡與子代理路由品質是否合理。最終整體分數以加權方式計算:基礎工具使用佔 50%、子代理協作佔 10%、記憶使用佔 20%、技能使用佔 20%。

實驗結果

研究團隊在這個基準上測試了 13 個主流前沿模型,包括 Claude-Opus-5、Claude-Fable-5、Kimi-K3、Qwen-3.8-Max、Gemini-3.6-Flash、Gemini-3.1-Pro、GLM-5.2、GPT-5.6-Sol、GPT-5.5、Kimi-2.6 等。結果顯示,即便是排名第一的 Claude-Opus-5,整體加權分數也只有 75.52%(基礎工具使用 83.85%、子代理協作僅 62.92%、記憶使用 58.51%、技能使用 78.00%)。緊追在後的 Claude-Fable-5 拿下 75.31%,子代理協作項目甚至以 70.79% 領先第一名。

不同能力面向之間出現明顯落差:各模型中最高的基礎工具使用分數為 83.85%(Claude-Opus-5),最高的子代理協作分數為 77.53%(Gemini-3.1-Pro),但記憶使用的最高分卻只有 64.63%(Qwen-3.8-Max)——顯示「回憶並運用使用者偏好」是目前所有模型的共同弱點。表現最差的 Kimi-2.6 整體只拿到 55.63%,子代理協作和記憶使用分別僅有 43.82% 與 33.78%。

論文特別指出,當任務加入「嚴格工具呼叫順序限制」「權限限制」與「未預期的執行期錯誤」等真實世界會遇到的干擾條件時,模型表現會「大幅下滑」——這也是靜態函式呼叫基準測不出來的弱點:模型平常或許知道該呼叫哪些 API,但一旦某個步驟因權限被拒或前置條件未滿足而失敗,能不能像人類一樣重新規劃、繞道解決,才是真正考驗代理人韌性的地方。此外,研究團隊也驗證了基準本身的穩定性,以 Qwen3.6-27B 重複測試三次,四個能力面向的標準差都控制在 1.3 個百分點以內,整體分數波動小於 0.5 個百分點,證明評測結果具有高度可重現性。

意義

MobilePA-Bench 的價值在於,它第一次把「工具中心」與「互動式沙盒」兩種評測思路結合起來,逼迫模型在一個會真的產生資料庫狀態變化、會真的回傳錯誤訊息的環境裡完成任務,而不是單純比對一份靜態答案。這種設計更貼近真實世界中手機助理的運作方式——使用者不會關心模型「理論上」該呼叫哪個 API,只在乎任務有沒有真的完成。

從結果來看,就算是目前最強的模型,整體正確率也僅在 75% 左右徘徊,子代理協作與記憶使用兩個維度更是普遍偏低,顯示現在的 LLM 代理人距離「可靠地」在手機上自主完成複雜任務,仍有相當大的落差。這對正在打造手機端 AI 助理(如系統層級的 Copilot、智慧型手機廠商的 AI 代理人)的團隊來說,是一個具體的警訊:光靠提升模型的通用推理能力並不足夠,還需要針對長時程規劃、跨代理協作、偏好記憶等面向做專門優化。

更重要的是,研究團隊將 MobilePA-Bench 定位為不只是診斷工具,也是「代理式強化學習(agentic reinforcement learning)」的訓練基礎——因為它提供了可互動、可重複執行、有明確狀態回饋的環境,天生適合用來做 RLHF 類型的訓練迴圈,讓模型透過不斷嘗試、失敗、修正來學會在真實限制條件下完成任務。可以預期,未來針對手機代理人的研究會更依賴這類「活的」評測環境,而不再滿足於離線的 API 比對測驗。