K1 論文詳解

背景

目前的通用大型語言模型（LLM）在知識推理與問答上已相當強大，但真實世界的「複雜工作」——例如撰寫專業報告、金融研究、科學分析、修 bug——往往需要長時間與檔案、搜尋引擎、可執行程式碼互動，還要維持狀態、從失敗中復原，並交付「可被驗證」的成果。Apodex 團隊將這種能力稱為 working capability（工作能力）：在長時程中持續且可驗證地朝真實目標推進。

繼 Apodex 1.0 之後，團隊提出 Apodex 1.1，一個通用模型加執行系統，沿著兩個互補維度擴展這項能力：Environment Scaling（環境規模化）與 Agentic Coordination Scaling（智能體協作規模化），目標是打造能對「長期、高難度、可驗證」任務負責的 Heavy-Duty Solver。

方法

Environment Scaling 擴充了檔案、搜尋、程式碼三類可執行環境的多樣性與可驗證性。團隊維護一套場景資料庫，涵蓋 33 個領域、318 種職業、1,208 個交付成果集群；程式碼環境的驗證則綁定沙盒執行，透過 fail-to-pass／pass-to-pass 測試確保獎勵訊號不被駭客攻擊。

Agentic Coordination Scaling 則由 Agent Team 架構實現：主控 agent 先將任務拆解寫入持久化的 task board（而非僅存於對話上下文），再動態派生子 agent 平行工作。系統新增四項能力：非同步人類介入（使用者可在執行中修改需求而不打斷任務）、非對稱驗證（驗證者只針對單一主張找反例，而非重新解一次全題）、Adaptive Max Team Effort（把額外算力集中投入在薄弱或有爭議的結論上）、以及證據導向的最終綜合（先建立 claim-evidence graph 再撰寫報告，避免遺漏矛盾證據）。底層由 AgentOS 這一持久化執行基礎維護工作區、工具狀態與 provenance（/inputs、/workspace、/outputs 三層命名空間）。訓練上採用統一 SFT 加 agentic RL，並用「局部延續＋修正提示」的方式對長軌跡做細粒度優化；失敗案例會回饋進 Task Pipeline，持續產生新環境與訓練資料，形成閉環。

實驗結果

Apodex 1.1（推測參數量約 397B）與 35B 的 Mini 版皆在 ReAct（純模型）與 Agent Team（協作）兩種模式下評測：

• 專業工作：GDPVal 勝率 Agent Team 達 78.8（ReAct 69.5，Apodex 1.0 僅 59.3），略低於 Claude Opus 5 的 89.4；APEX-Agents 從 1.0 的 16.5 大幅提升至 Agent Team 的 38.5。
• 金融：FrontierFinance 54.3 分，超越所有列出的外部模型（次高 Claude Fable-5 為 49.2）。
• 科學研究：FrontierScience-Research 達 63.3%，同樣領先所有比較模型（DeepSeek V4 Flash 為 55.0）；BioMysteryBench 高難度子集從 17.6% 升至 35.3%。
• 通用推理與搜尋：Humanity's Last Exam 56.1，DeepSearchQA F1 92.4。
• 數學：MathArena 協定下，IMO 2025 得 36.5（超過金牌門檻 35）、IMO 2026 得 30.5（門檻 29）、USAMO 2026 得 26.5（門檻 25），三項皆超過金牌等級；ProofBench Advanced 達 63.3%。
• 程式碼：Terminal-Bench 2.1 得 70.8、SWE-bench Verified 得 77.7，落後 Claude Opus 5（92.2）等頂尖系統，但仍具競爭力。
• 內部評測：41 題的 FrontierSearchBench，Agent Team 平均分 69.1（ReAct 57.0）；97 題高難度端到端科研任務 FrontierResearchBench，通過率僅 12.4%（前沿模型上限約 20.6%），顯示這類任務仍極具挑戰。
• 35B Mini：Agent Team 讓 FrontierFinance 從 40.0 升至 50.2、FrontierScience-Research 從 45.0 升至 51.7、APEX-Agents 從 24.2 升至 27.7，均大幅超越 Apodex 1.0 mini，在可本地部署的規模下達到部分前沿系統水準。
• 團隊另提出 HDS6 過程品質框架（6 大能力、24 項細則），Apodex 1.1 較 1.0 進步最大的是「初始任務分解」（+1.3）與「最終驗證」（+0.8）。

意義

Apodex 1.1 的核心訊息是：評估 agentic 智慧不該只看單次答案對錯，而應看「完成可驗證工作」的整體過程——包含分解、委派、復原與交付。其最大亮點在於用環境與協作兩個系統層面的規模化，讓一個相對較小的模型（397B，遠小於許多前沿系統）在專業工作、金融、科學研究等多項基準上進入領先區間，甚至在 FrontierFinance、FrontierScience-Research 上超越所有列出的外部模型。35B Mini 版本更證明這套方法論不完全依賴堆參數，而是可以把「工作能力」下放到可本地部署的規模，對企業與開發者具有實用意義。同時，AgentOS 與 HDS6 提供了可重複使用的執行基礎與過程評估框架，為後續研究長時程、多智能體協作系統提供了具體的工程範本，也讓「Heavy-Duty Solver」這個長期目標——讓 AI 對更龐大、更持久的真實任務負責——顯得更加可行。

背景

近年來,「世界模型」(world model)成為生成式AI裡最受關注的方向之一——不只是生成一段固定劇本的影片,而是讓使用者能像操作遊戲一樣,用鏡頭移動、走位等連續控制訊號,即時「進入」並探索一個由AI持續生成出來的虛擬世界。但過去大多數世界模型都有明顯侵限:多半只處理畫面,缺乏同步的環境音、音樂與語音;鏡頭控制通常只支援第一人稱(observer視角)這一種模式;而且長時間生成容易畫質崩壞、軌跡漂移。

由香港科技大學、北京大學、京東(JD)Joy Future Academy、香港大學、清華大學、中國科學技術大學、復旦大學、北京航空航天大學及史丹佛大學等22位作者合作提出的EchoWM,正是要同時解決這三個問題:讓世界模型「可進入」(enterable)、「全模態」(omnimodal,同時生成畫面、環境音、音樂、語音),並且同時支援第一人稱與第三人稱互動。論文已發表於arXiv(編號2608.23189),專案程式碼開源於JD的JoyAI-Echo倉庫。

方法

EchoWM的核心設計是「以攝影機意圖(camera intent)組織互動」。在第一人稱場景中,使用者的操作直接對應觀察者本身的移動(走路、轉頭、跳躍等);而在第三人稱場景中,角色與攝影機之間的動態關係(例如攝影機如何跟隨、環繞角色)並非人工設計規則,而是直接從資料中學習出來,不需要為每種視角另外寫控制器。

為了統一處理「離散指令」(如按鍵、方向鍵這類遊戲控制訊號)與「連續姿態」(如VR頭顯或真實相機的連續6自由度姿態),EchoWM把兩者都映射到一個共享的、具備公制尺度(metric-scale)的相對6-DoF(六自由度)軌跡表示上,並透過資料集層級的校準(dataset-level calibration),確保不同來源、不同單位的移動幅度在轉換後仍保持一致,不會出現「同樣按一次前進鍵,在不同資料集裡走的距離差十倍」的問題。

訓練資料由四種互補來源組成:內部遊戲錄影、人類玩家的網路遊戲影片、使用Unreal Engine模擬並帶有精確真實姿態標註的合成資料,以及一般網路影片。訓練流程分四個階段漸進式進行:先做「音畫聯合持續預訓練」(AV-CPT),再凍結骨幹網路做「動作微調」(Action-SFT)專注學控制訊號,接著在高品質資料交集上做「聯合微調」(Joint-FT),最後透過teacher forcing與self-gradient forcing進行自回歸式(autoregressive)後訓練,專門強化長時段生成時的穩定性,支援多輪、長時間的持續互動生成720p影片。

實驗結果

EchoWM在兩個公開世界模型benchmark上進行了評測。在WBench Navigation(共158個測試案例)中,EchoWM取得整體平均81.7分的最高成績,細項分數為:畫質(Quality)81.5、場景設定(Setting)79.4、互動性(Interaction)87.2、一致性(Consistency)89.8、物理合理性(Physical)70.6。經過蒸餾、只需四步推論的輕量版EchoWM-Flash則取得整體81.0分,並在互動性上以87.9分反而超越完整版。

在SANA-WM-Bench上,241幀的短時段評測顯示:簡單軌跡下VBench總分83.91(旋轉誤差0.523度、位移誤差0.160),困難軌跡下VBench總分83.96(旋轉誤差1.697度、位移誤差0.256)。在更嚴苛的961幀長時段測試中,EchoWM在簡單與困難軌跡上分別取得VBench 81.36與81.72分,重訪一致性(revisit consistency)PSNR分別為15.10與14.58,顯示模型走了一大圈回到原點時,畫面仍能保持相當程度的一致還原。EchoWM-Flash在長時段測試中也維持80.13與81.06的競爭力表現,顯示加速版本並未大幅犧牲品質。

意義

EchoWM的意義在於,它把「可互動的世界模型」從單一模態、單一視角的demo,推進到能同時處理畫面、環境音、音樂與語音,並涵蓋第一、第三人稱兩種主流遊戲視角的統一系統。將離散按鍵指令與連續姿態資料校準到同一套公制尺度6-DoF軌跡表示,是一個相對簡潔卻能打通異質資料來源的技巧,對於未來想融合遊戲錄影、VR資料與真實影片來訓練世界模型的研究者而言,提供了一條可行路徑。

而長時段自回歸後訓練帶來的重訪一致性(PSNR約14–15)以及蒸餾後的EchoWM-Flash版本(僅需四步生成即可維持八成以上VBench分數),也說明了世界模型正在朝「可即時互動、可長時間探索、部署成本可控」的方向靠近,而不只是停留在生成幾秒鐘的漂亮demo片段。對於遊戲開發、虛擬製片、機器人模擬訓練等需要「可進入、可操控」虛擬環境的應用場景,這類全模態世界模型很可能成為下一階段的基礎設施之一。

背景

電商直播是近年成長最快的內容型態之一,但對 AI 模型來說卻是出了名的難啃。一場直播動輒數小時,主播口播、彈幕提問、商品實拍畫面、螢幕上疊加的價格與規格文字、甚至背景音樂與雜訊全部混在一起——同一件「商品事實」(比如某件外套是不是防水、今天有沒有折扣)可能同時分散在語音、影像畫面、商品圖片、疊字幕與觀眾提問裡。傳統的多模態大模型多半針對單一情境(短影片問答、靜態圖片理解)訓練,一旦搬到「長時間、多模態、資訊高度交錯」的直播場景,常常出現對不上時間點、聽錯講錯商品資訊、或是回答內容與畫面脫節的問題。

阿里團隊(Yibo Hu、Yu Qian、Mao Gu 等九位作者)因此提出 TLive-Omni,一個專門為電商直播場景打造的「全模態」(omni-modal)理解模型,目標是把語音辨識、說話人分析、商品視覺定位、文字辨識(OCR)、時間定位(temporal grounding)、影片密集字幕(dense caption)與跨模態問答等能力,統一在同一個模型裡完成。論文發表於 2026 年 8 月(arXiv:2608.20958),同步釋出於 Hugging Face。

方法

TLive-Omni 的骨幹以 Qwen3.5 的視覺語言架構為基礎,再整合來自 Qwen3-Omni、於 2000 萬小時音訊資料上訓練過的 Audio Transformer(AuT)編碼器,並透過一個輕量的音訊對齊模組(audio aligner),把語音特徵投影進與影像、文字共用的統一表示空間。整個模型支援最高 256K token 的多模態上下文,足以撐住數小時直播的長序列輸入。

為了解決「長直播裡音訊和畫面對不齊」這個核心痛點,團隊設計了 Per-vGrid:一種帶時間戳記的 token 組織方式,把每個影片格(video grid)與其時間上對應的音訊片段,用明確的邊界 token 包在一起,並附上文字化的時間戳。這樣模型在處理長影片時,能清楚知道「這段話」對應「這一幀畫面」,而不是把整段音訊和整段影片各自打包後再靠模型自己猜對齊關係。

訓練上採用三階段監督式訓練(SFT):

1. 第一階段(音訊-語言對齊):用約 500 萬筆語音辨識(ASR)樣本,先讓模型學會把聲音對應到文字。
2. 第二階段(音訊能力強化):擴大到約 2600 萬筆多樣化音訊任務樣本,涵蓋說話人分析等更複雜的聽覺理解。
3. 第三階段(全模態適配):用約 1400 萬筆涵蓋音訊、圖片、影片、文字的樣本,讓模型學會在指令跟隨(instruction-following)情境下綜合運用所有模態回答問題。

SFT 之後,團隊再加上一個強化微調階段——Faithful-RFT。它採用 GRPO(Group Relative Policy Optimization)架構,但刻意不去鼓勵模型做「長篇推理式探索」(reasoning-style rollout),而是直接針對「最終答案」用任務可驗證的獎勵(task-verifiable feedback)評分,目的是提升回答的忠實度(faithfulness)與表達品質,同時滿足直播場景對即時回應的要求——換句話說,寧可讓模型「快而準」,也不要「想很久但答錯」。

為了讓大規模訓練跑得動,論文還提出兩個工程技巧:同步分組長度取樣器(synchronized length-grouped sampler),把長度相近的樣本分到同一批,減少 padding 浪費運算資源,同時讓不同 worker 之間的負載量維持一致;以及輕量動態取樣策略,在 GRPO 訓練中偵測到某組 rollout 獎勵幾乎沒有變異(reward variance 趨近零、無法提供有效的相對優勢訊號)時,就重新生成這組 rollout,避免訓練訊號被浪費掉。

此外,團隊還建了一套「情境導向的原子能力分類體系」(scenario-oriented atomic capability taxonomy),搭配一個精簡的資料生產引擎,把直播現場的音訊、圖片、影片流,自動轉換成語音辨識、說話人分析、商品視覺定位、文字辨識、時間定位、影片密集字幕、全模態問答等多種訓練訊號,解決了「直播真實資料難標註」的問題。

實驗結果

TLive-Omni 釋出兩種規模:4B(40 億參數)與 9B(90 億參數)版本。在電商直播領域的自建 benchmark 上,論文報告 TLive-Omni 在多項任務上取得同尺寸模型中的最佳成績,包括:語音辨識任務的字元錯誤率(CER)最低、商品視覺定位任務的平均精確率(Average Precision)最高、影片時間定位的 mIoU 與密集字幕準確率最佳,以及文字辨識(OCR)任務的標準化編輯距離(normalized edit distance)最低。

更值得注意的是,TLive-Omni 並未因為針對直播場景微調而犧牲通用能力。在一般圖片理解 benchmark(如 MMBench、RealWorldQA)、影片理解 benchmark(MLVU、Video-MME、LongVideoBench)以及全模態理解 benchmark(AVUT、WorldSense、DailyOmni、FutureOmni)上,TLive-Omni-9B 在開源模型中取得頂尖成績,顯示三階段訓練加上 Faithful-RFT 的組合,在強化領域專長的同時仍保留了模型的泛化能力。4B 版本雖然規模較小,但在同尺寸模型比較中依然具有競爭力,適合對算力有限制的部署場景。

意義

TLive-Omni 的價值不只在於刷新了幾個 benchmark 分數,而在於它示範了一條「把通用全模態大模型,收斂到高度垂直、資訊密集場景」的完整方法論:從資料引擎的自動化標註、Per-vGrid 這種針對長影片音視對齊的結構設計,到 Faithful-RFT 這種「重結果、輕探索」的強化學習思路,每一環都對準了直播場景「即時、嘈雜、多模態交錯」的真實痛點,而不是簡單地把通用模型拿來做 fine-tune。

對產業而言,這類模型如果落地,能直接支撐電商平台的自動化直播監管(檢測誇大宣傳、確保商品資訊一致)、智慧客服式的直播問答機器人(觀眾問「這件多少錢有折扣嗎」能即時準確回答)、以及直播內容的自動摘要與商品標籤生成,大幅降低人工審核與客服成本。而 Faithful-RFT 强調的「忠實度優先於推理花俏」,也給其他需要即時回應、且答錯代價高(例如客服、金融資訊播報)的應用場景提供了一個可參考的強化學習調校範式:與其讓模型「想更久」,不如讓它在有限時間內「答得更準」。