K1 論文詳解

背景

表格資料（structured data）撐起醫療、金融、科學研究等領域的預測與決策，但相較於語言模型和視覺模型近年的爆發式進展，「表格資料的通用基礎模型」一直發展緩慢。過去主流做法是針對每個資料集分別訓練梯度提升樹（如 XGBoost、CatBoost）或深度網路，缺乏跨任務的知識共用。後來出現了 Prior-Data Fitted Networks（PFN）路線，例如 TabPFN、TabICL、TabFM，它們用大量合成資料預訓練，讓模型能在推論時直接做 in-context learning，不必重新訓練。但這類模型的核心目標仍是 p(y | x, D_context)——只學「給定特徵猜目標值」這一件事，本質上是「目標導向」的預測，難以捕捉資料變數之間更完整的聯合依賴結構。

由 Stable AI 與清華大學組成的 LimiX Team，延續其前作 LimiX 建立的 scaling law 研究，推出新一代模型 LimiX-2，嘗試從根本上改變表格基礎模型的訓練目標：與其只學「猜答案」，不如讓模型學會資料生成背後的「機制」。

方法

LimiX-2 提出 Contextual Mechanism Networks（CMNs）這個新典範，把建模目標從 p(y | x, D_context) 換成 p(x, y | D_context)——也就是不只預測目標欄位，而是聯合建模整張表格中所有變數的依賴關係。對應的預訓練方法叫 Context-Conditional Masked Modeling（CCMM），結合「目標預測」與「遮罩特徵重建」兩種任務：每次訓練把一張表切成 context 與 query 兩部分，模型要根據 context 觀測值，還原 query 列中被隨機遮罩的任意欄位，而不只是固定的標籤欄。

架構上，LimiX-2 延續前代「cell-level」表示法，即每個儲存格（而非整列）都有自己的向量表示，嵌入維度從前代的 96–192 擴大到 256。骨幹是 24 層的 dual-axis transformer block，分別做 sample-axis attention（跨列建模上下文）與 asymmetric feature-axis attention（欄位間關係，且只有特徵能被目標看見，目標彼此不能互看），FFN 換成獨立的 SwiGLU。回歸任務不再用均方誤差，而是把數值切成 5000 個桶做機率分布預測。

預訓練資料完全是合成的：透過結構因果模型（structural causal models, SCM）產生具有多樣圖結構（鏈狀、混淆、collider 等因果圖形）、多種函數機制（MLP、樹、CNN、週期函數等）與觀測過程（缺失、離散化、類別不平衡）的資料集，經五階段流程（超參數抽樣、DAG 生成、SCM 傳播、特徵/目標抽樣、任務適應）大規模生成，訓練規模從 12.5M 到 406.2M 參數不等。

實驗結果

LimiX-2 在三個公認的表格基準上都拿下最高 Elo 分數：TabArena（51 個真實世界資料集）整體 Elo 1935，領先 TabPFN+ 的 1818、CatBoost 的 1790、AutoGluon 1.6（無外部程式庫版）的 1789；TALENT（288 個資料集，涵蓋二元分類、多元分類與迴歸）整體 Elo 1506，領先 TabPFN 的 1471；BCCO（156 個含缺失值與不完整特徵的高難度資料集）整體 Elo 1432，領先 AutoGluon 1.6 的 1376。值得一提的是，LimiX-2 的參數量只有 TabFM 的四分之一，卻在各項基準上勝出，顯示參數效率大幅提升。

在因果發現方面，論文用 Sachs 蛋白訊號網路、UF 食物生產、CausalChamber、PATHFINDER、DIABETES、PIGS 六個資料集，測試模型的 feature attention 能否直接還原因果骨架（causal skeleton）。LimiX-2 平均 F1 score 達 0.7972，六個資料集中五個拿下第一，同時在五個資料集上取得最低的 structural Hamming distance（SHD），大幅超越第二名 EXAONE Tabular（平均 F1 0.6591），也優於 XGBoost 特徵重要性法以及 NOTEARS-MLP、PC、GES、LiNGAM 等專門的因果發現演算法。

Scaling law 實驗顯示，模型參數從 12.5M 增加到 406.2M（約 32.5 倍），TabArena Elo 從 1766 上升到 1935，每次參數翻倍平均提升 34.68 Elo；TALENT 的分類與迴歸分別提升約 109 與 89 Elo；BCCO 的分類與迴歸分別提升 56 與 147 Elo。所有曲線的擬合優度 R² 介於 0.9617 到 0.9808 之間，且在 406.2M 參數範圍內看不到效能飽和的跡象，暗示繼續放大到十億參數規模仍有成長空間。

意義

LimiX-2 最大的貢獻,是證明表格資料基礎模型不一定要被「只預測一個目標欄位」的框架綁死——用聯合建模 p(x, y | D_context) 取代單純的條件預測，不僅在標準的分類、迴歸任務上勝過現有的 dataset-specific 模型與其他表格基礎模型（如 TabPFN-3、TabICLv2、TabFM、Xiaomi-TabLDM），還「順便」讓模型的內部注意力學到了真實的因果結構，可以直接拿來做因果骨架還原，甚至比許多專門設計的因果發現演算法更準。這代表同一個預訓練好、不需要針對任務再訓練的模型，可以同時處理分類、迴歸、缺失值填補與因果推論四種任務。

對整個領域而言，穩定且尚未飽和的 scaling law 結果，也為「表格資料的大模型化」提供了實證基礎——就像語言模型當年靠 scaling law 說服業界投入更大算力一樣，LimiX-2 的實驗顯示同樣的邏輯可能適用於結構化資料，為未來邁向十億參數級的通用表格基礎模型鋪路。

背景

過去幾年,語音對話AI大多採用「串接式」架構:先用語音辨識(ASR)把使用者的話轉成文字,再交給語言模型生成回覆,最後用語音合成(TTS)念出來。這種做法有兩個明顯問題。第一,每一段都要等上一段完成才能開始,累積起來的延遲讓對話很不自然;第二,轉成文字的過程會丟失大量聲音本身攜帶的資訊,例如語氣、情緒、停頓、重音,甚至笑聲或嘆氣,這些線索往往比文字內容本身更能反映使用者真正的意圖。

近年出現的端到端語音語言基礎模型試圖直接處理音訊輸入輸出,省去轉文字這一步,但又碰到新的矛盾:要讓模型「深度推理」(像近期的推理模型一樣先在內部展開一長串思考鏈再回答),勢必需要時間,可是即時語音對話最忌諱冷場——使用者說完話後若隔了好幾秒才有回應,體驗會非常糟。如何讓模型既能深思熟慮、又能維持接近人類反應速度的即時對答,是本篇技術報告要解決的核心問題。StepAudio 3 Realtime 正是針對這個矛盾提出的解法,推測延續自中國AI公司階躍星辰(StepFun)的 Step-Audio 系列模型脈絡。

方法

StepAudio 3 Realtime 把整套系統組織成一個持續運作的「聽—說—想—做」(listen-converse-think-act)迴圈,而不是分階段依序執行的管線,並提出三項關鍵機制:

Deep Perception(深度感知):模型直接從原始音訊中擷取豐富的聲學線索——語調、情緒、停頓節奏、背景聲等——藉此理解使用者的真實意圖,而不只是依賴轉錄出來的文字內容。

Seamless Duplex(無縫雙工):對輸入輸出兩條音訊串流做同步建模,讓系統能自然處理人類對話中常見的現象,例如說話中的停頓、聽者的「嗯嗯」附和聲(backchannel),以及使用者中途打斷。這使得互動更接近真人對話的節奏,而非「一問一答」式的機械輪替。

Think-While-Speaking(邊說邊想):這是報告中最關鍵的設計。系統在開口說話的同時,於背景平行執行一段「私有」的推理過程,而不是先想完整個答案才開口。這樣就化解了「深度推理需要時間」與「即時對話要低延遲」之間的衝突——模型可以邊組織語言輸出、邊在幕後持續深化思考,必要時動態調整接下來要說的內容。

此外,系統整合了一個 Voice Agent(語音代理) 模組,能在對話進行中非同步地呼叫外部工具或執行任務(例如查詢資訊、觸發操作),而不會打斷正在進行的語音交流,讓對話與行動可以同時發生。

實驗結果

報告提供了多項具體數據來驗證上述設計的效果。在僅開啟「推理模式」時,StepAudio 3 在自建的 StepAudioChat 基準測試上取得 73.0 的宏平均分數(macro average)。啟用 Think-While-Speaking 機制後,模型能在即時語音輸出的同時,達到與專門的推理模型相當的對話與推理表現——也就是說,即時性沒有犧牲深度思考的品質。

在通用能力評測方面,StepAudio 3 Realtime 在 MMSU(大規模多任務語音語言理解基準)上取得 90.6 分,屬於同類模型中的頂尖水準;在 Artificial Analysis 機構的 Full-Duplex Bench(全雙工對話基準)上取得 98.9 的總分,顯示其在自然輪替、打斷處理等雙工對話場景中的表現接近滿分;在衡量語音代理實際完成任務能力的 τ-Voice 基準上,則取得 56.0% 的宏平均任務成功率。這三項數據分別對應語言理解、對話流暢度、以及實際任務執行三個面向,共同構成一張較為全面的能力畫像。

意義

StepAudio 3 Realtime 的意義在於嘗試把長期被視為互斥的兩件事——「即時反應」與「深度推理」——同時做到位。過去業界普遍認為,語音助理若要反應快,就得犧牲思考深度;若要有推理模型般的深思熟慮,就得接受明顯延遲。Think-While-Speaking 這類「邊輸出邊推理」的設計提供了一條折衷路徑,可能會影響後續其他語音基礎模型的架構選擇。

同時,Deep Perception 與 Seamless Duplex 所代表的方向——直接理解聲音線索、支援自然的打斷與附和——也呼應了語音交互從「轉文字再處理」逐漸走向「端到端音訊建模」的產業趨勢。而整合進系統的 Voice Agent 能力,讓語音助理不只是聊天,還能在對話過程中順手完成查詢、操作等實際任務,這對客服、語音助理、陪伴型應用等場景都有直接的實用價值。整體而言,這篇報告呈現的不只是單一數字上的突破,而是一套朝向「能聽、能說、能想、能做」的通用語音代理邁進的系統性架構。

背景

近年音樂生成模型如 Suno、Mureka、MiniMax 等陸續推出,能依文字描述生成完整歌曲,但要同時做到「長篇連貫」「風格可控」「和聲與旋律結構合理」仍是難題。多數自迴歸(autoregressive)音樂模型直接在離散音訊 token 上建模,容易出現長時間後失去調性、和弦邏輯混亂,或是聲音細節模糊的問題。背後原因往往出在音訊 tokenizer 的設計:用多組 codebook(RVQ,residual vector quantization)雖然能還原出高保真度的聲音,卻讓自迴歸序列建模變得困難;而單一 codebook 雖然利於序列預測,傳統做法又會犧牲音質。

StepAudio 3 Music 是階躍星辰(StepFun)團隊發表的大規模長篇音樂生成模型的技術報告,對應論文 arXiv:2609.16034,同步發布於 Hugging Face Papers。這份工作的核心訴求,是在「開放域文字控制生成」與「可解釋的音樂編排規劃」之間找到平衡——也就是讓模型不只是「憑感覺」生成音樂,而是先產生一份可被人類檢視、編輯的樂曲藍圖,再據此合成音訊,藉此提升結構的合理性與可控性,同時把單曲生成長度拉到 5 分 30 秒。

方法

整套系統由三個模組串接而成:音樂 tokenizer、自迴歸語言模型、以及 flow-matching 的渲染器。

StepAudio Music Tokenizer:將音訊壓縮成 50Hz、單一 codebook(codebook 大小 65536)的離散 token 流,等效碼率約 800 bits/秒。這個 tokenizer 基於約 0.6B 參數的雙向 Conformer,訓練分三階段:先用加噪自監督(self-supervised)預訓練,再加入歌詞 CTC、Mel 頻譜、Chroma(音高類別)等多任務目標,最後才插入離散瓶頸(discrete bottleneck)。團隊做了關鍵的消融比較:多碼本 RVQ(語意 RVQ + 聲學 RVQ)雖然重建保真度更高,但單碼本 VQ 對自迴歸生成更穩定、音樂性更好——論文將此稱為「生成導向的取捨」,即重建品質與可預測性是互相競爭的目標,他們選擇犧牲部分原始保真度換取更連貫的音樂發展。

離散轉連續的渲染:一個 0.9B 參數的 flow-matching Diffusion Transformer(DiT)負責把離散 token 預測成連續的 StepAudio VAE 潛在表徵(latent),再由 VAE 解碼器輸出 48kHz 音訊。生成以 30 秒為一個區塊、搭配遞迴上下文(recurrent context)串接,藉此支援長達 5 分 30 秒的長篇輸出。有趣的是消融實驗發現,0.9B 的 DiT 已經達到最佳感知指標,更大的模型反而沒有明顯提升,顯示離散 token 表徵本身才是品質的上限瓶頸,而非渲染器規模。

ABC-CoT 顯式規劃:這是本文最具特色的設計。一個 Mixture-of-Experts(MoE)自迴歸模型會先用 ABC 記譜法(一種文字化樂譜格式,可表示調性、節拍、和弦、旋律)生成一段「中間編排計畫」,再以此為條件去預測正式的音樂 token。這相當於讓模型先「寫樂譜草稿」再「演奏」,使和聲、節奏、旋律結構成為生成過程可控、可檢視的一部分。

訓練流程:tokenizer 與 DiT 在超過 1 億首歌、逾 500 萬小時音訊上獨立訓練。語言模型預訓練分三階段——第一階段 600B tokens 做歌詞與音樂的雙向對齊;第二階段 500B tokens 引入 ABC-CoT 並將上下文擴展到 32,768;第三階段 80B tokens 做高品質核心任務退火(annealing)。後訓練包含 20B tokens 的監督式微調(涵蓋歌曲/純音樂生成、乾聲配樂、翻唱合成等任務變體),最後用 2,000 組專家標註的偏好對做直接偏好優化(DPO,一種比 RLHF 更輕量的強化學習式對齊方法)。資料前處理管線也相當工程化,結合 FireRedVAD 做音訊事件偵測、Demucs 做人聲分離、FireRed ASR 與 WhisperX 做多語言歌詞轉錄、SongFormer 做曲式結構分析。

實驗結果

在客觀指標上,StepAudio 3 Music 於 MuQ-MuLan(衡量生成音樂與文字描述的語意相似度)拿下 0.4465,是所有受測系統中最高;在 AudioBox-Aesthetics 三項指標上也全面領先:Content Enjoyment 7.71、Content Usefulness 8.01、Production Quality 8.39,均為最佳。SongBench 上的七個維度分數具競爭力,其中 Musicality(音樂性)達 5.75。

消融實驗量化了各設計貢獻:DPO 對齊讓 SongBench 的 Musicality 從 5.64 提升到 5.75、Production Quality 從 8.27 提升到 8.39、MuQ-MuLan 相似度從 0.416 提升到 0.447。ABC-CoT 規劃機制單獨帶來 SongBench 平均分 +0.0275 的提升,若再讓語言模型對生成的樂譜計畫做二次編輯,額外再增益 +0.0506,其中 Mixing(混音)提升 0.12、Arrangement(編排)提升 0.11、Melody(旋律)提升 0.11,是提升幅度最大的三個維度。

在更貼近真實使用者感受的主觀評測——Artificial Analysis Music Arena Vocals 排行榜(初步版本)上,StepAudio 3 Music 取得 Quality Elo 1105 分,僅次於 Suno V5.5 與 Mureka,排名第四,領先 Suno V5、MiniMax 系列以及其他參賽系統。

意義

StepAudio 3 Music 的價值不只是又一個「文字轉音樂」模型追平榜單分數,而是提出了一套可被拆解、驗證的方法論:透過單碼本 vs. 多碼本 RVQ 的系統性比較,把「音訊重建保真度」與「自迴歸生成穩定性」這兩個常被混為一談的目標分開檢視,為後續音樂 tokenizer 設計提供了明確的取捨依據。ABC-CoT 顯式規劃機制則示範了一種介於「端到端黑箱生成」與「完全人工作曲」之間的中間路線——讓生成模型先產出人類看得懂、能編輯的樂譜草稿,再合成音訊,這對需要創作者介入微調(例如調整和弦走向或段落結構)的商業化音樂工具而言,是相當實用的可控性設計。

作者也坦承限制:目前的評測主要看整體音樂品質與文字描述的貼合度,並未驗證生成音訊是否在音符或小節層級精確遵循 ABC 樂譜,長篇連貫性、人聲自然度與高頻細節重建仍是待改進方向。但整體而言,在 Suno、Mureka 等商業閉源系統主導的音樂生成賽道上,StepAudio 3 Music 交出的 Elo 1105、緊追前兩名的成績,加上完整公開的技術細節(tokenizer 架構、訓練資料規模、DPO 消融數據),為開放研究社群提供了一個少見的、可復現參考的高水準基準線。