K1 論文詳解

背景

「遞迴自我改進」(Recursive Self-Improvement, RSI)一直是 AI 領域的終極願景之一:系統不只是被動接受人類餵給的訓練資料,而是能觀察自己在真實使用中的表現,把這些觀察轉化成下一輪訓練的養分,形成一個持續進化的閉環。但這個想法長期停留在概念層次,缺乏一套具體可落地的機制——系統要怎麼知道自己哪裡不足?怎麼把「不足」變成可訓練的資料?又怎麼確保這個迴圈不會越走越偏?

NeoHorse-1 就是針對這個空白提出的一次具體嘗試。它是一個 agent-native(原生為代理任務設計)的模型家族,透過「代理式後訓練」(agentic post-training)搭配一套路由框架(routing harness),讓模型在真實服務過程中同時扮演「被評估者」與「學習者」的角色。這篇論文提供的不只是一個更強的模型,而是一套可重複執行的評估—篩選—更新迴圈雛形。

方法

NeoHorse-1 的核心設計是一個異質模型池(heterogeneous model pool),搭配智慧路由機制。每當使用者送出一個請求,系統會即時預測這個任務所需的能力等級、選擇對應的服務層級(service tier)來處理,並記錄下完整的互動過程。這些紀錄接著被轉換成訓練樣本,而且刻意保留了「交錯的推理過程、工具呼叫、以及 harness 上下文」——也就是不把模型的思考鏈與行動軌跡拆散,而是完整保留代理任務的因果結構。

這些原始樣本要經過三道關卡才能進入訓練池:結構驗證、六維度的語意評估,以及子場景層級(subscene-level)的標籤化,確保資料品質與任務覆蓋度。

路由訊號本身也被用來組織訓練課程:研究團隊據此設計了三階段的監督式微調(SFT)課程,難度與能力需求逐步遞進。更進一步,他們把這套路由訊號延伸到「路由引導的 on-policy 蒸餾」——讓教師模型(teacher)針對學生模型(student)自己生成的回應進行監督,且同樣依照三階段課程逐步推進,而不是一次性把教師的答案硬塞給學生。

整個系統的閉環在於「能力導向的分配」(capability-guided allocation):評估回饋不只是拿來打分數,而是直接轉化成下一輪訓練資料的混合比例。換句話說,模型學會做什麼,就決定了它接下來要從什麼樣的資料裡繼續學——這正是論文標題裡「遞迴自我改進」的具體體現。

實驗結果

研究團隊在涵蓋 harness-based agent、工具使用(tool use)、程式撰寫(coding)與指令遵循(instruction following)四大類任務的十一個 benchmark 上進行評估,分別測試 4B 與 9B 兩種規模的模型。

結果顯示,經過這套代理式後訓練流程後:

• 4B 模型的 macro-average 分數從 58.94 提升到 64.87,漲幅接近 6 個百分點;
• 9B 模型則從 65.60 提升到 69.04,漲幅約 3.4 個百分點。

更值得注意的是,後訓練過的 4B 模型與原始(未後訓練)9B 基礎模型之間的整體差距被大幅縮小。也就是說,透過這套路由式代理後訓練,一個規模小超過一倍的模型,能力上已經逼近未經同樣處理的更大模型——這說明訓練方法本身帶來的增益,某種程度上可以彌補參數規模的差距。

意義

NeoHorse-1 的價值不完全在於它刷新了哪個 benchmark 的分數,而在於它示範了一套「evaluation-selection-update」閉環的具體實作方式:把使用者互動中產生的路由訊號、任務難度預測、以及後續表現,系統性地轉譯成下一輪訓練資料的組成依據。這比單純「用更多資料重新訓練一次」更貼近 RSI 的精神——系統的能力評估結果,直接決定了它未來要吃什麼樣的「養分」。

對於正在打磨 agent 產品的團隊來說,這篇論文提供的思路也具有實務參考價值:與其把路由(routing)只當作推理階段的成本優化工具,不如把它視為一個持續蒐集訓練訊號的感測器——路由決策本身記錄的「預期需要什麼能力」與「實際表現如何」的落差,正是最貼近真實使用場景的訓練資料來源。

當然,論文作者也將此定位為「初步原型」(initial prototype),意味著這條路徑距離真正穩定、可規模化的 harness-mediated RSI 仍有相當距離——例如迴圈是否會隨著迭代次數增加而收斂或發散、路由訊號本身的偏誤是否會被放大,都是後續值得關注的問題。但作為第一步,NeoHorse-1 已經把「自我觀察、自我訓練」從抽象願景往前推進到了可驗證的工程實作。

背景

語音生成(TTS)與語音編輯過去大多被當成兩套不同的技術問題來解:生成模型專注於「從文字或參考音色合成語音」,編輯模型則專注於「修改既有音檔的內容、情緒或音質」。這種分工導致業界需要維護多套模型——一套做零樣本語音克隆、一套做降噪去混響、另一套做語者分離、再一套做副語言(如情緒、語速、口音)調整。每套模型有各自的訓練資料格式與介面,使用者若想串接多種需求,得在多個系統之間反覆轉換音檔與參數,工程成本高、體驗也不連貫。

由騰訊混元(Tencent Hunyuan)團隊主導、上海交通大學語音方向學者(通訊作者陳曦)參與的研究,提出了 AuK——一個嘗試把「語音生成」和「語音編輯」統一到同一套自然語言指令介面下的開源基礎模型。使用者只需要用一句自然語言指令(例如「把這段話用更興奮的語氣念一遍」或「去掉背景的鍵盤聲」),搭配可選的音訊上下文,AuK 就能同時處理生成類與編輯類任務,不需要切換模型。論文將任務歸納為五大家族:語音生成、內容編輯、增強與分離、副語言編輯、聲學編輯,幾乎涵蓋了語音處理領域常見的實用需求。

這篇技術報告(arXiv 2609.08936)在 Hugging Face 上同步發布,並開源了程式碼與模型權重(GitHub: Tencent-Hunyuan/AuK),目標是讓研究社群能重現並在此基礎上繼續擴展。

方法

AuK 的核心設計是把「語意理解」和「聲學細節」拆成兩條獨立通路,再用一個混合式 Transformer 把兩者融合起來生成語音:

語意條件化(semantic conditioning):使用一個多模態大語言模型(基於 Qwen2.5-Omni)來處理自然語言指令與可選的輸入音訊,並聚合其多層隱藏狀態作為語意表示,理解使用者到底想要模型做什麼。

聲學條件化(acoustic conditioning):團隊訓練了一個聯合覆蓋語音、通用音訊與音樂三種資料的 VAE,把 24kHz 的原始波形壓縮成 50Hz、64 維的潛在表示,作為聲學層面的參照與約束。

生成骨幹:主體是一個約 15 億參數、30 層的混合式 rectified-flow Transformer,前 10 層採用雙流(dual-stream)MMDiT 區塊分別處理不同模態訊息,後 20 層收斂為單流(single-stream)DiT 區塊統一生成,兼顧多模態融合效率與生成品質。

訓練資料規模:團隊構建了約 30.3 億(3.03 billion)條「指令—音訊」配對樣本,總計 195 萬(1.95 million)小時的有效監督數據,橫跨五大任務家族,這個規模在語音基礎模型中相當可觀。

訓練流程分階段進行:先做「純生成」的暖身訓練(約 5 萬步更新),再進入生成與編輯聯合預訓練(約 60 萬步更新)。之後針對兩類任務採用不同的後訓練策略——開放式編輯任務用人類回饋偏好優化(類似 RLHF 的做法),語音生成任務則用基於獎勵的強化學習(Flow-GRPO)進一步對齊人類偏好與生成品質。

推理加速:為了降低實際部署成本,團隊用一致性初始化(consistency initialization)搭配任務路由的 Decoupled DMD(distribution matching distillation)技術,蒸餾出輕量版 AuK-Flash。這個版本只需 4 步推理、且不需要 classifier-free guidance,在同等條件下比完整模型快 4.5 倍(wall-clock speedup)。

實驗結果

在零樣本語音合成的權威測試集 Seed-TTS-Eval 上,AuK 的詞錯率(WER)為 2.65%,優於 Qwen3-TTS 的 3.07%;在說話者相似度(speaker similarity)上達到 0.795,也優於 Seed-TTS 自身的 0.778 分。

在通用指令引導的語音編輯測試集 Ming-Freeform-Audio-Edit 上,AuK 的優勢更明顯:中文語意編輯的 WER 僅 3.09%,遠低於 Ming-UniAudio 的 10.46%;英文語意編輯的 WER 為 3.96%,同樣遠低於對照組的 14.28%,顯示 AuK 在跟隨自由格式編輯指令上的準確度大幅領先現有開源方案。

在訊號層面的修復任務上,AuK 也維持有競爭力的表現:在 DNS Challenge 語音增強測試中取得最低的 dWER(2.66%)與最高的語者相似度(0.99);在 Libri2Mix 語者分離任務中 WER 為 9.12%,語者相似度 0.96,與專用分離模型打平。

論文也指出一些有趣的湧現能力:模型雖然只在編輯類配對資料上訓練過口音轉換,卻能把這個能力遷移到從未見過的語言組合上(例如僅用中文口音資料訓練,卻能對英文口音做轉換);模型也能僅憑文字指令合成耳語(whisper)語音,即便訓練資料中並沒有「文字轉耳語」的直接配對,顯示統一介面訓練帶來的跨任務遷移效果。研究也誠實指出侷限:面對高度開放、模糊的自由格式指令時,系統仍需要額外的提示詞增強(prompt enhancement)才能穩定跟隨。

意義

AuK 的價值不在於單一任務刷新 SOTA,而在於證明「用同一套自然語言指令 + 音訊上下文介面」可以同時撐起生成與編輯這兩類過去分家的任務,且效果不輸甚至超越專用模型。對開發者而言,這意味著未來做語音應用時,可能不再需要維護多套模型(TTS、降噪、分離、情緒編輯各一套),而是用一個模型配合不同的自然語言指令就能覆蓋大部分需求,大幅降低整合與維運成本。

AuK-Flash 的 4 步推理、4.5 倍加速也具有實際部署意義——對於需要低延遲的語音應用(如即時語音助手、直播配音),這種蒸餾技術路線提供了在品質和速度之間取捨的可行方案。

更重要的是,團隊完整開源了程式碼與權重,並公布了近 2 億小時級別的資料構建方法論,這對於資源有限的研究團隊或中小型公司是重要的參考基礎設施——尤其在語音領域長期由少數幾家公司的閉源 API(如 ElevenLabs、部分國內大廠語音服務)主導的背景下,一個開源、統一介面且效果具競爭力的基礎模型,有機會加速整個社群在語音生成與編輯技術上的疊代速度。湧現的跨任務遷移能力也提示了一個研究方向:當訓練資料的任務多樣性足夠高時,模型可能自發習得訓練資料中未明確覆蓋的組合能力,這對未來設計更通用的多模態音訊模型有參考價值。

背景

現在多數語音或多模態助理,骨子裡還是「回合制」(turn-based):你說完一句話,系統偵測到你停頓了,才開始生成回應。這種模式在真實對話中很不自然——人與人交談時可以隨時插話、同時發聲、用「嗯嗯」之類的 backchannel 表示在聽,甚至在對方還沒說完時就主動接話。此外,當任務變複雜(例如要上網查資料、跑一連串工具呼叫)時,傳統語音助理往往必須中斷對話、切換到「思考」模式,使用者的即時互動感就斷掉了。

來自 Orantqing、Shengpeng Ji 等作者組成的團隊(arXiv 編號 2609.08977,2026 年 9 月 8 日提交)提出了 Gander,一個嘗試同時解決「自然全雙工對話」與「複雜代理任務」兩個目標的端到端模型。Gander 的核心主張是:即時互動能力(realtime interaction)與高階推理/代理能力(agentic capability)所需要的運算特性其實南轅北轍——前者要求低延遲、連續串流;後者要求深度推理、可能耗時數秒甚至更久。與其用一個模型硬撐兩者,不如設計成「小腦—大腦」協作的架構。團隊也將模型權重、程式碼與訓練資料一併開源,方便社群後續研究。

方法

Gander 的架構分成兩層:

Cerebellum(小腦):一個約 9B 參數的即時多模態模型,負責處理連續的語音、影像、文字輸入,並生成自然口語回應。它採用「Thinker-Talker」串流架構,把所有模態的輸入輸出「攤平」成一條按時間排列的因果 token 流。具體做法是:在固定的一秒時間視窗內,模型同時產生三種東西——(1) 編碼後的音訊/視覺 token、(2) 一個控制 token(代表「聽」「說」或「被打斷」等互動狀態)、(3) 回應文字 token。視覺輸入使用 SigLIP 視覺 transformer,並做了 16 倍的激進壓縮以換取即時效率;語音輸入則用串流語音編碼器做 5 倍時間下採樣,壓到每秒約 10 個 token。這種設計讓模型不需要外掛的語音活動偵測(VAD)模組,而是把「該不該插話、該不該被打斷」當成自迴歸生成過程中內建的一部分來預測。

Brain(大腦):一個「免訓練」(training-free)的通用任務執行代理,實際上是透過呼叫 Claude 或 Codex 這類既有大型推理模型來實例化。它負責複雜推理、多步驟工作流與高階代理任務。因為是免訓練設計,底層推理模型未來升級時,大腦的能力可以自動跟著提升,不用重新訓練整個系統。

兩層之間透過「Agent Orchestration Runtime(代理編排執行環境)」持續溝通,靠工具呼叫(tool calling)機制協作——小腦負責維持與使用者的即時對話,同時把複雜任務委派給大腦處理,期間仍能穿插即時回饋或追問。

訓練資料共 270 萬筆樣本,分四類:語音互動類(37%,涵蓋全雙工、插話、輪替發言)、影音理解類(41%,涵蓋串流影片問答、主動回應)、代理任務類(13%,任務委派與生命週期管理)、以及強健性/負樣本類(9%,涵蓋噪音、多人對話、靜默監督)。其中語音互動資料使用了自建的「InteractionSpeech」流程,合成了 26.08 萬筆帶有明確插話與 backchannel 標註的高擬真全雙工對話。為了維持長時間對話的穩定性與延遲可控,系統將上下文限制在 128 個時間片(約 2 分鐘)以內。

實驗結果

團隊從四個維度評估 Gander:對話能力、全模態理解、互動能力、代理智能。

在 Full-Duplex-Bench v3(100 個情境)的互動測試中,Gander 在「適時接話」上達到 100%(與最佳系統打平),「過早打斷」比例僅 8.0%,優於 GPT-Realtime 的 13.5%——顯示其輪替時機掌握得相當精準。但在工具選擇與任務準確度上,Gander 的工具選擇 F1 為 0.759,Pass@1 準確率為 0.400,略遜於 GPT-Realtime 的 0.600,反映出它在「互動自然度」與「任務精確度」之間做了取捨。

在 SpokenQA / VoiceBench 的口語問答測試中,Gander 在 Llama Questions 與 Web Questions 上分別拿下 75.60% 與 59.30%,是所有全雙工模型中表現最好的,且與非串流(回合制)系統相比差距僅 2-3 個百分點,顯示串流限制下仍能維持相近水準的對話理解力。

在 全模態理解(WorldSense、Daily-Omni)基準上,Gander 相較其基礎模型 MiniCPM-o 4.5 出現小幅退步:WorldSense 為 49.62%(基礎模型 55.70%),Daily-Omni 為 78.53%(基礎模型 80.20%)。不過多模態融合帶來的增益依然明顯,WorldSense 提升 +5.01、Daily-Omni 提升 +19.13。團隊解釋,這種退步源自訓練資料分布偏向時序互動推理,而非靜態屬性辨識,屬於預期中的取捨。

此外,內部人工評測顯示 Gander 在噪音干擾、多人對話、backchannel 溝通等真實世界挑戰場景中表現穩健,同時維持了目前開源 SOTA 模型應有的自然、富表現力的口語對話能力。

意義

Gander 的意義不在於單一 benchmark 的絕對分數,而在於它提出了一種務實的系統設計思路:與其追求「一個模型全都要」,不如承認即時互動與深度推理本質上是兩種不同的運算需求,用「小腦負責快、大腦負責準」的分工來兼顧使用者體驗與任務能力。這種 Cerebellum-Brain 架構也讓系統具備了「免訓練」升級大腦的彈性——當更強的推理模型(如新一代 Claude、GPT 等)問世時,只需替換大腦組件,小腦的即時互動能力不必重練,這對工程落地相當有吸引力。

同時,論文也誠實列出了限制:大腦與小腦目前主要依賴 ASR 轉寫文字溝通,尚缺乏更豐富的結構化資訊交換;長時間多模態記憶管理仍是難題;針對「全模態代理」這種複合能力,現有 benchmark 也還不夠成熟,難以完整衡量兩層協作的品質。這些坦承的缺口,某種程度上也為社群指出了下一步值得投入的方向。

對於正在開發語音助理、AI 客服、或需要「邊對話邊做事」的代理應用的開發者而言,Gander 開源模型、程式碼與資料的做法,提供了一個可直接參考、甚至可複用的全雙工互動基礎架構範本,尤其是其「一秒時間窗 + 控制 token」的串流設計,對降低互動延遲、實現自然插話體驗有直接的工程參考價值。