K1 論文詳解

背景

近年來,大型語言模型解決抽象推理任務(如 ARC-AGI)的主流做法,是靠 chain-of-thought:模型把每一步推理都用自然語言「講」出來,再逐步逼近答案。這種做法雖然直觀、可解釋,但代價高昂——越長的推理鏈意味著越多 token、越高的 API 成本。目前公開回報中,ARC-AGI-1 評測集上表現較好的模型(例如 GPT-5.6 Luna Low)雖然能拿到 34.2% 的準確率,但每題推理成本高達 0.040 美元。

BDH-CQ 這篇論文想問的問題是:如果讓模型完全不用文字表達中間推理過程,而是在一個高維度的「潛在空間」(latent space)裡直接反覆運算,是否能用遠低的成本達到接近甚至打破現有的成本-準確率 Pareto 前沿?這個模型建立在作者先前提出的 Dragon Hatchling(BDH)架構家族之上,該家族的特色是高維正值活化(positive activations)、低秩(low-rank)通訊,以及一個持續累積的遞迴聯想狀態(recurrent associative state),強調局部互動、稀疏活動與狀態的持續調整,而非傳統 transformer 那種不斷擴張的 key-value 快取。

方法

BDH-CQ 的核心設計把「從範例中學習」與「在潛在空間裡推理」拆成兩個機制。首先,推理時給模型看到的每一組示範(demonstration)會依序更新一個遞迴記憶狀態,寫成公式是 S_t = U_θ(S_t-1, D_t),也就是說,晚出現的範例可以受到之前所有範例的影響,而不需要像 attention 機制那樣維護一個不斷增長的顯式 key-value cache。

當所有示範都被吸收進記憶狀態 S_K 之後,模型面對新的查詢(query)時,不會像 chain-of-thought 模型那樣生成文字步驟,而是在一個獨立的「工作空間」H_r 裡做迭代運算:先用 H_0 = E_θ(x*, S_K) 把查詢與情境記憶編碼進去,再透過 H_r+1 = F_θ(H_r, S_K) 反覆精煉這個潛在表徵,最後用 ŷ = G_θ(H_R) 解碼出答案。整個推理過程中沒有任何自然語言 token 被序列化輸出,這讓模型可以在狀態中同時保留多個「部分假設」或候選變換,而不必把每一個都寫成文字。

訓練資料是混合了 ARC-AGI-1 訓練集、RE-ARC、ConceptARC、ARC-Heavy、ARC-GEN100K,以及私有整理與擴增的範例,目標是要求模型在吸收前面範例之後,精確預測輸出網格(exact grid match)。訓練配方本身未完全公開。模型本身只有 150M 參數,推理時無需更新任何權重,也完全不使用任務識別碼——換言之,模型是純粹靠 in-context 的示範來推斷變換規則。作者也設計了 LOW / MEDIUM / HIGH 三種「推理力度」(reasoning effort)設定,透過調整潛在推理的迭代深度,在成本與準確率之間取得可調節的權衡。

實驗結果

在公開的 ARC-AGI-1 評測集上,150M 參數版本的 BDH-CQ 達到 29.5% 的 pass@2 準確率,推理成本僅 0.0007 美元/題(換算約 0.85 個 H200 GPU 秒),比前述 GPT-5.6 Luna Low 的 34.2% / 0.040 美元便宜約 57 倍;即使算上 OpenAI 之後 80% 的 API 降價,BDH-CQ 仍便宜約 11 倍。這個分數也經由 Bielik 與紐約大學的共同作者以黑箱方式獨立驗證,確認未接觸模型權重的情況下同樣得到 29.5%。

作者進一步用 ConceptARC(16 個概念家族、每族 10 題)與一系列自行設計的 ARC 式受控實驗,深入拆解模型「學到了什麼」。結果顯示能力分布極不均勻:ExtendToBoundary、FilledNotFilled、TopBottom2D 等概念可達 9/10,但 Copy、Order 等只有 2/10。逐測試對(test-pair)準確率為 77.92%,但要求整題全對的嚴格準確率只剩 59.38%,顯示模型常常「抓到規則但套用不一致」。

在受控實驗中,傳播(propagation)與複製(copying)在所有 48 個保留輸出上都維持全對,即使距離拉到 8 或目標數增到 4;但排序(ordering)與巢狀(nesting)任務出現明顯「懸崖式」下滑——排序長度 5 時準確率約 90%,長度 6 降到 80.6%(29/36),長度 8 在 pass@2 下只剩 4.2%(1/24),但若額外提供與目標複雜度匹配的示範,可回升到 13/24。色彩映射的「密集綁定」實驗則相反,模型在 2 到 8 組同時綁定的顏色置換上,96 個保留輸出全部答對。組合任務方面,單純位移與「旋轉+位移」都是 72/72 全對,但「反射+位移」降到 47/72,顏色互換的組合任務更是直接掉到 0/72。另外在 1,131 題自動生成的確定性任務集中,不同操作類型差異巨大,例如洪水填色(flood fill)有 68.6% 解出率,重力/堆疊卻只有 2.9%,差距達 65.7 個百分點(permutation test, p<0.00005)。

意義

BDH-CQ 最引人注目的地方,不是它在 ARC-AGI-1 上拿到多高的分數(29.5% 其實遠低於目前最強模型),而是它用極低的成本重新畫出了成本-準確率的 Pareto 前沿:同一塊 GPU 上,不到千分之一美元就能完成一次推理,比起動輒數美分的 chain-of-thought 大模型,效率上有數十倍的差距。這說明「推理」未必一定要靠冗長的文字鏈條展開——把中間計算留在連續的潛在空間裡,同樣可以支撐一定程度的抽象規則推斷與泛化,而且更省算力、更省 token。

同時,論文透過大量受控實驗誠實地揭露了這類架構的能力邊界:模型擅長傳播、複製、密集綁定這類「局部、可疊加」的操作,但在需要長鏈條排序、深層巢狀、或條件式規則切換(未見過的參數值準確率直接掉到 0%)時明顯吃力,呈現的是一種「能力剖面」而非單一的推理能力分數。作者也提到早期實驗顯示,從 1B 到 600B 參數規模,BDH-CQ 架構仍遵循類似 transformer 的 scaling law,並保留其潛在推理特性,這暗示這條路線未來有機會擴展到語言推理、數學推理或約束滿足問題,甚至與傳統 chain-of-thought 結合成「連續+文字化」的混合推理鏈。對於关注推理成本、邊緣部署或大規模批次推理場景的從業者而言,這類「免文字化潛在推理」路線提供了一個值得關注的效率替代方案。

背景

過去兩年,大型語言模型的能力提升主要靠「訓練前的規模擴張」——更大的模型、更多的資料、更長的預訓練。但一旦模型部署上線,它幾乎就定型了:使用者的真實互動、成功與失敗的經驗,很少能被系統性地回收利用,變成模型自我改進的養分。這也是業界近來常談的「experiential intelligence(經驗智能)」概念想解決的問題——模型能不能像人一樣,從真實環境的使用經驗中持續學習,部署之後依然在進步?

另一個長期存在的矛盾是「專精化」與「協作」之間的取捨。要讓一個模型同時擅長聊天、寫程式、當智能體(agent)執行任務、生成介面(GenUI),往往得靠混合多個獨立模型或不斷微調同一個通用模型,前者成本高、維運複雜,後者則容易在多任務之間互相干擾、顧此失彼。

由 Mind Lab(75 位作者共同掛名)發表的 Macaron-V1,正是針對這兩個問題提出的系統性答案。這篇長達 49 頁的技術報告(arXiv:2608.09819,CC-BY 4.0 授權)在 2026 年 8 月發表後迅速登上 Hugging Face 論文榜第 2 名、獲得 229 個讚,顯示業界對「部署後持續學習」這個方向的高度關注。Macaron-V1 並非單一模型,而是一整套「架構 + 演算法 + 基礎設施」共同設計(co-design)的開源智能體家族。

方法

Macaron-V1 圍繞兩個系統目標展開:適應(Adaptation)與協作(Collaboration)。

在協作面,團隊提出了 Mixture-of-LoRA(MoL) 架構:凍結一個龐大的基礎模型(base model)不動,外接多個「專家型」LoRA адapter,每個 adapter 專精一種任務類型,系統會在每一輪使用者對話時,動態挑選最合適的一個 LoRA 來回應。這與傳統 Mixture-of-Experts(MoE)在單一前向傳播內做 token 級路由不同,MoL 是在「整個對話輪次(turn)」的粒度上做選擇,且 adapter 可以像插件一樣持續擴充,不需要重新訓練整個底層模型——這正是支撐「持續學習」的關鍵設計。

團隊發布了兩個規格的旗艦模型:

• Macaron-V1-Venti:以 744B 參數的 GLM-5.2 為基礎模型,外接 4 個 LoRA 專家,分別對應聊天(chat)、智能體(agent)、程式碼(coding)、生成式介面(GenUI)四種能力,主打雲端/伺服器級部署。
• Macaron-V1-Tall:以 50B 參數的 Qwen3.6 為基礎,採用同一套 MoL 設計,但體積縮小十幾倍,目標是可在本機(local)裝置上運行。

在適應面,團隊提出「Model-Harness Co-design」與「recursive self-improvement loop(遞迴式自我改進迴圈)」。所謂 harness,是指模型運行時所依附的工具、記憶、動作介面等外部環境;論文強調模型不能脫離 harness 單獨優化,而必須把「版本化的模型-harness配對(versioned model-harness pairs)」當成一個整體來迭代:第一版配置的實際使用經驗,會在一個「外部契約(external contract)」的規範下被評估,再據此建構出下一版配置。這個外部契約有個具體實作,叫 HCP(versioned HCP contract),確保每一次迭代的評估標準是可追溯、可比較的,而不是各版本自說自話。

支撐這套迴圈的幾個核心元件包括:

• UI4A:一套「component-native」的 GenUI harness,搭配「stateful action substrate(具狀態的動作底層)」,讓模型生成介面時能記住操作狀態、串接元件動作,而不只是吐出一段靜態 HTML/JSON。
• MindForge:agentic RL(強化學習)框架,負責讓智能體在真實或模擬任務環境中透過試錯來優化決策鏈。
• MinT:後訓練(post-training)平台,是整套自我改進迴圈的訓練基礎設施。
• LongStraw:針對長上下文(long-context)場景設計的 RL 方法,用於處理智能體長時間、多步驟任務中的上下文管理問題。
• 針對稀疏 MoE(sparse Mixture-of-Experts)與 DSA(可能指某種稀疏注意力/狀態架構)基礎模型,論文也提出了專門的穩定性訓練技巧,避免大模型在長時間 RL 訓練中崩潰或退化。

整體來看,這是一套從「模型架構→訓練演算法→部署基礎設施」三層垂直打通的系統工程,而不是單一篇論文常見的「只調演算法」的做法。

實驗結果

論文在三大類基準上評測 Macaron-V1,並與前沿(frontier)基線模型比較:**Personal Intelligence(個人化智能)**基準、**GenUI(生成式介面)基準,以及一般通用能力(general capability)**基準。這三類基準的設計對應了 MoL 架構的三個核心能力面向——理解並記住使用者個人情境、生成可互動的使用者介面、以及基礎的推理與知識能力。

作者在報告中總結:目前的實驗結果「驗證了現有系統的有效性(validate the current system)」,即 744B 的 Venti 與 50B 的 Tall 在對應的部署場景(雲端 vs. 本機)下,都能以四個 LoRA 專家模組達到與前沿基線相competitve 的表現,證明凍結底座、外接專精 adapter 的路徑是可行的。

但論文同時坦率指出一個限制:「持續學習與集體智能(collective intelligence)帶來的複合增益(compounding gains)仍是待解問題」。換言之,團隊目前驗證了「架構本身能跑、能打平前沿基線」,但還沒有充分證實「隨著版本一輪輪疊代下去,系統是否真的會像滾雪球一樣越用越強」——這是遞迴自我改進機制最誘人也最難證明的部分,作者選擇誠實地把它列為開放問題,而不是誇大宣稱已經解決。

意義

Macaron-V1 的價值不只在於刷了幾個 benchmark 分數,而在於它示範了一條「模型部署後如何持續變強」的具體工程路徑。過去業界常見的做法是:模型上線後定期整包重新訓練/微調,成本高、風險大、也難以精準對應到真實使用者的痛點。Macaron-V1 用 MoL 把「持續學習」局部化到單個 LoRA 專家模組,搭配 HCP 版本契約做嚴謹的迭代評估,理論上可以用遠低於重訓整個 744B 模型的成本,持續加掛新專家、修補既有專家的弱點。

對開發者而言,Venti(744B)與 Tall(50B)這種「雲端大模型 + 本機小模型共用同一套架構」的雙軌設計,也提供了一個可參考的產品化範本:同一套 harness、同一套 GenUI 生成邏輯(UI4A),可以無縫從伺服器級部署下放到終端裝置,降低了「雲端版與本機版體驗不一致」的常見痛點。

當然,作者自己也承認,「持續學習是否真能帶來複合式的長期增益」尚未證實,這也是接下來一年業界會密切關注的方向——如果 Mixture-of-LoRA + 遞迴自我改進的組合真能被驗證為可持續放大的正回饋迴圈,它可能會成為繼「預訓練規模化」之後,下一個被廣泛採用的 LLM 系統設計範式。而作為一個以 CC-BY 4.0 授權公開的完整技術報告,Macaron-V1 也為整個社群提供了一份少見的、涵蓋架構、演算法與基礎設施的完整參考藍圖。

背景

過去兩年,SWE-bench 系列幾乎成了衡量 AI coding agent 實力的標準答案。但隨著 GPT-5、Claude、Gemini 等前沿模型陸續在 SWE-bench Verified 上衝破 75% 的解題率,這套題目正快速「飽和」——換句話說,題目已經不夠難,無法再區分頂尖模型之間的真實差距。更麻煩的是評測品質本身出了問題:近期一項審查發現,SWE-bench Verified 中「未解出」的題目裡,竟有將近 60% 存在測試瑕疵,分成兩種典型錯誤——測試範圍過窄,連正確解法都會被誤判失敗;或測試範圍過寬,檢查了題目描述中根本沒提到的隱性需求。更嚴重的是,有研究指出前沿模型能夠「逐字」複現訓練資料中見過的 gold patch,這代表部分高分可能只是背答案,而非真正理解並解決問題。

在這樣的背景下,論文作者(以 Yuling Shi 為首,共 15 位作者,COLM 2026 錄取)認為程式碼重構(refactoring)是一個被低估、卻更貼近真實工程場景的挑戰。重構要求在「不改變外部行為」的前提下,對多個檔案進行協調一致的修改——這比修一個 bug 或加一個小功能難得多,因為代理必須同時維持全域一致性、理解跨檔案的依賴關係,還不能破壞既有功能。然而現有的 SWE-bench 類基準大多以單檔案、小範圍的 issue 修復為主,對這種「大範圍、跨檔案」能力幾乎沒有涵蓋,因此作者提出了 SWE-Bench ProMax,試圖填補這個評測空白。

方法

SWE-Bench ProMax 的建構分成三個階段,直接對症下藥地解決前述的評測品質問題。

第一階段是資料蒐集:團隊透過 GitHub API 自動化挖掘星數超過 500 顆的知名倉庫,鎖定 2025 年 1 月之後、commit 訊息中含有「refactor」關鍵字的提交,總共撈出 29,782 個候選實例,涵蓋 Python、Java、TypeScript、Go、C、C++、Rust 七種語言。

第二階段是環境建構:為每個候選重構提交建立對應的 Docker 容器,還原重構發生前的程式碼狀態,確保代理能在一致、可重現的環境中作業。

第三階段是專家人工精修,這也是整篇論文的核心貢獻。人類專家從零重寫每一則 issue 描述,力求規格精確、不含糊,避免代理鑽漏洞或誤解需求;同時人工逐一審查測試套件,剔除「過窄」與「過寬」兩類問題測試,確保通過測試等同於真正解決了問題。此外,團隊也主動過濾掉複雜度不足、或修改範圍侷限在單一檔案的任務,只保留真正需要跨檔案協調的重構案例。經過這三層篩選,29,782 個候選最終只剩下 170 個實例存活——淘汰率超過 99.4%,足見篩選之嚴格。

最終基準的規模遠超既有基準:平均每個實例需修改 11.4 個檔案、變更 261.6 行程式碼;其中 30% 的任務改動超過 10 個檔案,32% 的任務改動超過 200 行程式碼;issue 描述平均長達 685.3 個 token,遠比一般 bug report 詳細;極端案例中,gold patch 甚至涉及多達 182 個檔案。

評測方面,研究團隊選用了六個前沿模型:專有模型包括 Gemini-3-Pro、Claude Sonnet 4.6、GPT-5.2;開源權重模型則有 GLM-5、Kimi-K2.5、Qwen3.5。每個模型都搭配兩種主流 agent scaffold——mini-swe-agent 與 OpenHands——進行測試,以排除單一框架偏差對結果的影響。

實驗結果

在 OpenHands scaffold 下,整體解題率(resolve rate)排名如下:表現最好的 GPT-5.2 拿下 41.2%;Claude Sonnet 4.6 緊追在後,為 38.8%;Qwen3.5 與 GLM-5 並列 36.5%;Kimi-K2.5 為 32.9%;Gemini-3-Pro 則明顯落後,僅 19.4%。換句話說,即便是目前最強的模型,面對 SWE-Bench ProMax 也只能解出不到一半的題目,遠低於這些模型在 SWE-bench Verified 上動輒 70% 以上的表現,證實這個新基準確實遠未飽和,仍能有效區分模型的真實能力差距。

一個值得注意的細節是成本效益的落差:GLM-5 以每個實例僅 0.24 美元的成本,達到 36.5% 的解題率;相比之下,Claude Sonnet 4.6 每個實例要花 4.77 美元,解題率也只多出約 2 個百分點(38.8%)。這說明砸更多錢、用更貴的模型,並不必然帶來成比例的效能提升,對正在評估用哪個模型做自動化重構的團隊來說,是個實用的參考點。

論文進一步分析失敗案例,發現最主要的失敗模式是「重構不完整」——代理往往只改動了應該修改檔案數的一部分,未能把變更擴散到所有相關檔案。這意味著目前的模型雖然能理解局部的修改邏輯,但在需要長時程、跨檔案持續協調一致性的任務上,仍存在根本性的瓶頸,而不僅僅是「看不懂 issue」這種表面問題。

意義

SWE-Bench ProMax 的價值不只在於「又出了一個更難的測驗」,而是精準指出了現有評測體系的兩個系統性缺陷,並用具體方法去修正:一是測試品質問題(過窄/過寬測試導致的誤判),二是任務範圍問題(現有基準大多侷限在單檔案小修改,無法反映真實工程中常見的大規模重構需求)。透過嚴格的三階段人工精修流程,把近三萬個候選壓縮到 170 個高品質實例,這套基準提供了一個更難被「背答案」攻破、也更貼近真實軟體工程場景的評測標準。

對從業者而言,41.2% 的最佳解題率、以及「重構不完整」這一主要失敗模式,說明目前的 AI coding agent 尚不足以被完全信任去執行大範圍、跨檔案的自動化重構工作——人類工程師在審查與把關上仍不可或缺。而 GLM-5 用不到 Claude Sonnet 4.6 二十分之一的成本達到相近效能的發現,也為企業在選型時提供了具體的成本效益依據:不是最貴的模型就一定最划算。整體而言,這項工作為下一代 coding agent 的能力邊界劃出了更清晰、更有挑戰性的座標,也提示研究社群應更重視「長時程、跨檔案一致性維持」這一能力維度,而不只是持續刷單一檔案 bug-fix 類任務的分數。