K1 論文詳解

背景

科學研究的資料型態極為多樣:論文裡的圖表、分子結構式、蛋白質序列、遙感影像、時序訊號,彼此格式差異極大,傳統的通用大型語言模型往往只擅長處理純文字。此外,真正的科學探索不是「一問一答」就能解決的任務,而是需要長時間規劃、呼叫外部工具(如模擬器、資料庫、實驗環境)、並在多輪互動中持續累積進展。這類「長任務視野(long-horizon)」加上「多模態異質證據」的組合,是目前通用模型的明顯弱點。

由上海AI實驗室(Shanghai AI Lab)團隊主導、掛名作者超過124人的這篇論文(arXiv:2608.13505,2026年8月13日提交),提出了Intern-S2-Preview系列模型,目標是打造一個能理解、推理、生成科學內容,並勝任長程智能體任務的基礎模型家族,旗艦版本參數量達397B(3970億)。

方法

Intern-S2-Preview的訓練分為兩大階段。第一階段是科學多模態預訓練:資料來源包括渲染後的科學文件(保留圖表、公式、版面配置)、圖文交錯資料,以及多元科學語料。其中一項技巧是用「對比式next-latent預測」來學習文件影像,另一項是用「視覺增益過濾」——衡量圖像是否真的降低了文字的困惑度(perplexity),藉此篩選出真正有資訊價值的圖文配對,而非單純堆疊資料量。

第二階段是統一後訓練管線,依序包含監督式微調(SFT)、可擴展的多任務強化學習(RL)、黑盒/白盒智能體RL,以及on-policy蒸餾。為了讓RL訓練在大規模、多任務、長軌跡場景下仍然穩定高效,團隊提出多項工程技巧:

• 部分rollout搭配off-policy修正:訓練與推理可暫停、恢復,若某條軌跡最舊保留片段距離當前學習器超過三次策略更新就會被捨棄,避免過期樣本污染訓練。
• 自適應長度正則化:依據正向回應數量動態調整優勢函數權重,防止模型為了拿高分而無限拉長回答。
• 線上推測解碼(speculative decoding):用混合LK損失(結合前向KL散度與全變差距離)訓練草稿模型,使rollout生成速度提升約2倍。
• GEPO(群組層級熵控制策略優化):直接從既有的分組樣本估計群組熵,平衡不同任務間的探索程度。
• 軌跡感知的經驗組裝:用「增量式PrefixTree」保存每次模型呼叫的精確token邊界與多輪、分支互動的來龍去脈,並以「過程感知信用分配」把結果驗證與過程標註分開處理。

在架構層面,Intern-S2-Preview-397B將時序建模能力從單純的「理解」延伸到「數值預測」:升級後的編碼器可支援長達30萬個時間步(前一版為24萬),推論速度提升約5到6倍,記憶體用量降到原本的約20%。另外,團隊還獨立研究了Memory Decoder這條「記憶增強」路徑——一個僅4B參數的Intern-MemDec-4B,透過外部參數化記憶與輕量級token級路由器,對397B凍結骨幹的下一token分布做動態融合,讓模型能快速做領域專精化,而完全不用碰觸主幹網路的參數。

實驗結果

論文在科學、多模態、智能體與通用四大類基準上進行評測。科學類基準涵蓋範圍很廣,例如:Biology-Instructions(多組學序列理解)、Mol-Instructions與MolecularIQ(5,111道問題、849種分子的符號化分子圖推理)、SciReasoner(九大科學領域、149項具體任務)、TOMG-Bench(15,000筆測試樣本的分子生成)、MP20(27,136筆訓練/9,046筆測試的晶體結構生成)、ProteinBinder-9(九個標靶的蛋白質結合體設計)、XLRS-Bench(16項子任務的遙感影像)、MicroVQA(顯微影像視覺推理),以及SciTS(時序理解與預測)。

整體而言,Intern-S2-Preview-397B在多項設定下取得「有競爭力或領先」的成績,並與GPT系列、DeepSeek、Qwen等主流模型做了對比。時序模組的引入顯著提升了SciTS上的科學訊號理解與預測能力。而在Memory Decoder的獨立實驗中,數字最為具體:接上僅4B參數的Intern-MemDec-4B後,Biology-Instructions平均分數從56.92提升到60.32,提升幅度約3.4分(相對提升約6%),而且整個過程完全不需修改397B的凍結骨幹——這證明了「輕量外掛式記憶」是比全量微調更划算的專精化路徑。

意義

這篇論文的價值不只在於刷新了幾個科學基準的分數,更在於展示了一套完整、可落地的「科學智能體基礎模型」工程方法論。它把預訓練資料構建(視覺增益過濾)、大規模RL穩定性(部分rollout、GEPO、推測解碼)、以及架構層面的模組化擴展(時序模組、Memory Decoder)整合成一條生產級管線,而非單點的演算法創新。

對讀者而言,幾個訊號值得留意:第一,397B這樣的規模顯示科學智能體模型正朝「超大規模基礎模型+專用擴展模組」的方向發展,而非單純堆參數;第二,Memory Decoder用4B的外掛模組換取6%的效能提升且不動搖397B骨幹,提供了一種成本更低的領域適應範式,對資源有限的科研團隊或垂直領域公司(生技、材料、氣象)特別有吸引力;第三,時序預測能力與科學文本理解被整合進同一個模型,暗示未來的科學AI助手將能同時「讀論文」和「看數據做預測」,而不必依賴外部拼接的預測工具。整體來說,Intern-S2-Preview為「AI輔助科學發現」提供了一個開放、可驗證的技術基準,後續也值得關注其開源程度與在真實科研場景(如藥物設計、材料篩選)中的落地表現。

背景

隨著大型語言模型(LLM)愈來愈常被拿來當「審稿人」,協助甚至取代人類進行學術論文的同行評審,一個關鍵疑慮浮現:AI審稿人到底是在評估論文的科學內容,還是被論文的「寫法」給誤導了?這篇由 Ming Li、Chenguang Wang、Xirui Li 等八位作者共同發表的論文(arXiv:2608.08975),把這個疑慮定義為一種潛在的 reward hacking——也就是評審系統的獎勵訊號(分數)可能被「修辭包裝」鑽了空子,而不是真正反映論文品質。

這個問題並非空穴來風。近年不少研究已指出,LLM 在摘要生成、程式碼評分等任務中會對用詞、語氣、格式產生偏好,而學術審稿一旦大規模導入 AI,任何可被系統性利用的修辭偏誤都可能被作者(有意或無意地)濫用,形成「文筆包裝勝過內容實質」的扭曲誘因。作者選擇以 ICLR 2026(國際學習表徵會議,深度學習領域頂級會議之一)的真實投稿作為素材,設計一套嚴謹的對照實驗,系統性拆解修辭到底在哪些面向、哪些條件下真的能撼動 AI 的評分。

方法

研究團隊建立了一個高度受控的語料庫:取材自 120 篇匿名化的 ICLR 2026 投稿全文,透過兩個不同的 LLM 改寫器(rewriter),沿著六個修辭維度分別往「正向」與「負向」兩個方向改寫論文——但刻意保留論文回報的科學內容(數據、方法、結論)不變。六個維度中,論文特別點名了「證據框架(evidence framing)」與「新穎性立場(novelty stance)」兩項,以及次要的「範疇框架(scope framing)」,其餘維度效果較弱。每篇論文乘上改寫器、方向與維度的組合,最終擴展成 4,200 份手稿。

接著,五個不同的 LLM 審稿人分別在「標準」與「嚴格」兩種評審協定下對這些手稿評分,產出總體評估(overall assessment, OA)分數。除了基本的單次改寫對照實驗,研究還測試了三種更複雜的工作流程:聯合改寫(joint rewriting,同時調整多個維度)、遞迴改寫(recursive rewriting,反覆多輪修改)、以及審稿人引導式改寫(reviewer-guided rewriting,依據審稿意見再次修改)。這樣的設計讓研究者可以比較「一次性簡單操弄」與「更精細、更接近真實作者行為」的操弄策略,何者更容易撼動 AI 評分。

實驗結果

結果顯示,修辭敏感性並非均勻分布,而是呈現明顯的層級結構:證據框架與新穎性立場造成的正負向對比分數差距最大,範疇框架則形成較弱的「次一級」效應,其餘維度的影響更小且較不穩定。這個層級關係在不同人類評定的論文品質等級中都保持一致,顯示這不是單純的雜訊,而是 AI 審稿系統中結構性、可預期的弱點。

更值得注意的是,分數變動的方向與幅度強烈取決於 AI 審稿人「原本」給出的分數:原本評分偏低的論文,經修辭正向改寫後容易被拉高;原本評分偏高的論文,則容易被拉低;而正負向改寫之間的對比,在中間分數段最為清晰可辨,兩端(極高分或極低分)反而較不敏感。

另一個重要發現是,更複雜的改寫工作流程並不保證更大的操弄效果。聯合改寫的效果高度取決於用哪個改寫器操刀,審稿人引導式的第二輪改寫並沒有穩定勝過完全不引導的第二輪改寫,而反覆多輪的遞迴改寫則出現報酬遞減,且效果高度依賴具體設定組合。整體而言,論文歸納出一個清晰的分工:改寫器主要決定正負向兩個版本之間「能拉開多大差距」,而審稿人則決定這個差距最終會反映成多大幅度、什麼方向的分數變化。此外,「嚴格」評審協定會讓平均 OA 分數整體下降 1.36 分,但這種嚴格程度並沒有一致地改變修辭敏感性的結構——換言之,調嚴審稿標準並不能自動解決修辭操弄的問題。

意義

這篇論文的意義,在於把「AI 審稿容易被修辭操弄」從一個模糊的擔憂,轉化成一組可量化、可重現的實證證據,並精確指出問題發生的條件:哪些修辭維度最危險(證據框架、新穎性立場)、哪些分數區間最脆弱(中間分數段)、哪種操弄策略性價比最高(不一定是最複雜的那種)。這對正在或即將導入 AI 輔助審稿的學術會議與期刊是一記警鐘——單純提高審稿嚴格度、增加審稿輪數,並不能保證消除這類 content-preserving(內容不變、僅包裝改變)的操弄空間,作者實際上可以在不改動任何實驗數據或結論的前提下,透過調整敘事語氣顯著提高被 AI 接受的機率。

更廣泛地看,這項研究也呼應了整個 LLM-as-judge(以 LLM 作為評判者)應用場景中反覆出現的 reward hacking 隱憂:無論是評審論文、評分作文,還是給 RLHF(以人類回饋進行強化學習)訓練提供獎勵訊號,只要評判者是可被操縱語言風格影響的模型,就存在系統性偏誤被利用的風險。作者呼籲未來的評審系統設計,必須針對這種「內容不變但包裝改變」的攻擊面做壓力測試與強化,例如透過多樣化的評審視角、去除修辭線索的內容標準化前處理,或引入對修辭操弄具魯棒性的訓練目標,才能讓 AI 審稿真正評的是科學,而不是文筆。

背景

把論文、報告等多模態素材轉換成精煉且結構化的媒體輸出(例如學術海報),本質上是一個長程(long-horizon)代理任務:模型需要反覆規劃、呼叫工具、產生草稿、檢查品質、再修正,直到收斂成一份可用的成品。這類任務背後真正的關鍵往往不是模型本身,而是「harness」——也就是包裹在模型外層的上下文組織、工具集、執行環境、任務編排與回饋評估機制。理想的 harness 應該吸收人類的設計直覺,並透過實際跑過的經驗持續累積、遞迴式地自我改進。但現有做法幾乎都是靜態的:工程師手寫一套固定流程,模型套用,跑完就結束,無法從失敗案例中學習、也無法把好的做法沉澱下來。

論文作者(Yaxin Luo、Haobin Jiang 等 13 位研究者,arXiv:2608.13560)提出 AutoDesign,嘗試把「優化 harness」這件事本身也交給 agent 來做——即所謂的 meta-harness optimizer。他們選擇「論文轉海報」(paper-to-poster)作為具體任務載體,因為這個任務同時涉及資訊萃取、版面設計、視覺呈現與可讀性等多重面向,足以檢驗一個系統是否真的具備長程設計能力。為了量化評估,他們同時建了新的評測集 PosterBench:涵蓋 AI/ML、生醫、氣候、經濟、物理與天文五個學科共 100 篇論文的 Main Track,以及一個共享的 10 篇論文子集 PosterBench-mini,方便做可控對照實驗。

方法

AutoDesign 的核心是一個雙層迴圈架構。內層迴圈在固定的 harness 條件下反覆生成、修訂海報草稿;外層迴圈則基於內層跑出來的 rollout 回饋去優化 harness 本身。形式上,一個 harness H 可以表示成 y ∼ H(πθ, x, c),其中 πθ 是底層的 LLM/MLLM、x 是多模態輸入(論文文字與圖表)、c 是上下文設定。作者把 harness 拆解成五個功能模組:上下文與記憶、工具與規格、執行環境、任務編排,以及評估與回饋——外層優化每次只針對其中一個模組提出「有界」的更動,避免一次改太多導致不可控。

負責提案改動的,是一個扮演「規劃者+編輯者」雙重角色的 code agent(即 meta-harness optimizer P)。它會檢視過去的執行軌跡與評分,找出反覆出現的失敗模式,寫出具體的程式碼更新,再通過一個「接受閘門」(acceptance gate)——只有當更新在訓練集上分數提升、且在驗證集上沒有退步時,才會被正式採用。所有的 harness 版本、程式碼變更與接受/拒絕紀錄都會保存在一份優化紀錄 ℒ 中,方便回溯與版本管理;必要時也能加入人類的方向性提示。

經過這套流程反覆優化出的成品叫 DesignHarness:它會先解析論文、萃取關鍵段落與圖表並保留出處(provenance),再由設計模組生成可編輯的 HTML 版面,接著用規則式檢查搭配視覺語言模型(VLM)評審做審核,最多允許 12 輪修正後才定稿。評分則用一套七維度的固定權重量表(滿分 100):忠實度 10 分、涵蓋度 10 分、資訊密度 15 分、視覺證據 10 分、版面 20 分、可讀性 25 分、美感 10 分,並設有「天花板規則」——任一項目踩到嚴重扣分門檻(P0)時整體上限鎖在 40 分,以此防止「局部很漂亮但關鍵資訊漏掉」的作品拿高分。

實驗結果

在 PosterBench Main Track(以 Claude Code + Claude 4.8 為底座)上,AutoDesign 拿到 78.32 分,比商業閉源系統 Claude Design 的 70.87 分高出 7.45 分,也優於 OpenDesign 的 69.45 分與單獨使用 Codex 的 73.37 分。在更小規模的 PosterBench-mini 上,AutoDesign 搭配 GPT-5.5 Codex 拿到 81.46 分,搭配 Claude Code 則是 74.56 分,同樣都領先 Claude Design(66.83)與 OpenDesign(70.36)。

更有意思的是跨模型的可攜性測試:研究者在七種不同的 code-agent 與底座模型組合上,比較「有沒有裝上」學到的 DesignHarness。結果顯示,每一種組合裝上 DesignHarness 後分數都提升,幅度從 5.01 到 19.56 分不等,平均分數從 54.99 提升到 67.39,相對提升約 12.4%。其中 GPT-5.5 Codex 絕對分數最高(81.46,每張海報成本約 10.02 美元),Seed 2.1 Pro Code 則以每張僅 2.75 美元的成本拿到 71.83 分,達到約 88% 的 GPT 表現卻只花 27% 的成本;LongCat 2.0 Code 每張僅 0.27 美元最省錢但分數也最低(55.13)。

在完全自主的長程執行測試中,AutoDesign 完成一次論文轉海報任務平均要跑 253 次工具呼叫、11 輪編輯,耗時約 40 分鐘,總成本低於 3 美元,人類評審認為其品質已達到一般學術會議海報的水準。另外還做了一場系統盲測的人類偏好研究:11 位志願評審對 100 篇論文做兩兩比較,共收集 936 次判斷(扣掉 3 次跳過)後用 Bradley-Terry 模型估計,AutoDesign 的勝率估計為 64.0%(95% 信賴區間 55.2%–77.8%),分別以 61.3%、63.1%、67.6% 的優勢勝過 Claude Code、OpenDesign、Claude Design。值得注意的是,PosterBench 分數與人類偏好之間只有中等程度的相關性(r=0.34),但當兩份海報的 PosterBench 分差達到 20 分以上時,人類評審與量表打分的意見一致率提高到 74.4%。

意義

AutoDesign 這篇工作最值得關注的地方,不在於它把海報生成的分數刷高了多少,而在於它示範了一種「optimize the optimizer」的思路:與其手工調教一個固定的 agent 流程,不如讓另一個 agent 去觀察執行紀錄、找出瓶頸、寫程式碼修正 harness 本身,並用可回溯的接受機制保證每次改動都是「有憑有據」的進步。這種做法把工程師原本要反覆試錯調參的工作,變成了一個可以自動迭代、可審計、可跨模型遷移的系統性流程——七種底座模型全都能從同一套學到的 DesignHarness 中受益,這意味著「好的設計經驗」是可以被萃取並複用的,而不必綁死在某個特定模型上。

對於想要在真實產品中導入長程 agentic workflow(不論是報告生成、簡報製作,還是其他需要多輪修正收斂的任務)的團隊來說,AutoDesign 提供了一個具體的參照框架:把系統拆解成上下文/工具/執行/編排/評估五個模組、用清楚的量化指標配合天花板規則防止作弊式的高分、並保留完整的優化紀錄以便回滾。同時,PosterBench 本身作為一個新的、涵蓋五學科的公開評測集,也為後續研究「模型-harness 協同設計」提供了可比較的基準,而人類偏好與量表分數之間中等相關、大分差時一致性明顯提高的發現,也提醒研究者:自動化評分量表仍需搭配人類評估才能可靠地衡量真實可用性。整體而言,這篇論文把「自我改進的系統設計」向前推進了一步,也為成本與品質的權衡(例如 LongCat 2.0 每張僅 0.27 美元、Seed 2.1 Pro 以 27% 成本拿到 88% 表現)提供了實用的參考數據。