K1 論文詳解

背景

近年來大型語言模型（LLM）大量被導入K-12（小學到高中）教育場景，例如自動解題、學習輔導、教材問答等。然而現有的教育類 benchmark，例如各種模擬考題庫，幾乎都只測試「能不能把考題答對」，卻沒有評估模型是否真正理解課程知識本身是如何被組織與呈現的——包括先備知識鏈（哪些概念要先學過才能學下一個概念）、概念分類體系、實驗與概念之間的對應關係、教學排序（先教什麼後教什麼），以及圖表等視覺元素的知識定位能力。這篇論文的作者群（來自北京大學、Institute for Advanced Algorithms Research上海、OriginHub Technology等單位）把這種綜合能力稱為「curriculum cognition（課綱認知）」，並指出目前業界完全沒有工具可以系統性檢驗這件事。

為了填補這個空白，作者從中國官方的人教版（People's Education Press）教材中，針對數學、物理、化學、生物四個科目，橫跨小學、國中、高中三個學習階段，抽取並建構了一個「課綱對齊知識圖譜」——K12-KGraph。這個圖譜不只包含文字概念，還包含教材中的圖片與視覺元素，因此可以同時支援純文字與多模態（圖文並用）的評測與訓練。

方法

K12-KGraph 的圖譜結構包含 9 種節點類型（例如 Book、Chapter、Section、Concept、Skill、Experiment、Exercise、Figure、VisualElement）與 14 種關係類型，涵蓋課程結構（例如章節從屬、先後順序）與視覺定位（例如某張圖對應到哪個概念）兩大類。統計上，文字部分包含 6,579 個概念、1,364 項技能、652 個實驗、1,171 道習題；多模態部分則有 7,388 張圖片、10,203 個視覺元素；邊的數量則有 3,705 條 relates_to、1,896 條 is_a、2,174 條 relates_to 等關係型連結。

基於這個圖譜，作者自動衍生出兩個下游資源。第一個是 K12-Bench，一個高達 23,640 題的多選題 benchmark，分成五種任務家族：Ground（知識定位）、Prereq（先備知識推理）、Neighbor（鄰近概念推薦）、Evidence（實驗證據鏈）、Locate（跨章節索引）。這五種任務刻意設計成無法單靠背誦考古題作答，而是必須理解知識彼此之間的結構關係。第二個資源是 K12-Train，一個「圖譜引導」的監督式微調（SFT）語料庫，共 7,335 筆樣本，其中 2,267 筆是純文字問答（K12-Train-Text），5,068 筆是圖文並茂的多模態問答（K12-Train-MM），兩者合併稱為 K12-Train-Full。

實驗結果

作者先用零樣本（zero-shot）方式測試現成模型在 K12-Bench 上的表現，結果相當令人意外：即便是強力模型 Gemini-3-Flash，精確匹配率（exact match, EM）也只有 57.1%（F1 為 73.0%）；規模較小的 Gemma-4-31B-IT 更只有 46.4% EM（F1 為 69.5%）。細看五種任務類型，Prereq（先備推理）與 Neighbor（鄰近推薦）這兩類任務最難，EM 甚至低於 35%，顯示模型雖然能記住零散知識點，卻難以掌握知識點之間的結構化關聯。

接著作者驗證了「用課綱知識圖譜引導的訓練資料」是否能縮小這個落差。在同樣 2,300 筆樣本的預算下，K12-Train-Text 在 GaokaoBench（中國高考題庫）上，於 Qwen3-4B-Base 上總分達 1009.96，超過表現最強的對照組 DataFlow（985.91），提升約 24.1 分；在 Llama3.1-8B-Base 上更是大幅超越 WizardLM 達 32.4 分。在 EduEval 上，K12-Train-Text 同樣拿下最佳平均分：Qwen3-4B 為 66.76 分、Llama3.1-8B 為 40.90 分，勝過八個主流指令微調語料庫。

在多模態視覺語言模型（VLM）的實驗中，K12-Train-Full 在三個 benchmark 上都拿下最佳整體成績：Gaokao-MM 準確率 39.9%，MDK12-Bench 整體分數 52.94，K12Vista 平均分數 79.95。值得注意的是，K12-Train-Full 使用的樣本數其實少於完整版的 DataFlow 與 WizardLM 基準語料庫，卻仍勝出；同時它也全面超越只用文字（K12-Train-Text）或只用多模態（K12-Train-MM）單獨訓練的版本，證明「文字監督」與「視覺監督」兩者是互補而非互斥的關係。

意義

這篇論文的核心訊息是：現行以「考題正確率」為核心的教育 LLM 評測方式，可能掩蓋了模型在理解課程結構上的真實弱點。即便是先進模型在傳統考試題庫上表現不錯，一旦被要求推理「先備知識鏈」或「相鄰概念關聯」，正確率立刻腰斬到 35% 以下，這代表模型很可能只是「記住答案」而非「理解課綱脈絡」。

更重要的是，作者證明了用知識圖譜系統性生成的訓練資料，比起單純堆疊更多題目或使用一般指令微調語料，在同樣資料量下效果更好——這對教育科技公司或學校自建輔導模型有直接參考價值：與其花大錢蒐集更多考古題，不如投資建構結構化的課綱知識圖譜，用「小而精」的資料撬動更大的能力提升。同時文字與多模態訓練資料互補的發現，也提示未來教育類模型的資料建構應同時涵蓋教材文字與圖表視覺內容，而非偏廢一方。作者已公開釋出圖譜、benchmark、訓練資料與完整建構流程，這讓後續研究者可以直接在此基礎上擴充到更多科目、語言或教育體系，是一個相當紮實且具開放性的教育AI基礎設施工作。

背景

近年來，讓大型語言模型（LLM）與視覺語言模型（VLM）持續變強的主流做法之一，是「on-policy distillation」（線上蒸餾，簡稱 OPD）：讓學生模型自己生成回答，再由一個更強的外部教師模型對這些回答打分或提供更好的下一詞分布，藉此把知識蒸餾回學生模型。這種做法效果不錯，但依賴一個「比學生更強」的外部教師，成本高、也不一定隨手可得。

為了擺脫外部教師，研究者提出「on-policy self-distillation」（線上自蒸餾，OPSD）：不再找外部模型，而是用學生自己的 EMA（指數移動平均）版本當「自我教師」。問題是，如果教師和學生看到的資訊完全相同，教師給出的訊號並不會比學生自己更好——蒸餾也就失去意義。因此既有的 OPSD 方法必須人為製造「教師比學生多知道一點」的資訊不對稱，常見做法是給教師「特權答案」（即先偷看正確答案）或額外的「視覺證據」（例如標註出圖片中關鍵區域的線索）。這些額外訊號都需要人工標註或額外流程，並不簡潔。

本篇論文（arXiv:2607.21556，由 Yijun Liang、Yunjie Tian、Yijiang Li、Yuqi Jia、Furong Huang、Tianyi Zhou、Di Fu 等人於 2026 年 7 月提出）提出一個問題：能不能把「特權答案」和「視覺證據」這兩種外部資訊都拿掉，只靠「輸入條件」本身的差異，就做出有效的自蒸餾訊號？他們提出的答案，就是 Visual Contrastive Self-Distillation（VCSD，視覺對比自蒸餾）。

方法

VCSD 的核心想法很直觀：資訊不對稱不必來自「額外給教師看什麼」，而可以來自「拿掉學生原本看到的東西」。具體做法是，在學生模型逐詞生成回答的每一個「前綴」（prefix）位置上，讓 EMA 教師針對同一個提示詞（prompt）與同一段已生成前綴，分別計算兩個下一詞（next-token）機率分布：一個是在「原始圖片」條件下算出的，另一個是在「內容被抹除的控制圖」（例如純黑圖、高斯雜訊或模糊處理後的圖）條件下算出的。

把這兩個分布逐詞（token-wise）取對數機率相減，就得到一個對比分數 Δₜ：這個分數愈高，代表某個候選詞的機率提升，愈是「特別由這張圖片的具體視覺內容」造成的，而不是單純語言層面的慣性猜測。換句話說，Δₜ 近似於「這個詞與圖片之間的條件點互信息（pointwise mutual information）」，也可以理解成一種逐 token 的「視覺證據獎勵」。

接著，VCSD 用這個對比分數去「銳化」教師在原始圖片條件下的原始分布——但銳化的範圍被限制在原始分布本身認為「合理」的支持集合內（原文稱為 plausibility anchor，用超參數 β 控制強度，實驗中最佳值約 0.1）,避免模型被過度拉向不合理但視覺相關性高的詞而導致訓練不穩定。另一個超參數 α（對比強度）控制對比訊號放大的程度，實驗發現 α 落在 1.0～1.5 之間效果最好，太極端會導致效果變差。數學上，這個過程等價於求解「在對原始分布做 KL 正則化的前提下，最大化視覺證據獎勵」的最佳化問題。

最終，這個經過對比銳化後的完整分布（而非只挑一個 token 或單純的排序分數）會透過 forward KL divergence 蒸餾回學生模型。論文的消融實驗也比較了 forward KL、reverse KL 與 JSD 三種散度，發現 forward KL 分別比後兩者高出 2.27% 與 0.79%，是效果最好的選擇。此外，控制圖的具體構造方式（黑圖、高斯雜訊、模糊）影響不大，說明關鍵在於「把圖片內容真正抹除」這件事本身，而非抹除的具體手法。

整套流程完全不需要外部教師模型、不需要先知道正確答案、不需要額外標註視覺證據或推理過程（reasoning traces），也不會增加推理時的計算成本——訓練成本僅為 8 張 GPU、固定預算下的 90 個優化步驟。

實驗結果

論文在 ViRL39K 資料集上，於 Qwen3-VL 與 Qwen3.5 系列模型上做實驗，並在七個視覺理解 benchmark（BLINK、MMStar、MathVista、V∗Bench、HRBench4K、HRBench8K、HallusionBench）上取平均分數作為綜合指標。

在 Qwen3-VL 上，VCSD 相較於同等設定下的一般 OPSD 方法，帶來一致的提升：

• 2B 模型：七項 benchmark 平均分數從 62.27% 提升到 67.04%，提升約 4.77 個百分點；
• 4B 模型：從 71.30% 提升到 73.16%，提升約 1.86 個百分點；
• 8B 模型：從 72.51% 提升到 76.26%，提升約 3.75 個百分點。

在 Qwen3.5 系列（2B、4B、9B）上，VCSD 同樣穩定帶來 2.9% 至 4.3% 的提升幅度。值得注意的是，VCSD 不只贏過「無額外訊號」的普通 OPSD，也持續優於那些依賴「答案提示」（answer-hint）等額外資訊的 OPSD 基線，顯示單純靠輸入條件對比產生的訊號，已經足以匹敵甚至超越依賴額外標註資訊的方法。

消融實驗進一步確認：拿掉 plausibility anchor 的限制會導致訓練後期效果明顯退化；對比強度 α 過高或過低都會傷害表現；而控制圖的構造方式（黑圖／雜訊／模糊）則對結果影響很小，證明方法的穩健性主要來自「內容移除」這個設計本身。

意義

VCSD 的意義在於證明了：讓自蒸餾（self-distillation）產生有效學習訊號所需的「教師—學生資訊不對稱」，並不一定要靠外部標註（正確答案、人工圈出的視覺證據區域）來製造，僅僅透過「同一輸入的兩種條件版本」（有圖 vs. 去圖）進行對比，就足以萃取出模型自身尚未充分利用的視覺資訊，並反饋給自己強化學習。

這對實務上有幾層價值：第一，它把 OPSD 的門檻降到最低——不需要標註資料、不需要更強的外部模型、不需要額外推理成本，幾乎可以「即插即用」地套用到任何既有 VLM 上，用很少的訓練步驟（僅 90 步）就拿到有意義的提升。第二，其背後的「對比出視覺證據 token」思路，與可解釋性、視覺定位（grounding）等問題有天然連結——Δₜ 本質上是一種衡量「這個詞多依賴圖片內容」的指標，未來或可延伸應用在幻覺檢測（hallucination detection）、視覺歸因分析等場景。第三，這種「輸入條件對比」的自蒸餾範式，理論上也可能推廣到其他模態（如影片、音訊）或其他形式的「條件移除」（如移除某段上下文、移除某個工具呼叫結果），為多模態模型的自我提升訓練提供了一條更簡潔、更低成本的路徑。

整體而言，VCSD 說明了自蒸餾方法還有更精簡的可能性：與其加更多外部訊號讓教師「變強」，不如巧妙地讓教師「少看一點」，靠對比本身就能生出有用的學習訊號，這對降低下一代 VLM 訓練門檻具有實際參考價值。

背景

近年來，Diffusion Language Models（DLM，擴散語言模型）逐漸崛起，被視為自回歸模型（autoregressive models）之外的另一種可行路線。與圖像生成的擴散模型不同，DLM 在生成文字時通常「不會」被明確告知目前處於哪個去噪時間步（timestep）——也就是說，模型接收到的輸入裡並沒有一個顯式的時間變數 t，告訴它「你現在已經去噪到第幾步、還剩多少雜訊」。

這就產生一個很自然但過去很少被深入探討的問題：既然 DLM 沒有被明確告知時間步，它內部到底知不知道自己正處於去噪過程的哪個階段？如果知道，這個資訊儲存在哪裡、又是如何被模型拿來使用的？

這篇論文《Subliminal Clocks: Latent Time Modelling in Diffusion Language Models》（arXiv:2607.01774）由 Sapienza University of Rome、EPFL 與 NVIDIA 的研究者共同完成（Maximo Rulli、Thomas Fontanari、Simone Petruzzi 等十二位作者），正是要回答這個問題。他們的核心發現是：DLM 其實會在其 residual stream（殘差流）中，內生出一個與去噪時間步高度相關的「潛在時鐘」表徵——即便沒有人明確教它這件事。這個發現對理解 DLM 的內部運作機制、以及未來如何操控或優化其生成行為，都有直接意義。

方法

研究團隊選用兩個具代表性的 masked diffusion language models 作為實驗對象：LLaDA-1.5（共 32 層）與 Dream 7B（共 28 層），兩者都是以 cross-entropy loss 訓練的遮罩式擴散語言模型。

他們的分析主要分成三個階段：

1. 探針（Probing）驗證訊號是否存在 研究者在每一層都蒐集了大量隱藏狀態（LLaDA 每層約 3200 個平均向量、Dream 每層約 2800 個），並訓練了一個 5 層的 MLP 探針（搭配 LayerNorm 與 GELU 啟動函數），輸入是模型某一層的隱藏狀態，目標是回歸預測出對應的去噪進度 τ。訓練僅用了 300 筆樣本、20 個 epoch，採用 AdamW 優化器（學習率 α=10⁻³）。作為對照組，他們也訓練了更簡單的線性探針（linear probe）做比較。

2. 沿著低維子空間進行「操控」（Steering） 既然探針證明了 τ 資訊確實可解碼，研究者進一步計算出依照去噪步驟分組的平均活化向量（μ_{t,l}），並透過向量替換（vector swapping）的方式，把模型內部的隱藏狀態沿著這個與 τ 相關的低維子空間進行擾動，藉此人為地「調快」或「調慢」模型對自身去噪進度的認知，觀察其下游行為（例如生成信心與 entropy）是否會隨之產生可預期的變化。

3. 幾何結構分析 為了進一步理解這個 τ 表徵在活化空間（activation space）中長什麼樣子，研究者使用 PCA（主成分分析）將高維隱藏狀態投影到低維空間，檢視其結構是否具有規律性與可解釋性。

實驗結果

實驗結果相當一致地支持了論文的核心假設：

• 探針準確度：MLP 探針在 LLaDA 與 Dream 的「所有層」上都能達到 R² > 0.5 的解釋度，僅在最早與最晚幾層略有下降。值得注意的是，無論是被遮罩（masked）還是未被遮罩的 token，都同樣攜帶著可被解碼出來的 τ 資訊，顯示這個時間訊號並非只存在於特定 token 類型中，而是分散地嵌入在整個 residual stream 裡。

• 操控效果：當研究者將隱藏狀態沿子空間往「更晚期」的 τ 方向操控時，模型的生成信心（confidence）明顯上升、entropy 明顯下降；且 KL 散度會隨著操控幅度的增加而成比例放大。這種效應在最後幾層最為顯著（LLaDA 的第 29 層、Dream 的第 25 層）。

• 對照實驗：研究者也做了控制組——使用與 τ-steering 範數相符、但方向隨機的擾動向量，結果這類隨機擾動只產生了大約一半的 KL 散度，且趨勢雜亂無章、不具一致性，證明前述操控效果確實是 τ 這個特定方向所導致，而非單純的向量幅度擾動。

• 幾何結構：PCA 分析顯示，單一主成分就能解釋超過 90% 與 τ 相關的變異量，2D/3D 投影呈現出類似拋物線（parabola-like）的流形（manifold）結構。LLaDA 在跨層的 τ 表徵方向上高度一致，Dream 則相對異質化。進一步的層內分析也發現，MLP 子層編碼 τ 的方向與 attention、residual 分量近乎正交，暗示這是一個相對獨立的計算通道。

• 下游任務表現：在對模型進行 τ-steering 之後，研究者在 GSM8K、HellaSwag、MMLU 等 benchmark 上測試了任務表現，發現多數目標 τ 值下模型仍能維持合理的表現水準；但 Dream 對極端 τ 值較為敏感，例如將 τ 推到 100 這種極端值時，會出現 EOS token（結束符）異常提前發射等問題。

意義

這篇論文的意義在於，它揭示了一個原本被認為「不存在」的訊號——DLM 明明沒有被顯式告知時間步，卻仍在訓練過程中自發學會了追蹤自己的去噪進度，並將其編碼為一個結構清晰、幾何上可解釋的低維子空間。這說明擴散語言模型並非只是被動地執行去噪運算，而是內部形成了某種「自我狀態感知」機制，能區分「我現在還處於雜訊很多的早期階段」還是「已經接近乾淨輸出的晚期階段」，並據此調整生成信心與不確定性。

從實務角度看，這項發現至少有三層意義：第一，它提供了一種新的可解釋性（interpretability）工具——透過簡單的探針，就能監控 DLM 內部對去噪進度的「自我認知」是否準確，這對除錯與模型分析很有幫助。第二，透過 steering 技術主動調控這個潛在時鐘，未來或許能在不重新訓練模型的情況下，直接調整生成過程中的信心與多樣性權衡（confidence-entropy trade-off），例如在需要更確定性輸出時，人為地把模型「推向」更晚期的 τ 狀態。第三，這種跨層一致、近乎正交於其他計算分量的表徵方式，也為理解 transformer 架構如何自發組織抽象概念（不僅限於擴散模型的時間步，也可能推廣到其他隱含狀態變數）提供了具體案例。整體而言，這項研究補上了 DLM 可解釋性版圖中重要的一塊拼圖，也為後續針對擴散語言模型的控制與優化方法開啟了新的研究方向。