K1 論文詳解

背景

大型語言模型(LLM)這幾年的進展很快,新論文、新技巧幾乎每週都有。想入門的人常遇到一個問題:資料太零散。部落格文章往往預設讀者已經懂很多背景,原始論文則只講單一技術。能把基本概念整理成一條完整脈絡的教材並不多。

《Foundations of Large Language Models》就是針對這個缺口寫的。作者是東北大學(Northeastern University,中國瀋陽)NLP Lab 與小牛翻譯(NiuTrans Research)的 Tong Xiao 與 Jingbo Zhu。這篇 arXiv 論文本身是一本書,不是一般的研究論文。它在 2025 年 1 月 16 日首次提交,分類為 cs.CL、cs.AI 與 cs.LG。根據 arXiv 頁面,最近一次修訂是 v4,時間是 2026 年 10 月 8 日,修訂說明只有「Minor corrections」。四個版本的檔案大小介於 361 KB 到 942 KB 之間,可見內容在這段期間明顯增加,不只是修錯字。

這本書的定位很明確。標題已經說明,它重視的是基礎概念,不追求涵蓋所有最前沿的技術。目標讀者是大學生、NLP 與相關領域的從業人員,也歡迎任何想了解 LLM 的人當作參考。作者說明內容取自他們在 GitHub 上維護的一套更完整的 NLP 教材,並以 Creative Commons Attribution-NonCommercial 4.0 授權釋出。

方法

這本書的「方法」是它怎麼編排內容。依 arXiv 摘要,全書分成六章,對應 LLM 從訓練到使用的整個流程:

1. Pre-training(預訓練):從 self-supervised learning 的基本概念談起,說明 decoder-only、encoder-only、encoder-decoder 三種主要架構的差異。BERT 在這章被當成詳細的案例研究。
2. Generative Models(生成式模型):講 LLM 怎麼建構、如何 scaling、有哪些訓練技巧,也包含長文本序列的處理方法。
3. Prompting(提示):涵蓋 prompt engineering、in-context learning、chain-of-thought,以及自動化的 prompt 最佳化。
4. Alignment(對齊):介紹 instruction fine-tuning,以及利用人類回饋(如 RLHF 這一類方法)讓模型行為符合人類預期的做法。
5. Inference(推論):討論 decoding 演算法、加速技術,以及推論階段的最佳化策略。
6. Reasoning(推理):這是 arXiv 最新摘要列出的第六章。

這個順序有它的邏輯:先有模型(預訓練、生成式模型),再學怎麼使用(prompting),然後讓它更聽話(alignment),接著讓它跑得有效率(inference),最後談如何讓它做複雜推理(reasoning)。每一章被設計成相對獨立的單元,讀者不必從頭讀到尾。作者預期讀者具備一些神經網路與 Transformer 的基礎,但不需要很深的先備知識。

有一點要提醒:我查到的兩個頁面對章節數的描述不一致。Hugging Face 頁面只列出五章,沒有 Reasoning;arXiv 摘要則是六章。合理的推測是 Hugging Face 的描述對應較早的版本(頁面標示的日期是 2025 年 6 月 17 日),而 arXiv 的 v4 已經補上推理這一章。不過這只是我根據兩個頁面做的推斷,沒有逐版比對全文。

實驗結果

這是一本教科書,沒有提出新模型,也沒有在 benchmark 上跑實驗,所以沒有準確率或分數提升這類數字。我也不打算捏造任何效能數據。能客觀描述的,只有這份材料本身的規模與演進:

• 章節規模:最新版為六章,涵蓋 LLM 技術流程的主要環節。較早的 Hugging Face 頁面描述為五章,代表內容在後續版本增加了。
• 版本數:arXiv 上共有四個版本(v1 到 v4),從 2025 年 1 月到 2026 年 10 月持續更新。
• 檔案大小:各版本介於 361 KB 到 942 KB,最大版本約為最小版本的 2.6 倍。以此推測內容明顯擴充,但檔案大小也受圖表與排版影響,不能直接等同於頁數或字數。
• 頁數:我讀到的頁面沒有提供頁數,所以無法給出確切數字。

至於這本書的實際價值,還得看讀者的使用經驗,而不是靠數字。我讀到的頁面也沒有提供社群的回應或評價資料。

意義

對技術讀者來說,這本書有三個實際用途。

第一,它可以當作「地圖」。LLM 領域的名詞很多,例如 pre-training、SFT、RLHF、CoT、speculative decoding。這本書把它們放進同一個架構裡,方便你知道每個技術在整個流程中的位置,再去讀個別論文會順很多。

第二,內容會持續更新。LLM 技術變化很快,一本只出一次的書很快就過時。這本書在一年多裡更新到第四版,並且新增了 reasoning 這個近年很熱門的主題,表示作者有在跟進。不過 v4 的修訂說明只寫「Minor corrections」,實際新增了哪些內容,值得讀者自己對照版本差異。

第三,授權寬鬆。CC BY-NC 4.0 允許非商業用途的分享與改作,適合老師拿來當課程教材,或團隊用來做內部教育訓練。

它也有侷限。作者自己說明這本書重視基礎,不涵蓋所有最新技術,因此想追最新的 agent、多模態或新訓練配方的人,仍然需要另外讀最新論文。另外,書中對各方法的評價,取決於作者的選材與觀點,讀者最好搭配原始論文交叉驗證。

整體來說,這本書適合想系統性補齊 LLM 基礎的人,尤其是已經會用 API 或 prompt,但對背後訓練與推論機制還不太清楚的工程師與學生。

背景

近年的 3D world model(例如 HY-World 2.0、Marble、Lyra 2.0)已經能生成照片級真實、可以自由探索的 3D 場景,通常以 3D Gaussian Splatting(3DGS)表示。但這些場景是靜止的:鏡頭可以任意移動,畫面裡的雲、水、火、樹葉和人物卻都停在同一瞬間。

2D 領域早有 cinemagraph(動態照片):畫面大部分靜止,只有局部不斷循環播放。把這個概念延伸到 3D 比較難,既有方法(3D Cinemagraphy、3D-MOM、LoopGaussian)主要有兩個限制:

1. 依賴 Eulerian 流場:這類方法假設運動可以用場景中的速度場描述,因此只適合水流、煙霧、雲這類流體狀運動。物體位移、形變或光照變化都很難表達。
2. 需要手動提供 motion mask:使用者得先標出哪裡會動,這很難規模化。

OuroWorld(名字取自銜尾蛇 Ouroboros,象徵首尾相接的循環)想解決的是:給任意一個靜態 3DGS 場景,不用 mask,自動產生從任何視角看都能無縫循環、運動多樣的 3D cinemagraph。

方法

整體流程分三個階段。

一、生成循環的參考影片。 先渲染一張參考視角的圖,交給 vision-language model(論文使用 GPT-5.5)分析場景,推斷哪些元素合理會動、怎麼動。再由影片生成模型(Seedance 2.0)產生約 10 秒的參考影片,並把參考圖同時設為首幀與尾幀,讓影片大致首尾相接。

二、把單視角影片提升為多視角影片。 用 3D foundation model(VGGT-Ω)把參考影片 lift 成動態點雲,並借助靜態多視角渲染改善深度。接著從 20 個視角(水平 ±20°)渲染這個點雲,得到帶有空洞的影片,再用影片 inpainting 模型 TrajectoryCrafter 補全,成為多視角影片。這些影片仍有跨視角不一致,屬於不完美的監督訊號。

三、Inconsistency-Robust Periodic 4DGS。 這是論文的核心,有兩個設計:

• Periodic deformation field(傅立葉級數形變場):每個 Gaussian 隨時間的特徵寫成常數項加上週期為 T 的傅立葉項之和。週期性由參數化本身保證,不必靠 loss 去逼近,所以循環是「by construction」的。又因為它直接形變 Gaussian,可以表達一般形變、物體運動與光照變化,不限於流體。
• Grounded Drift Field:多視角影片彼此矛盾時,如果直接擬合,結果會變模糊或抖動。論文另外學一個隨視角與時間變化的偏移量 Δ 來吸收不一致,並規定在參考視角上 drift 為零(grounding)。這迫使週期形變場必須重現參考視角的動態,視角間的殘差才由 drift 吸收。推論時把 drift 丟掉,只保留乾淨的週期形變。

訓練上,參考影片與 t=0 的渲染用 ℓ₁ loss 監督;生成出來的多視角畫面先經過 diffusion-based refinement,再以 LPIPS loss 監督渲染結果。

另外,3D cinemagraph 沒有 ground truth 可比,論文因此提出不需要 ground truth 的評估框架,涵蓋四個面向:

• Vividness:光流超過影像尺寸 0.3% 的區域、亮度變化超過 20% 的區域,以及以 SSIM 衡量的外觀變化。
• Naturalness:與 MiniMax H3 生成影片之間的 KVD 距離。
• Loop seam coherence:Motion-Aware Loop Fidelity(獎勵跨週期的相位對齊,同時懲罰靜止影片)與 Seam SSIM。
• Scene quality:VBench 的 aesthetic quality 與 overall consistency。

實驗結果

測試資料共 39 個場景:9 個來自 Mip-NeRF 360 的重建場景,以及 30 個由 HY-World 2.0、Marble、Lyra 2.0 生成的場景。比較對象是 Gaussians-to-Life、3D Cinemagraphy、3D-MOM 與 LoopGaussian,這四者都需要 motion mask,OuroWorld 則不需要。

固定相機下的主要數字:

• Vividness Degree:OuroWorld 為 0.0423,最佳;baseline 介於 0.0024 到 0.0374。
• KVD(越低越自然):OuroWorld 為 108.23,baseline 為 127 到 155。
• Motion-Aware Loop Fidelity:OuroWorld 為 0.0809,所有 baseline 都不超過 0.0317,約為最佳 baseline 的 2.5 倍以上。
• Seam SSIM:OuroWorld 為 0.9965,與幾乎靜止的方法相當。這個指標容易被靜止畫面灌高,因此需要和上面的 Loop Fidelity 一起看。

使用者研究:30 位受試者評估 156 組影片對、四個評比面向,OuroWorld 在所有 baseline 與面向上的勝率為 70.8% 到 99.0%,vividness 的差距最大。

Ablation:

• 拿掉 drift field,sharpness 下降(靜態相機下 VoL 約 -1.2%),跨視角一致性也變差。
• 如果 drift 不做 grounding(參考視角上不歸零),運動會被視角專屬的 drift 吸收,週期形變場本身變得不生動,vividness 下降。
• 拿掉 diffusion-based optimization,orbit 相機下 subject consistency 從 0.9673 降到 0.9642,sharpness(VoL)下降約 22%。

意義

OuroWorld 的重點不在某個單一模型,而在於一個務實的做法:現成的 VLM 和影片生成模型能生出看起來合理但不完美的動態,論文不追求把監督資料變完美,而是在 4D 表示端設計出能容忍不一致的結構。傅立葉週期保證循環,grounded drift 吸收矛盾,兩者分工明確,這個想法也可以用到其他「用生成式模型的不完美輸出做 3D/4D 重建」的場景。

它也把 3D cinemagraph 從「流體特效」推進到一般形變、物體運動和光照變化,並且去掉 motion mask,讓整個流程可以自動化,直接接在 3D world model 後面,把靜態世界變成會呼吸的世界。這對遊戲場景、VR/AR 環境、數位展示等需要大量動態 3D 內容的應用有明顯吸引力。另外提出的 ground-truth-free 評估也值得注意:它同時要求動得夠多、動得自然、接縫無痕、畫面品質不掉,可以防止「靜止就拿高分」這類投機。

限制方面,論文自己指出動態受限於影片生成模型的先驗,模型生出不合理的運動就會一路傳到最終結果。此外,系統從單一參考視角出發,視角範圍拉大時,disocclusion 與不一致會更嚴重,這也是實驗只用 ±20° 視角的原因。整個流程串接了 VLM、影片生成、3D foundation model 與 inpainting 等多個大模型,計算成本與工程複雜度也不低。

背景

密集對應匹配(dense correspondence matching)要回答的問題是:圖 A 的每個像素,在圖 B 裡對應到哪裡。這項技術是光流(optical flow)、立體視覺和多視角重建的基礎。過去的方法普遍倚賴簡化的時空先驗,例如「相鄰畫面的運動是平滑的」、「場景幾何大致是剛性的」。Sintel、KITTI、ScanNet、ETH3D 這些經典 benchmark 也都滿足這些假設。

但近年的圖像編輯與參考圖引導生成(論文稱為 IEG,image editing and reference-guided generation)改變了遊戲規則。在這類任務中,模型可能把同一個角色放進完全不同的姿勢、場景或風格,視覺上「仍是同一個人或物件」,物理上卻不連續:沒有平滑運動,也不一定符合剛性幾何。傳統匹配器在這裡會失效,因為它們的內建假設已經不成立。

這個缺口很實際。評估 IEG 模型時,「主體身份有沒有被保留」目前大多靠人眼判斷,或靠 CLIP、DINO 這類全域相似度。全域特徵只能給一個分數,看不出細節在哪裡走樣。如果能有可靠的像素級對應,就能做空間上可解釋的身份保留評估。FreeMatching 想解決的就是這件事。

方法

FreeMatching 的核心想法是不再靠手工先驗,而是用基礎模型的表徵加上多樣化的監督資料,讓模型自己學出跨越物理不連續性的對應。

架構。 骨幹是生成式的 diffusion transformer,由 FLUX.2-klein-base-4B(約 4B 參數)初始化,搭配凍結的 VAE encoder,把影像壓成 H/8 × W/8 的 latent token。語意端則使用凍結的 DINOv3 ViT-L/16,取出 1024 維的 patch 特徵,經線性投影後加到 latent token 的 embedding 上。來源圖與目標圖的 token 串接後,透過 joint attention 一起處理。最後由一個任務專用的 decoder 在單次 forward pass 裡輸出兩樣東西:H×W×2 的對應圖,以及 [0,1] 之間的 covisibility mask,後者標示兩張圖中哪些區域是彼此可見、可對應的。

第一階段:異質監督預訓練。 訓練資料混合了三類來源:

• 經典資料集,合計約 60%:BlendedMVS 10%、ScanNet++ 15%、FlyingThings 10%、Spring 5%、PointOdyssey 5%、DynamicReplica 10%、FlyingChairs 5%。
• 真實影片,20%:取自 ViPE 資料集的 52 萬個 clip,用 AllTracker 產生密集的 pseudo ground truth。
• 合成場景,20%:用 Blender 渲染 Objaverse 物件,產生 36 萬組像素級精確的對應對。

損失函數對對應使用 robust Huber loss(權重 λ_huber=10),對 covisibility mask 的權重是 λ_mask=0.2。選用 Huber 是為了降低 pseudo label 噪音的影響。

第二階段:Teacher 引導的迭代精煉。 IEG 資料沒有密集對應標註,作者因此用 UNO 與 OmniGen2 生成的 IEG 影像對做自訓練。做法是以 EMA student 模型搭配凍結的 RoMa 作為 teacher,由 teacher 對 student 的預測做局部修正,不需要人工標註。

當作評估指標。 拿預測的對應 C 把來源圖 warp 成 Î_b = I_a(C),再在 covisible 區域內與目標圖比較相似度。比較時用了多種指標,而且刻意不合併成單一分數:像素層級的 MSE、感知層級的 LPIPS,以及語意層級的 DINOv3、DINOv2、SigLIP 2、OpenCLIP 特徵。這樣不只得到一個總分,還能畫出空間解析的相似度熱圖,看出身份在哪個區域丟失。

實驗結果

作者建了一個 IEG-Bench,約 100 組具挑戰性的 UNO 影像對,用來測試 IEG 場景下的對應品質。

• 在 Full-MSE 上,FreeMatching 相對 UFM 的優勢為 2.48(95% CI:[1.54, 3.43]),相對 RoMa 為 5.57(95% CI:[4.06, 7.13])。兩個信賴區間都不包含 0,代表差距在統計上顯著。
• 在 SigLIP 2、DINOv3 特徵、LPIPS 與 Ref-MSE 等指標上,FreeMatching 都取得最佳分數。
• 經過 10k 步的 IEG 精煉後,Ref-MSE、Full-MSE、DINOv2、OpenCLIP 四項指標一致提升。
• Ablation 以 DINOv3 相似度為準,逐階段累加元件,每一步都帶來增益:FLUX 初始化加 DINOv3 特徵提供基礎提升,影片與 Blender 監督把能力擴展到經典任務之外,teacher 引導精煉則帶來 IEG 上的最後一段改善。

在經典 benchmark 上,結果比較持平,論文的說法是「competitive」而非全面領先。dense matching(ETH3D、ScanNet-1500)方面,經過精煉後表現有競爭力,在 ScanNet 上勝過經過調整的 UFM 與 RoMa 變體。光流方面,調整後的 UFM 在 Sintel Clean 與 KITTI 較強,FreeMatching 在 Sintel Final 較強,而 UniMatch 在比較的方法中整體 EPE 最低。也就是說,一個通用模型沒有在每個經典榜單都拿第一,代價與收益相當清楚。

訓練成本相對溫和:第一階段約 2 天、16 張 A100-40GB(約 768 GPU-hours),第二階段約 5 小時(約 80 GPU-hours)。推理只需對每組影像對做一次 forward pass,論文在 H20 GPU、288×512 解析度下測量延遲與記憶體。

關於「與人類判斷相關」這一點,論文指出分數與人類判斷相關,細節放在附錄 E。我讀到的頁面沒有完整呈現具體的相關係數,所以這裡不引用數字,有興趣的讀者建議直接看原文。

意義

第一,這篇論文把「對應」的定義從幾何延伸到身份。傳統匹配問的是「同一個 3D 點在哪」,FreeMatching 問的是「同一個身份的這個部位在哪」。IEG 的轉換往往不是物理上連續的,這個定義更貼近實際需求。

第二,它展示了一條務實的路線:用生成模型的表徵加上語意基礎模型取代手工先驗,再靠異質資料互補。真實影片的 pseudo label 提供多樣性,Blender 合成資料提供精確性,teacher 引導的自訓練則繞過了 IEG 缺乏標註的問題。這種「不靠昂貴人工標註」的設計,讓方法容易複製到新領域。

第三,作為評估工具的價值可能比匹配本身更大。目前 IEG 模型的身份保留評估缺乏標準,全域特徵相似度太粗。可以空間定位的指標,能幫模型開發者找出是臉、紋理還是 logo 走樣。作者刻意不把多種指標合成單一分數,也避免了人為加權的爭議。

當然,限制也要看清楚。論文自己承認,在極端遮擋、拓撲變化和劇烈非剛性形變下,模型仍然吃力,表現也受限於底層基礎模型(FLUX 與 DINOv3)的能力。IEG-Bench 只有約 100 組影像對,類別多樣性有限,結論的外推需要保守。教師 RoMa 本身也有偏誤,自訓練是否會把這些偏誤固化,論文頁面沒有深入討論。另外,經典任務上沒有全面領先,若應用場景只是傳統光流或 SfM,專用方法仍然更合適。

整體而言,FreeMatching 是對密集對應這個老問題的一次重新定位:當生成模型成為主流,「對應」也該跟著從物理世界走進生成世界。程式碼已在 https://github.com/luping-liu/FreeMatching 公開。