哈佛大學 Sham Kakade 硬核萬字演講：LLM 預訓練，二次模型該站 C 位| ICML 2026

極簡二次模型，還原 LLM 預訓練的本質。

作者丨幸麗娟

編輯丨岑 峰

當大模型預訓練還在靠一堆“煉丹術”般的啟發式規則苦苦調參時，哈佛大學計算機科學系 Gordon McKay 教授 、Kempner 研究所聯合主任 Sham Kakade 拋出了一項反直覺的研究：一個簡單到離譜的二次模型，就能精準預測大語言模型在動態預訓練中的絕大部分優化效果。

他在 ICML 2026 的特邀演講《How Far Can Quadratics Take Us ? Lessons for LLM Pretraining》中，系統呈現并論證這個二次模型到底有多強大：

從推導任意時間學習的最優策略、精確算出臨界批量大小與動態最優學習率，到揭示動量的真實作用邊界……所有這些，都可以在這個樸素、清晰的二次框架下完成。

為什么一個如此簡單的模型能做到這一切？答案指向了同樣樸素的泰勒定理（Taylor's Theorem）。Sham Kakade 直接在真實大規模神經網絡的不同 checkpoint 上做泰勒展開，構建出對應的二次模型，然后在這個二次模型上繼續訓練，把損失軌跡與真實網絡逐點對比。

結果驚人：在 LLM 預訓練的關鍵窗口內，兩條曲線近乎完全重合。也就是說，泰勒展開中那些被忽略的高階項，在這個區間里幾乎沒有任何貢獻。這就意味著，真實網絡的預訓練動態，在關鍵路徑上本身就是近似二次的。

正因如此，這個看似簡單的二次模型，才能在任意時間學習、批量大小縮放、動量調優等一系列核心問題上，給出既精準又可驗證的預測。它不是去擬合訓練數據，而是直接還原了預訓練的本質。

以下是 Sham Kakade 在 ICML 2026 大會上發表的演講精編稿，AI科技評論基于原英文演講內容進行了不改原意的翻譯編輯：

（注：本文包含大量基于真實高維張量、泰勒展開與動力學方程的底層推演，字數超過 10,000 字。建議預留 20 分鐘沉浸式閱讀，或先行收藏）

01

預訓練范式為何不會消亡？

今天我要跟大家聊一聊基礎模型訓練。現在，大語言模型需要大量的資源來訓練，包括算力、資金和時間。坦率地說，我認為大模型預訓練（Pretraining）這一范式在短期內不會消亡。

首先，很大程度上是因為我們擁有的基座模型，對所有下游任務都極其重要。其次，持續學習（Continual Learning）極度困難，而且我確實認為，目前阻力最小的路徑就是，當出現新數據時，直接對模型進行重新訓練。不過，這個內部循環（Inner Loop）的形態可能會隨時間變化，有大量證據指向這一點。

“預訓練”是我們構建基礎模型的基本范式，我們的核心目標，便是在計算效率、數據利用率以及訓練速度上將其推向極致，這就是本次演講的主題：理解我們用于基礎模型訓練的一些優化原理。

我們可能對其中一些非常基礎的問題尤其感興趣：比如如何判定模型訓練的最優停止時機？如何確定所需的數據總規模？能否設計出一種無需事先設定停止時間、能夠持續訓練的方法？如何選取最優的批量大小（Batch Size）？就串行運行時間（Serial Runtime）而言，能將訓練速度推向多快？動量（Momentum）如何在大規模分布式訓練中發揮作用？

這一系列問題都非常基礎，而我將進一步論證，一個極其簡單的模型，如何能為我們提供一些相當深刻的洞見和思考。

我們首先著眼于一個特定的簡化模型，探索其能力極限，并依次探討任意時間學習（Anytime Learning）、批量大小縮放（Batch Size Scaling）、動量（Momentum）等問題；隨后，我們將轉向一些新的研究工作，討論這些做法為何有效，以及用泰勒定理（Taylor's Theorem）進行驗證。

這里的方法論是：與其試圖去構建一個復雜的模型，因為當我們分析它并將其與實踐對照時，真實的動力學遠比這個復雜模型要強得多，那不如我們反過來，嘗試在一個可以精確分析的極簡模型探索能力極限，然后看看：這個帶有強分析的簡單模型，是否能給我們帶來任何洞見？

02

極簡二次模型，蘊含的動態分析哲學

我們首先從一個特定的二次模型（Quadratic Model）開始聊。為什么？因為我們處理的平滑損失函數（Smooth Loss Functions）在局部都是二次的，而優化本質上就是在求解一系列局部二次問題。我們將嘗試精確求解一個全局二次模型，并看看這對訓練實踐有什么啟示。

我們的目標不是給出模型的上界，而是真正對正在發生的事情進行近乎精確的分析。這個模型就是線性回歸（Linear Regression）——它看起來樸素簡單，卻具有豐富的學習動態結構，能揭示很多對實踐有指導意義的信息。

模型設定：這是一個在線模型。每個時間步我們觀察一個樣本 x_t，服從均值為零、協方差矩陣為 H 的正態分布；目標 y_t 由 x_t 的線性函數加上獨立噪聲構成。我們的目標是最小化超額風險（Excess Risk）——R(w) 。

為此，我們采用平方損失（Square Loss），希望通過最小化 w 來降低損失，w 就是參數估計值與最優估計值在 H 范數（H-norm）下的差值。

在線 SGD 更新規則，計算當前樣本下平方損失關于參數 w 的梯度，然后以學習率（Learning Rate）ηt 為步長，沿著負梯度方向更新參數，這就是標準的隨機梯度下降（SGD）更新。

我們的目標不僅是運行算法，更是精確理解這個隨機過程的完整動力學（Exact Dynamics）。為此，我們需要同時追蹤兩個關鍵統計量：均值（Mean）和協方差矩陣（Covariance Matrix）。

為了理解這里的動態，我們需要掌握該過程的均值以及協方差矩陣的演化。

均值動態：我們對 SGD 更新方程兩邊同時減去w?，將更新改寫為關于誤差的遞推形式。代入目標 y_t = x_t^T w + 噪聲 后，更新規則呈現為：

w_{t+1} - w* = (I - η x_t x_t^T)(w_t - w*) - η ε_t x_t

其中前面第一項是乘性噪聲（Multiplicative Noise），因為誤差被乘以了一個隨機量 x_t；后面第二項是加性噪聲（Additive Noise）。

取期望后，加性噪聲消失，乘性噪聲簡化為 (I - ηH)，均值遞推為：

E[w_{t+1} - w*] = (I - ηH) E[w_t - w*]

這意味著均值動態與全批量梯度下降完全一致，只要學習率不太大，就會呈現收縮現象。

協方差動態：這里才是 SGD 與梯度下降真正不同的地方。為了完整理解這個過程，我們必須追蹤完整的協方差矩陣：

Σ_t = E[(w_t - w*)(w_t - w*)^T]

我們對誤差遞推方程取外積（即乘以自身的轉置），展開各項，然后取期望，得到協方差矩陣的遞推表達式。其中出現了關鍵項——四階矩（Fourth Moment）： E[x_t x_t^T Σ_t x_t x_t^T]（詳見上圖標紅公式）。

在高斯假設下，四階矩可用伊辛-維克定理（Isserlis' Theorem / Wick's Theorem） 化簡，得到 H Σ_t H 和 tr(HΣ_t) · H 兩項，其中 tr(HΣ_t) 恰恰就是超額風險。代入協方差更新規則后，得到一個規模龐大但形式簡潔的遞推式。

有效噪聲結構：合并同類項后，有效噪聲由兩部分組成：

• 噪聲底限（Noise Floor）：η2σ2H，源于標簽噪聲，無法消除；

• 自生噪聲（Self-generated Noise）：η2E[R(w_t)]H，基于當前誤差，隨收斂而消失。

這意味著：噪聲沿著曲率方向分布，而非各向同性。在訓練早期誤差大時，自生噪聲也強；隨著模型收斂，它逐漸減弱。

總結來說，這個看似簡單的動態系統包含一個均值遞推（與梯度下降一致）和一個協方差遞推（龐大但形式簡潔）。其形式雖簡潔，耦合關系卻使得分析變得復雜。過去十年中，大量工作試圖精確理解這一過程，而我們正是站在這個基礎上向前推進。

在某種意義上，我們先將這個二次模型視為一個"稻草人模型"（Straw Man）——看看它的預測是否經得起實踐的檢驗，或者我們能否推翻它。接下來，我們將通過一系列簡短研究（Vignettes） 來探討它在若干實際問題上的表現。

03

二次模型對哪些預訓練優化問題有指導作用？

▎任意時間學習問題：算出“不設停止時間”的最優跑法

第一個問題，是關于任意時間學習（Anytime Learning）的一個非常基礎的問題。這是與一群非常出色的合作者共同完成的工作，其中 Alex Meterez 也在現場，大家可以向他提問。

現在我們來看大語言模型預訓練（LLM Pretraining）場景下的任意時間學習問題。圖中展示了多條不同的學習曲線，橫軸為已處理的 Token 數量，縱軸為驗證損失（Validation Loss）。每條曲線對應不同的 Chinchilla 倍數，例如 32 倍（32×）對應的模型規模大約是 1.5 億參數，在圖中以深黑色曲線表示，其損失沿訓練過程的變化一目了然。我們可以看到每條曲線的形態都不同。

這里的關鍵在于計算效率（Compute Efficiency）——即訓練模型所消耗的浮點運算量（FLOPs）。如果我們在訓練中途取一個中間檢查點（Intermediate Checkpoint），那么對于該時刻對應的 Token 數而言，這個模型的性能是非常差的。舉個例子：假設我們在訓練一個 2 倍 Chinchilla 規模的模型，如果在 1 倍 Chinchilla 的位置提前停止，并評估其損失，會發現它遠不如從一開始就為 1 倍 Chinchilla 直接訓練的模型。

造成這一現象的原因在于，我們采用了余弦衰減（Cosine Decay）作為學習率調度（Learning Rate Schedule），而該調度是基于預設的停止時間來設定的。這意味著，雖然模型在預設的停止點能達到一個較低的損失值，但在中途的任意時間點，其損失表現都比較差。更糟糕的是，如果我們后續獲得了更多數據，想要繼續訓練，我們就卡住了，因為學習率已經衰減到了零。那我們該如何解決這個問題？

因此，關于隨時學習（Anytime Learning），一個很自然的問題便是：如果我們能在訓練過程中獲得更多數據，是否可以在繼續訓練的同時不損失計算效率？

同樣重要的是，當我們花費數月時間訓練一個模型時，我們希望能隨時取出一個中間檢查點（Intermediate Checkpoint），并準確評估其在當前時刻的真實表現。然而在現有框架下，如果我們中途取出這樣一個檢查點，其損失往往很差，并不能反映我們在該時間點實際能達到的最佳性能。那么，我們該如何為一個未知的“停止時間”（Stopping Time）來設計訓練策略呢？

我們的目標是什么？我們設定了一個相當嚴格的條件：能否在不預先知道停止時間的情況下，始終匹配一條特定的包絡線（Envelope）？所謂余弦包絡線，就是在余弦衰減調度下，對于任意給定的停止時間，我們所能達到的最佳損失軌跡。圖中我已將這些最佳點連成一條包絡線。我們希望找到一個單一的訓練過程，能夠在每一個時間點上都與這條包絡線相匹配。

這是一個非常強的要求，但也具有明確的現實意義：如果我們獲得了更多數據，就可以繼續訓練而無需重新開始；同時，在訓練過程中，我們可以隨時評估模型，并確信在那一刻它的表現是接近最優的。然而正如你所見，當前的實際軌跡與包絡線之間存在巨大的差距。所以，問題已經很清晰了：我們要去匹配那條包絡線。

顯然，現實中的模型非常復雜——它是一個 Transformer，以某種復雜的方式被訓練。但我們不妨回到我們的“玩具模型”，也就是二次模型，問一問：在這個模型里，我們對這個問題有什么認識？這個問題在那里是否更容易解決？

第一個結論是：即使在簡單的二次模型中，任意時間學習本質上也是困難的，即使在二維中也很難。 我們有一個非常簡單的下界（Lower Bound），它針對特定的學習率設定，但我認為它能給出正確的直覺——對于任何多項式衰減的學習率調度，基本上都不存在一個真正的隨時學習方案。也就是說，如果你希望模型在任意時間點都達到最優，在很多時間點上，你總會與最優結果差出一個條件數（Condition Number）的因子。

直觀上可以這樣理解：在一維情形下，正確的衰減方式是 1/√t；但在二維情形下，存在兩個不同的時間尺度，你希望學習率同時按這兩個尺度衰減，但這是不可能的。在高維中，這種復雜性只會進一步加劇。

從大量已有工作中我們知道，在有限維度中，任意時間學習的最優速率為 dσ2/n，而達到這一速率的最簡單方法可能是使用恒定學習率加平均，這是一個能在任意時間點都達到最優速率的方案。如果我們不使用平均，我們也知道，在預先知道停止時間的情況下，可以得到接近最優的結果。但關鍵在于，無論有限維還是無限維，我們在沒有平均的情況下要達到最優，都嚴重依賴于知道停止時間。

這就是表格中第一列所展示的內容：當知道停止時間時，方案并不是任意時間方案；沒有平均時我們可以接近最優；但如果我們加入平均，恒定學習率加平均在無限維中同樣適用——只是情況更加微妙。我們可以進一步擴展這一視角，表明基于過程的特定衰減條件，1/√t 加上平均同樣可以實現隨時最優。所以這個問題相當微妙。

我不打算深入技術細節，但核心結論是：即使在這樣一個簡單的“玩具模型”中，我們也能得到相當豐富的答案。 我們看到，在沒有平均的情況下很難做到任意時間最優；在知道停止時間的情況下我們可以接近最優；同時，我們也找到了一個候選的任意時間最優過程。

當然，這只是一個非常簡單的二次模型，那么平均（Averaging）的方法，為什么能在如此復雜的神經網絡中起作用呢？我們能否用 1/t 這樣的衰減策略來替代余弦衰減？能否真正匹配那條包絡線？我們認真對待了這些問題，并進行了嘗試。

我認為一個重要的背景是：人們在實踐中確實經常使用平均策略，但他們通常是在已知停止時間的情況下進行的。而我們進一步深究的問題是：在不預先知道停止時間的情況下，平均策略能否真正起作用，并匹配包絡線？結果，它基本做到了。

圖中紅色星號標出的是余弦衰減曲線，該模型在 32 倍 Chinchilla 規模下訓練，我們繪制了其對應的包絡線。而恒定學習率加平均，以及 1/√t 加平均，均為單次運行（Single Run）的結果。這里我們評估的不是當前迭代點（Iterate），而是某個窗口內的移動平均（Running Average）。

具體而言，我們使用的是指數移動平均（EMA），本質上是對一段窗口內的迭代點進行平均。這一操作易于實現，且不帶來顯著的計算開銷。更重要的是，它確實直接貼合在包絡線上，而且這一貼合覆蓋了長達 30 倍 Chinchilla 的范圍。在論文中，我們將結果進一步放大，并展示了相應的后悔值（Regret）。

我認為這相當令人印象深刻：在 30 倍的范圍內，在這樣一個非凸問題上，它卻實實在在地直接落在包絡線上。值得注意的細節是，我們用于平均的窗口大約占整個訓練運行的 5%。隨著訓練持續，窗口也隨之拉長——如果窗口太短，效果會變差；如果太長，曲線則會向上彎曲。我們驚訝地發現，即便是這樣一個較大的窗口，依然能產生穩健的平均效果。

我了解到，一些基礎模型公司已經在使用某種形式的平均策略，但也有些公司并未采用。我認為，通過嚴格調優所有相關參數，我們實現的這個基準是相當扎實的，并且成功地匹配了包絡線。這再次與簡單的二次模型給出的預測一致。

論文中還提到了另一種相關方案，叫做“預熱穩定衰減”（Warmup Stable Decay），它同樣能命中包絡線，但它并不算是真正的任意時間學習方案，因為它需要使用相當多的額外樣本來重新訓練。而我們的方案則不同——只是一個單一過程、一次運行，就貼合在包絡線上。

因此，實踐中的啟示是：通過某種形式的尾部平均（Tail Averaging），我們確實能夠在每一個Horizon上（至少在相當寬的范圍上）匹配這條包絡線。我認為這是一個相當可靠的實踐結論，而且它與理論預測高度一致。它真正地告訴我們：我們不必在訓練開始前就強行設定一個停止時間，因此，當后續獲得更多數據時，我們可以無縫地繼續訓練。另一個有趣的發現是，這種平均策略似乎在約占 Token 總數 5% 的窗口上，也依舊有效。

▎批量大小與串行時間：精算“并行提速”的極限

下一個問題是：我們的訓練任務什么時候停止？我們也有與許多才華橫溢的合作者完成的一系列工作，我想特別強了一些更為年輕的成員。

這個問題本質上是：當我們按模型規模進行擴展時，批量大小（Batch Size）應該如何隨之變化。在實踐中，我們通常依賴一些可預測的縮放規律（Scaling Laws），例如損失如何隨已處理的 Token數量或所投入的計算量而變化。那么，一個很自然的問題是：串行運行時間（Serial Runtime）——即訓練任務從開始到完成所需的實際時間——是如何隨模型規模和Token數量而擴展的？因為我們顯然不希望訓練任務持續數個月之久，我們希望能夠盡快完成。因此，理解串行運行時間的縮放規律至關重要。

而這個問題實際上可以歸結為另一個更基本的問題：臨界批量大小（Critical Batch Size） 是如何隨規模變化的。臨界批量大小是并行化中最自然的一個概念——它決定了我們能夠在多大程度上通過增加并行度來縮短串行運行時間。接下來，我將帶領大家通過這張圖來深入理解這個問題。

那么，問題來了：在不損失計算效率的前提下，我們究竟能將串行運行時間縮短到多短？這里的“計算效率”指的是，我們選定一個目標損失，達到該目標損失所需的總浮點運算量（Total FLOPs），而我們希望在任務完成得更快的同時，不增加總浮點運算量。換句話說，在給定目標精度下，我們能多快完成任務？這本質上就是批量大小的縮放問題。

先看線性縮放區域（Linear Scaling Regime）。圖中橫軸表示批量大小，縱軸表示在該批量大小下達到特定目標損失所需的更新步數（Steps）。我們期望的理想情況是：批量大小翻倍時，步數減半。如果這一關系成立，那么總浮點運算量保持不變，而串行運行時間減半——因為我們可以利用并行化來加速。在線性縮放區域中，隨著我們持續翻倍批量大小并相應減少步數，這一線性關系能在一定范圍內保持成立。

然而，最終這條藍色曲線會逐漸偏離完美的線性縮放區域。我們將臨界批量大小（Critical Batch Size） 定義為曲線開始顯著偏離（例如計算效率變差 20% 左右）時的批量大小。這是一個嚴格的標準，因為我們始終希望保持總浮點運算量不變。臨界批量大小，本質上就是完美縮放關系失效的臨界點。

那么，這里的關鍵問題是：臨界批量大小如何隨 Token 數量的增加而變化？又如何隨模型規模的增大而變化？ 隨著我們不斷增大模型規模、使用越來越多的訓練數據，這些因素究竟會如何影響我們的串行運行時間？

我們如何回答這些問題？讓我們回到我們的“玩具模型”——二次模型，看看它會給出什么樣的預測。

我們嘗試精確分析該模型的動態過程，并理解其含義。當我們將批量大小納入模型時，修改精確動態并不復雜——忽略不等式（實際上它是只差一個常數），均值動態并不隨批量大小變化，但有效方差（Effective Variance）會按因子 B 縮小。現在我們需要理解的是，當規模擴大時，如何刻畫這些動態。需要特別強調的是，要真正精確理解這一過程，即使最終我們只關心損失值，我們也必須追蹤誤差在完整協方差矩陣中的傳遞——如果不追蹤整個系統，就無法精確地得到結果。這就是我們的目標。

理論會怎么說？這個問題既微妙又有趣。我們先固定模型規模，問：臨界批量大小如何隨 Token 數的變化而縮放？

我們的預測是：在有限維設定下，隨著 Token 數的增加，臨界批量大小最終將趨于一個與 Token 數無關的常數。直覺是這樣的：如果你在訓練一開始就使用非常大的批量，實際上并沒有什么好處——因為當參數離最優解還很遠時，我們為什么要把梯度估計得那么精確呢？在遠離最優解的區域，使用過大的批量只是在浪費樣本。當然，如果完全不考慮計算效率，無限大的批量總是好的；但當我們關心計算效率時，如果隨著樣本數增加而不斷增大批量大小，本質上就是在訓練初期浪費了大量樣本——因為那時候根本不需要那么精確的梯度。

然而，微妙之處在于，在無限維設定下，上述結論不再成立。我認為我們實際所處的實踐區間更接近無限維設定，因為我們的模型規模通常與 Token 數同量級，甚至更大——這正是 Chinchilla 縮放規律所表明的。因此，在無限維設定下，根據譜（Spectrum）的具體條件，臨界批量大小實際上會隨 Token 數按某個小于 1 的冪次縮放。

直覺上可以從偏差-方差權衡（Bias-Variance Tradeoff） 來理解：對于更長的訓練運行，實際上希望使用更大的批量大小。

在無限維情形下，當我們采用平均策略并設定學習率時，特定的偏差-方差權衡會使得：運行越長，你越傾向于使用更小的學習率。這主要歸因于過程中復雜的乘性噪聲結構。進一步說，由于這種偏差-方差權衡，在非常長的運行中，你實際上會把初始學習率設為停止時間的函數；類似地，你也希望把批量大小設為停止時間的函數。因此，這是一個具體的、可驗證的預測：我們預期，至少在高維情形下，臨界批量大小會隨Token數的增加而縮放。

那么，我們對臨界批量大小如何隨模型規模縮放的預測是什么？這是模型規模縮放的問題。在這里，我們不完全依賴二次理論，而是借助一組關于平均場漸近（Mean Field Asymptotics） 的結果。這一系列工作表明，在特定的縮放條件下，當取某個平均場極限時，訓練動態會收斂到一個定義良好的漸近極限——而該極限不是模型規模 d 的函數，因為隨著我們縮放模型規模，極限行為本身并不依賴它。因此，平均場推理給出的結論是：臨界批量大小不應該依賴于模型規模d。

當然，實際上我并不認為我們真的處于那種所有訓練動態都收斂的平均場極限——但那也并非必要條件。看起來，某些標量量（而非完整的高維學習動態）可能在整體極限還未達到之前就已經進入了平臺期，例如學習率遷移（Learning Rate Transfer） 現象似乎確實成立。從理論角度看，臨界批量大小很可能在訓練動態的整體極限到達之前，就已經穩定在某一個極限值附近，這似乎是合理的。

因此，從理論預測來看，我們的結論是：第一，臨界批量大小與Token數之間存在強縮放關系——運行越長，你應當使用越大的批量；第二，臨界批量大小與模型規模之間的縮放關系較弱。

另一個問題是：這些理論預測能否得到驗證？顯然，我們使用的是簡化模型，但它給出了很強的量化預測。我們對此進行了實驗。需要強調的是，這些實驗都是經過精心調優的運行——因為每次運行我們都在為給定的模型規模和Token預算尋找最優的批量大小。

實踐中常見的做法是，在 Chinchilla 縮放（即模型規模增長時，Token 數按約 20 倍模型規模同步增長）下，觀察臨界批量大小隨模型規模的縮放。但在這種設置下，兩個因素被混淆了：當模型規模增長時，Token數也在同時增長。因此，在 Chinchilla 縮放下，我們確實會看到臨界批量大小隨模型規模強烈增長，但這并不能區分出哪個因素才是真正的驅動因素。

因此，我們需要解耦這兩個因素。首先，當我們固定模型規模，單獨考察臨界批量大小隨 Token 數n的變化時，我們得到的指數與理論預測高度一致——即存在強依賴關系：固定模型規模，訓練運行越長，臨界批量大小隨 Token 數的增長越顯著。

接下來，我們做另一個方向的縮放：固定 Token 數，調大模型規模。我們再次進行細致的掃描實驗，試圖理解任務是否能更快完成——即考察臨界批量大小隨模型規模的縮放。結果再次與理論一致：臨界批量大小對模型規模的依賴非常弱。因此，通過真正解耦這兩個因素，實驗結果與我們的預測吻合良好。

現在我們可以進入一個更細微的問題。基于對縮放規律的理解，我們的第一步是將長串行過程通過臨界批量大小轉化為更多的并行性和更低的串行運行時間。但如果我們正在采用學習率衰減調度，那么我們能否設計一種“批量提升（Batch Ramp）”策略——即不衰減學習率，而是通過某種方式在訓練過程中逐步增大批量大小？我們能否用批量增大來替代學習率衰減，從而匹配原始衰減過程（例如余弦衰減）？再次，我們可以借助二次模型來理解其中的機制。

我們的目標是以實際相關的方式實現這一策略，因此我們希望為 Adam 設計批量提升方案。對于 SGD，已有一些相關的工作，我們可以給出一個清晰的結論：如果我們連續執行兩步更新，學習率分別為 η 和 β，在特定的方差異分母占優的區域，我們可以通過將學習率加倍并將批量大小加倍，使得兩步更新等價于一步更新。

而對于我們更關心的 Adam 設置，我們可以在歸一化梯度（Normalized Gradient）設定下進行分析。結果表明，在特定的方差主導區域，該等價關系同樣成立——我們可以在實踐中驗證這一點。其含義是：在該區域，我們應當將學習率乘以 √2，并將批量大小加倍。換句話說，在實踐中，如果我們原本打算將 Adam 的學習率減半，那么我們應該改為將學習率除以 √2，同時將批量大小加倍。

通過這樣做，我們可以在訓練過程中更激進地增大批量大小，從而有效減少串行運行時間。我們的主張相當強——這些隨機過程應當真正匹配，因此學習曲線應當是對齊的。我們在多種模型規模和不同批量大小的設置下都進行了驗證。

我們的關鍵主張是：這些隨機過程確實對齊了。我們按已見 token 數量來度量時間——我們關心的是加速墻鐘時間（Wall-clock Time），而不同過程之間的匹配方式，正是按已見 token 數量來計時的。

Seesaw算法的核心操作是：每當原始調度將學習率乘以 √2 時，我們改為將學習率乘以 2，并將批量大小加倍。我們按 token 數重新調整時間軸，理論上這一過程應與原始余弦調度曲線對齊。如左圖所示，在大尺度上兩者幾乎完全重合，與理論預測一致；即便放大觀察，雖然能看到細微差距，但那是在極度放大的尺度下，兩條曲線實際上幾乎重疊在一起。

更有意思的是，如果看右圖（以步數為橫軸），我們通過這種批量提升（Batch Ramp），也就是我們提出的Seesaw Procedure，大約能提前 35% 完成訓練。而這個 35% 實際上是理論上的最優值。因此，我們可以在不損失計算效率的前提下，通過增大批量大小，實現 35% 的串行運行時間節省——總浮點運算量保持不變，因為兩條曲線在達到相同驗證損失時，我們的方案加速了 35%。這與二次模型理論完全一致：當我們按已見 token 數計時時，兩條曲線直接對齊。

基于上述分析，可以得到三個結論：

• 實踐中我們為串行運行時間建立的縮放規律，應當真正解耦 token 數量和模型規模——這與理論一致；

• 臨界批量大小強烈依賴于 token 預算，而對模型規模的依賴非常弱；

• 對于 Adam，我們提出了批量提升過程，可以在余弦衰減下匹配訓練動態，并實現 35% 的串行運行時間提升，做到曲線對齊。

到目前為止，我們看到的是理論曲線與實際曲線直接對齊，而非松散的上下界關系——這些學習曲線是實實在在地吻合在一起的。

▎動量：必須同時調優動量與批量大小

最后一個討論，是關于動量（Momentum）。

動量在實踐中到底給我們帶來了什么？它是我們為數不多的能真正加速優化的工具之一，在各類場景下都廣泛有效。但在這種隨機設定下，它究竟帶來了什么好處？我們該如何隨批量大小調優它？它如何幫助我們提高計算效率？我們可以再次求助于二次模型，看看它給出什么答案，然后到實踐中去驗證。

我們想理解動量如何影響計算效率（達到給定精度所需的總浮點運算量）和串行運行時間，在確定性情況下，我們有非常漂亮的理論結果：重球算法（Heavy Ball Algorithm，Polyak） 和 內斯特羅夫加速算法（Nesterov's Acceleration） 能夠將串行運行時間提升 √κ 倍，其中 κ 是條件數（Condition Number），即最大與最小特征值之比。這是一個非常優美的結果，伴隨著許多優雅的證明。

然而，對于 SGD，當批量大小為 1 時，早期結果表明這種加速實際上不再成立。你可以證明，重球和內斯特羅夫在批量大小為 1 時，在計算效率上沒有任何提升。這有點令人失望，因為動量是我們為數不多的加速工具之一，而實踐中人們卻一直在使用它。為什么批量大小為 1 時如此微妙？

關鍵在于，這是一個不依賴于加性噪聲 σ2 的結果——實際上這里 σ2=0，它適用于一致線性系統（Consistent Linear System）。加速失效的根本原因，正是由于那種特殊的乘性噪聲結構所導致的耦合動態。這正是我們嚴重依賴“玩具模型”動態的地方，它給出了一個強烈的預測：動量至少在批量大小為 1 時，不能提升計算效率。

不過，有一些工作（包括我自己參與的）研究過一種雙時間尺度算法（Two-timescale Algorithm），可以在小批量下獲得提升，這里我就不展開了。

這就引出了一個關于縮放的問題：顯然我們不想在實際中運行批量大小為 1。我們知道，當從批量大小 1 逐漸增大到全批量（Full Batch）時，我們可以問：加速效應何時會重新出現？ 因為當批量大小趨于無窮時，它確實減少了所需的步數。但我們也關心隨之而來的計算效率代價。因此，問題是：隨著批量大小的增加，動量究竟會發生什么變化？ 我們在“玩具模型”和實踐中都問了這個問題。

我們得到了一個相當有趣的結論：

• 重球算法在任何批量大小下，計算效率都不優于 SGD——也就是說，它從不減少達到目標精度所需的總浮點運算量。但它確實能通過 κ 因子改善串行運行時間。這是正式的結論，詳見論文；其本質是，動量允許你將臨界批量大小（Critical Batch Size）增大κ倍，但總浮點運算量仍與 SGD 相同。

• 稍微令人失望的是，那些優雅的雙時間尺度算法在增大批量大小時似乎也沒有帶來太多額外好處。如果你愿意串行運行很長時間，它們確實能在浮點運算量上帶來一些顯著提升；但對于這些雙時間尺度算法，當你試圖讓任務更快完成時，最終又會回到沒有它們時的狀態——這有點令人失望。其中的細節較為微妙，具體可參考論文。

另一個問題是：理論雖然漂亮，但它能否經得起實踐的驗證？至少在合成實驗中，結果是成立的。如上圖所示，橫軸是批量大小，縱軸是達到目標損失所需的步數，其中綠色曲線對應 SGD。我們發現，當調優幾種不同的動量算法時，它們在給定的批量大小下所需的步數是相同的——至少在小批量區域如此。然而，動量算法將完美縮放（Perfect Scaling）的窗口推得更遠了。

這意味著什么？我們獲得了相同的浮點運算量（因為我們遵循完美縮放律：批量翻倍，步數減半），但我們將縮放窗口向外擴展了，從而改善了串行運行時間，而計算效率并未提升。我們目前只在合成實驗中驗證了這一結論。

Shallow Way 等人一篇很出色的早期實證論文表明，這一結論在神經網絡中同樣成立。他們確實運行了這些實驗，并展示了與上述一致的趨勢：SGD 和動量在計算效率上完全重合，但臨界批量大小被向外推移了。因此，這與理論在神經網絡、復雜非凸系統上的預測直接吻合：浮點運算量（FLOPs）沒有提升，但確實改善了臨界批量大小。

這里的關鍵結論是：當我們考慮動量并對其進行調優時，不應當在固定批量大小下調優動量，因為那樣看不到任何提升。我們需要同時調優動量和批量大小，模型才能獲得真正的改善。如果不這樣做，你可能會覺得動量沒什么用，但實際上，它對獲得串行運行時間的提升至關重要。

因此，這是一個明確的結論，與簡單的高斯二次模型完全一致。總之，將批量大小與動量一起調優，可以獲得更優的串行運行時間。

04

為什么二次模型如此強大？

在剩下的時間里，我將討論一項非常新的工作，希望幾天后能發布在 arXiv 上。合作者還是之前那批，但這次新增了 Alex Damian，他在邊緣穩定性（Edge Stability）方面做了很多優秀的工作。

現在很多人會說：“我們不想再考慮這些簡單的二次模型了，它們對復雜模型能有什么啟發？”

但我認為新一代研究者恰恰要認真對待泰勒定理（Taylor's Theorem），并真正深入挖掘。當 Alex 加入后，我們團隊的想法更傾向于：“讓我們直接展開泰勒定理，看看能否把常數都研究透，真正理解整個過程。”

我覺得這項工作相當深入，因為我們真正在追問一個核心問題：為什么二次模型在這里效果這么好？如前所述，一種理解是，優化本質上只是一系列局部回歸（Local Regressions）。

但如果我們試圖認真對待這個“局部回歸”的觀點，并將其擴展為全局模型呢？

我們的想法是：與其用 SGD 進行一系列局部線性化訓練，不如直接采用泰勒定理，在某個 Checkpoint 展開，然后訓練一個全局二次模型。

具體什么意思呢？如上圖所示，黑色曲線是一個模型（ 1.5 億參數）的訓練運行軌跡。我們在訓練過程中取不同的檢查點（Checkpoints），然后在每個 Checkpoint 處做泰勒展開，然后假設泰勒定理是精確成立的，并在該展開后的模型上進行訓練。

現在我們有了一個二次模型，我們在它上面訓練，然后問：在這個二次模型上訓練是否與原始過程匹配？有兩種方式可以做到這一點。

設 f_θ 是神經網絡，它將輸入映射到目標。我們對神經網絡做線性化：

f_θ(x) = f_θ?(x) + ?f_θ?(x)?(θ ? θ?)

有兩種方式將其代入損失函數：

方法一：GaussNewton - Prox-linear 方法。直接將線性化后的神經網絡代入損失函數。這樣得到的模型在形式上類似于邏輯回歸。

方法二：直接對損失函數做泰勒展開。不對網絡本身做線性化，而是直接對損失函數L(θ) 在 θ?處展開到二階，得到包含梯度（一階項）和 Hessian 矩陣（二階項）的二次模型。

我們在不同 Checkpoint 進行泰勒展開訓練。這相當于把泰勒模型這個“近似模型”當作真實模型，在這個近似模型上繼續做優化訓練——而不是像 SGD 那樣，每步都回到原始網絡去做一系列局部更新。我們想知道：如果我們在全局上求解這個近似二次模型，它的軌跡能否追蹤原始訓練過程？

結果相當驚人。我們比較兩個過程：

• 過程一：取 θ?，忽略線性化，像往常一樣用余弦衰減訓練——這就是黑色曲線；

• 過程二：在θ? 處，開始在線性化的模型上訓練（兩種方式之一）。

現在我們可以直接比較這兩條損失曲線，看它們是否對齊。結果發現，它們在 30%到50% 的訓練窗口內對齊得非常出色。具體來說，一旦超過大約 30% 的訓練進度（如放大圖所示），從每個 Checkpoint 開始的線性化模型訓練都能匹配黑色曲線；雖然最終性能會逐漸偏離實際過程，但在 30% 到 50% 左右，它們幾乎完全重合。

上圖左側所示：藍色曲線代表 Gaussian 方法，紅色曲線表示的是真實 Hessian 二次模型。在大約 50% 的位置，它們幾乎重疊。在約占整個訓練運行約20%的區間內，在非凸優化上訓練的過程，其損失軌跡與在該區間內的二次模型訓練幾乎一致。

這個結果給了我們極大的支持，說明泰勒定理在訓練動態的相當大范圍內能提供有效的近似。這讓我們非常驚訝——這種近似一致性竟然能保持這么久。這篇論文很快就會發布。

最后，我再用一個”彩蛋“來結束這個部分。它與訓練動態不直接相關，但結果相當驚人。我們研究了大型神經網絡的完整特征譜（Eigenspectrum）（上圖右側所示）。

以 1.5 億參數的神經網絡為例，如果我們想做主成分分析（PCA）并觀察其完整的特征譜，面臨的挑戰是協方差矩陣規模高達 1.5 億 × 1.5 億，極其龐大。然而，數值線性代數方法，例如 Lanczos 求積法（Lanczos Quadrature），就能讓計算完整的特征譜成為可能。我們在 Kempner 上進行了大規模計算，成功獲得了完整的譜密度。

其中有一些有趣的發現：

• 譜密度大致呈現兩個冪律（Power Laws）：第一個冪律延伸至詞匯表大小（Vocab Size）附近，在那里可以看到一個小的下降（圖中垂直虛線標記處），之后則過渡到第二個冪律；

• 我們還比較了 Gauss-Newton 譜與 Hessian 譜，發現它們在詞匯表維度之前高度一致，之后才開始出現分叉；

• 進一步分析特征向量的分布，發現它們呈現出明顯的結構性分離。通過將特征向量投影到不同的網絡模塊——例如頂層線性層、注意力層等，我們發現，前詞匯維度主要由網絡的頂層所捕獲，而超出該區域后，分布模式發生了顯著變化。

更多細節敬請期待我們的論文。我認為這項研究令人印象深刻之處在于，我們直接借助數值量化的線性代數工具，去深入理解這些大規模網絡底層結構的基本特征。

現在，我來做一下總結。我們始終堅持一個核心視角：預訓練本質上是一系列短鏈式的局部回歸（Local Regressions），而我們的目標是進一步追問——如果我們把它當作一個全局回歸模型來理解，它能為我們帶來什么樣的洞見？

事實證明，它帶來的并不僅僅是粗略的上界或松散的趨勢，而是具體、可驗證、可操作的預測，這些能直接指導我們應該如何設置縮放規律、如何設計訓練策略。

我認為這項工作中最精彩的部分在于：這種極為簡化的方法，到底能帶我們走多遠？ 而我們得到的答案是十分明確的。

我想強調的是，對二次模型能力的論證并非是依賴一堆松散的數學上界或漸近趨勢。我們所呈現的證據是直觀的、肉眼可見的：在多個截然不同的場景下，二次模型的理論預測與實際訓練曲線都實現了直接重合。具體來說：

• 任意時間學習的結果直接貼合包絡線；

• SeeSaw 批量提升調度中，二次模型算出了學習率衰減與批量大小增長之間的精確等價關系，且 SeeSaw 的學習曲線與基準曲線精確對齊；

• 動量的問題上，二次模型給出了一個相當嚴格的結論：無論批量大小如何調整，重球算法在任何情況下都不能提升計算效率，這同樣與理論預測完全吻合；

• 最后，在泰勒定理的驗證中，我們對真實的大規模神經網絡在不同檢查點處做線性化處理，發現泰勒定理不是只在展開點附近有效，而是在相當寬的窗口內都能成立。

感謝各位的聆聽。本次演講的內容，是多年來與許多杰出合作者共同努力的成果。Alex Meterez將在本周五的研討會上對更多技術細節進行報告，我屆時也會進一步討論關于完整特征譜的最新工作。如果想深入了解，歡迎參加研討會。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。