翁荔博客上新：謹慎對待Scaling Law

剛剛，翁荔（Lilian Weng）的博客 Lil'Log 終于更新了！要知道，自從她聯(lián)合創(chuàng)立了 Thinking Machines Lab 之后，她那讓許多人受益良多的博客就鮮少更新了——距離她上一次更新，已經(jīng)過去了 13 個月。

就在幾個小時前，翁荔新作《謹慎對待 Scaling Law》上線，瞬間引爆社交網(wǎng)絡。

博客鏈接：https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

翁荔表示，這篇關于 Scaling Law 的博客文章遲到了 3 年多，而這篇文章涵蓋了 Scaling Law 的預測內(nèi)容、計算最優(yōu)分配的原理、Kaplan 等與 Chinchilla 的分歧原因，以及數(shù)據(jù)限制與擬合細節(jié)如何讓外推變得困難等內(nèi)容。

對此，網(wǎng)友們排隊表示歡迎：

在分享博客的推文下方，翁荔自己評論感嘆說，想必很多人會直接讓 AI 來總結這篇文章，而不是真正地閱讀這篇文章。

她還進一步表示，她很快還會設置一個模型來自動更新 Lil'Log。

機器之心也在 AI 的輔助下對翁荔大神這篇新作進行了整理翻譯：

謹慎對待 Scaling Law

Scaling law 是深度學習領域中最關鍵的經(jīng)驗發(fā)現(xiàn)之一。這一觀察結果的形式很簡單。隨著我們擴大模型規(guī)模 N 、數(shù)據(jù)集規(guī)模 D 和計算量 C ，訓練損失會以可預測的方式降低。這種降低趨勢遵循冪律曲線，在雙對數(shù)坐標圖上表現(xiàn)為一條直線。我們可以將 Scaling law 視為一個框架。它描述了計算量、損失、模型規(guī)模與數(shù)據(jù)之間的關系。其核心在于如何將寶貴的計算資源在 N 和 D 之間進行最優(yōu)分配。

這種可預測性讓 Scaling law 在實踐中具有極高的價值。一種常見的工作流程是，在少量小型訓練任務上擬合 Scaling law，然后進行外推，以此估算更大模型所需的 token 數(shù)量和計算資源。

早期階段：機器學習損失的可預測性

在 Scaling law 成為主流概念之前，研究人員就已經(jīng)探討過泛化誤差隨規(guī)模變化的可預測性。

Amari et al. (1992) 使用貝葉斯方法和退火近似推導出了四種類型的學習曲線。

確定性學習算法，無噪聲數(shù)據(jù)，具有唯一解：，其中 c 是某個常數(shù)。

確定性學習算法，無噪聲數(shù)據(jù)，具有多個等效解：。隨著新數(shù)據(jù)點的加入，學習速度會加快。由于模型只需要學習參數(shù)的最優(yōu)流形，無需尋找單一的解空間點。

確定性學習算法，含噪數(shù)據(jù)：。數(shù)據(jù)中的噪聲會增加學習難度。

隨機學習算法，含噪數(shù)據(jù)：。這里的不可約損失 E 是指隨機學習器無法進一步降低的殘差錯誤，例如當模型在大型數(shù)據(jù)上容量耗盡時。

這四種類型的學習曲線都遵循冪律：

其中 E 可以為 0 ，并且 α=-2,-1,-1/2。雖然他們的理論設定基于簡化的二分類任務，但這也為構建經(jīng)驗性的機器學習損失預測模型指明了有用的方向。

早期的一項實證研究（Hestness et al. (2017)）解釋了泛化誤差、模型規(guī)模和數(shù)據(jù)之間的關系。對于給定的訓練數(shù)據(jù)規(guī)模，他們通過網(wǎng)格搜索確定最佳擬合的模型規(guī)模，然后繪制損失與訓練數(shù)據(jù)集規(guī)模的關系圖。在深度學習的四個不同領域（神經(jīng)機器翻譯、圖像分類、語言建模和語音識別）中，研究人員觀察到了一個反復出現(xiàn)的模式：

泛化誤差作為一組因素（如數(shù)據(jù)規(guī)模）的冪律函數(shù)進行縮放。

模型的改進會改變誤差曲線的位置，但似乎并未改變冪律指數(shù)。

有趣的是，架構的變化會改變冪律擬合的截距 (E)，但對指數(shù) (α) 基本沒有影響。冪律的斜率似乎是問題領域的屬性，與模型架構關系不大。

擬合規(guī)模為 D 的數(shù)據(jù)集所需的大致模型參數(shù) N 的數(shù)量同樣遵循冪律縮放。

圖1: Deep-Speech-2 (DS2) 與注意力語音模型的學習曲線（左圖），以及各種規(guī)模的 DS2 模型的學習曲線（右圖）。當訓練數(shù)據(jù)量變得很大時，小模型的損失會趨于平緩。（圖片來源：Hestness et al. 2017）

冪律學習曲線各階段的概念圖解分為三個階段。在小數(shù)據(jù)區(qū)域，當沒有足夠的學習信號時，模型的表現(xiàn)僅略好于隨機猜測。在中間的「冪律區(qū)域」，我們觀察到了損失、數(shù)據(jù)與模型規(guī)模之間的冪律關系。最后的不可約誤差區(qū)域可歸因于數(shù)據(jù)中的噪聲等因素。

圖2: 冪律學習曲線各階段的概念圖解。（圖片來源：Hestness et al. 2017）

Rosenfeld et al. (2020) 進一步推進了這項工作。他們試圖將誤差建模為模型規(guī)模 N 和數(shù)據(jù)規(guī)模 D 的聯(lián)合函數(shù)。這項研究跨越了多種不同的架構（ResNet、WRN、LSTM、Transformer）和優(yōu)化器（Adam、SGD 變體）。在經(jīng)驗上，他們觀察到，保持一個軸不變時，誤差在另一個軸上按冪律衰減：

這些可以組合成一個聯(lián)合形式：

其中

是標量常數(shù)，且 E 既不依賴于 N 也不依賴于 D。

圖3: 在雙對數(shù)坐標系下，數(shù)據(jù)規(guī)模、模型規(guī)模與泛化誤差的三維等高線圖。藍點源自經(jīng)驗實驗，曲面是藍點之間的線性插值。（圖片來源：Rosenfeld et al. 2020）

因此，他們可以構建一個簡單參數(shù)函數(shù)形式的預測模型。利用

來預測 N, D 大于特定閾值時的預期損失。訓練過程只需在一組較小的訓練配置（ N, D 小于特定閾值）上進行即可。

圖4:在小規(guī)模配置上擬合參數(shù)化誤差模型，并外推到更大規(guī)模的模型與數(shù)據(jù)體系：(a) 實驗設置圖解；(b) ImageNet、(c) WikiText-103 和 (d) CIFAR100 上的實驗結果。包含三種架構（WRN、VGG、DenseNet）和兩種優(yōu)化器（SGD、Adam）的誤差估計。（圖片來源：Rosenfeld et al. 2020）

補充說明：這些早期的工作依賴于經(jīng)典的分類學習理論直覺，例如將 VC 維度（模型可以打散的最大點集的基數(shù)）作為容量的代理。但在現(xiàn)代深度學習研究中，VC 維度往往過于粗糙，難以解釋模型的行為。事實證明，經(jīng)驗性的冪律比理論提供的最壞情況邊界清晰且實用得多。

數(shù)據(jù)無限區(qū)域的 Scaling LawKaplan 等人提出的 Scaling Law

Kaplan et al. (2020) 在語言建模社區(qū)普及了 Scaling law 的概念。他們發(fā)現(xiàn)交叉熵測試損失 L 分別與模型規(guī)模 N（不包括嵌入層）、數(shù)據(jù)集規(guī)模 D 和訓練計算量 C 呈冪律縮放關系，跨越了多個數(shù)量級。這些發(fā)現(xiàn)與上一節(jié)中的早期工作保持一致。

Kaplan 等人將這一概念形式化，重點關注 Transformer 語言模型，并在更大規(guī)模上進行了實證實驗。其實驗模型規(guī)模從 7.68 億到 15 億非嵌入?yún)?shù)不等，數(shù)據(jù)集規(guī)模從 2200 萬到 230 億 token 不等。論文中的所有訓練運行都使用了包含 3000 步線性預熱的學習率調(diào)度，隨后余弦衰減至零。

主要發(fā)現(xiàn)包括：

損失 L 與 N、D 和 C 分別呈冪律縮放。為了獲得最佳性能，這三者必須同步擴展。

訓練曲線遵循可預測的冪律，其參數(shù)大致獨立于模型規(guī)模。

更大的模型具有更高的樣本效率。這意味著，與小模型相比，大模型可以用更少的優(yōu)化步數(shù)和數(shù)據(jù)點達到給定的損失水平。

架構細節(jié)（寬度、縱橫比等）的重要性不及純粹的規(guī)模。

訓練損失和測試損失呈正相關。（這聽起來顯而易見，但卻是預訓練工作的基礎。另一方面，預訓練損失的改善是否能轉移到后訓練評估中，還需要單獨的研究。）

在計算預算給定的情況下，訓練一個超大模型并在收斂前停止，比將一個小模型訓練到完全收斂更高效。這一發(fā)現(xiàn)與后續(xù)的 Chinchilla scaling law 存在分歧。由于擬合指數(shù)偏大，Kaplan 等人高估了最優(yōu)模型規(guī)模。

他們將對 N 和 D 的聯(lián)合依賴性總結在一個等式中：

這種形式帶來了一個很好的結論：過擬合的程度（即模型過于復雜或數(shù)據(jù)量過?。┲饕Q于比率。這表明數(shù)據(jù)需要按照與模型規(guī)模增長成特定比例的速度增長，以避免訓練受到數(shù)據(jù)限制。

圖5: 測試損失作為計算量、數(shù)據(jù)集規(guī)模和參數(shù)量的冪律函數(shù)，跨越了多個數(shù)量級。（圖片來源：Kaplan et al. 2020）

最具影響力、且在事后看來也備受爭議的結論是計算最優(yōu)分配。Kaplan 等人發(fā)現(xiàn)

，并且

，由此得出模型規(guī)模的增長速度應快于數(shù)據(jù)集規(guī)模。具體來說，當計算量增加 10 倍時，他們建議將模型規(guī)模擴大約 5.5 倍，而訓練 token 僅擴大約 1.8 倍。后來的 Chinchilla 論文推翻了這一建議，認為這種分配會導致大模型嚴重訓練不足。

Kaplan 等人另一項有用的分析是根據(jù) N 和 D 估算所需的訓練 FLOPs。每次乘加運算計為大約 2 個 FLOPs。

圖6: 在給定層數(shù) n_layer 、模型寬度 d_model （等于 d ；原始表格中的符號不一致）、前饋層維度 d_ff（通常相當于 4d_model ）、注意力維度 d_attn （通常相當于 d_model ）、上下文長度 n_ctx 和詞匯表大小 n_vocab 的情況下，對 Transformer 不同架構組件的參數(shù)量和計算量進行估算。（圖片來源：Kaplan et al. 2020）

給定一個標準配置，其中

，并且在 N 和每 token 前向計算量中排除嵌入層：

然后，我們將反向傳播的 FLOPs 計為前向傳播 FLOPs 的兩倍。因為反向傳播需要運行兩次矩陣乘法，分別用于計算輸入激活和權重的梯度。因此，每個 token 的訓練總 FLOPs 約為 6N ，在 D 個 token 上訓練的總 FLOPs 為 C ≈ 6ND 。

Chinchilla Scaling Law

Chinchilla 論文（Hoffmann et al. 2022）研究了在固定計算預算 C 下，最優(yōu)模型規(guī)模 N（總參數(shù)量，包含嵌入層）與 token 數(shù)量 D 之間的關系。該研究采用了更加嚴謹?shù)膶嶒炘O計，得出了與 Kaplan 等人有所不同的結論。

圖7: 你應該知道龍貓（chinchilla）長什么樣 （圖片來源：由 ChatGPT 生成）

核心問題在于，在

的約束下，分配資源的最佳策略是什么。換句話說，當我們只有有限的 FLOPs（例如特定數(shù)量的 GPU 運行特定時間）時，應該如何在增加數(shù)據(jù) token 和增加模型參數(shù)之間做出選擇？

Chinchilla 論文提出了三種設計巧妙的 Scaling law 擬合方法。

實證實驗掃描了 400 多個模型。這些模型的參數(shù)量從 7000 萬到超過 160 億不等，訓練 token 數(shù)量從 50 億到 5000 億不等。這些實驗基于一個假設：每個訓練 token 都是獨一無二的（即無限數(shù)據(jù)區(qū)域）。所有訓練都采用了余弦學習率調(diào)度，在整個訓練周期內(nèi)衰減 10 倍。通過對不同模型規(guī)模的掃描，他們描繪出了計算最優(yōu)邊界。

方法 1：固定模型規(guī)模，改變 token 預算

對于每個參數(shù)量 N ，使用不同的 token 預算進行多次訓練。隨后記錄每個 FLOP 預算 C 下達到的最小損失。

圖8: Chinchilla 方法 1：對一系列模型規(guī)模進行掃描時，不同 FLOP 預算下的訓練損失曲線。（圖片來源：Hoffmann et al. 2022）

方法 2：IsoFLOP曲線

固定計算預算 C ，繪制最終損失與參數(shù)量 N 的關系圖。在對數(shù)空間中，每條等 FLOP 曲線大致呈拋物線狀。其最低點標志著該計算預算下的最優(yōu)模型規(guī)模。然后，在不同的預算上重復這一過程，就能在圖中描繪出一條冪律線。

圖9: Chinchilla 方法 2：IsoFLOP拋物線；每條曲線的最低點代表了該預算下的計算最優(yōu)模型規(guī)模。（圖片來源：Hoffmann et al. 2022）

方法 3：參數(shù)化擬合

直接擬合與 Rosenfeld et al. (2020) 相同的參數(shù)化函數(shù)：

我們實際上可以通過在約束條件

下最小化

，獲得最優(yōu)

的閉式近似值。

首先，我們將表達式化簡為僅包含 N 的形式：

時，模型規(guī)模和訓練 token 應該以相同的速度擴展。

為了找到最優(yōu)的

，Chinchilla 論文采用了 Huber 損失（對異常值具有魯棒性；

）和 L-BFGS 算法（適用于少量參數(shù)的曲線擬合）。

Chinchilla 通過三種互補的方法得出了結論。這些方法的最終結果相互吻合，這也是該結果極具說服力的原因之一。

圖10: 這三種方法在計算最優(yōu)邊界上取得了一致，其中
但與 Kaplan 等人的結論存在分歧。值得注意的是，方法 3 的結果與其他兩種方法略有偏差，我們稍后將對此進行解釋。（圖片來源：Hoffmann et al. 2022）

圖11: Chinchilla 的三種不同方法的預測圖，以及 Kaplan 等人 (2020) 的預測。這三種方法都表明，當時的一些主流大語言模型訓練不足。（圖片來源：Hoffmann et al. 2022）

Chinchilla 論文聲稱當時（約 2022 年）大多數(shù)大模型訓練不足，這一主張得到了一次著名演示的支持。在與 Gopher （Rae et al. 2021；2800 億參數(shù)，3000 億 token 預算）相同的計算預算下，他們訓練了 Chinchilla（700 億參數(shù)，1.4 萬億 token 預算）。這是一個體積僅為四分之一，但訓練 token 量大約是其四倍的模型。結果顯示，Chinchilla 在各項指標上全面超越了 Gopher。

調(diào)和 Kaplan 與 Chinchilla 的分歧

Chinchilla scaling law 與 Kaplan 等人的研究在以下方面存在分歧：

相較于「模型增長快于數(shù)據(jù)增長」（

），現(xiàn)在的做法更傾向于模型規(guī)模每翻一倍，訓練 token 的數(shù)量也應相應翻倍（

）。

優(yōu)先推薦在更多的數(shù)據(jù)上訓練較小的模型。這一策略取代了先訓練大模型然后在收斂前提前停止的做法。

兩篇論文在基本原則上依然保持一致，只是在最優(yōu)規(guī)模與 token 的權衡點上存在分歧。為什么分歧會如此之大？

差異 1：Kaplan 等人主要在小模型上進行實驗。Kaplan 等人大多在較小的模型上進行測試，而 Chinchilla 論文的實驗規(guī)模要大 10 倍以上。當我們在雙對數(shù)空間中進行外推時，微小的擬合差異都可能導致結果出現(xiàn)巨大偏差（參見模擬測試小節(jié)）。

差異 2：嵌入層的參數(shù)量對小模型影響顯著。在小參數(shù)體系下，嵌入?yún)?shù)在總參數(shù)量中占據(jù)了不可忽視的比例，因此是否將其計算在內(nèi)會產(chǎn)生影響。Pearce & Song (2024) 沿著這條思路進行了詳盡的分析。我們用

分別表示排除嵌入層后的模型規(guī)模和計算量，用 N,C 表示總參數(shù)量。

Kaplan 等人：

（非嵌入層）

Chinchilla：（總參數(shù)）

為了銜接這兩種方法，他們?yōu)榭倕?shù)量 N_T 和非嵌入層參數(shù)量 N_\E 擬合了一個關系：

，其中 ω 為常數(shù)。這種形式具有嚴格遞增的良好性質(zhì)。并且對于大型模型來說，

（因為

）。

將此代入 Chinchilla 定律的等式中：

上述等式中

之間的關系不再是單純的冪律。我們只能在局部將其近似為

。這里的 g 是基于一階導數(shù)

計算出的局部指數(shù)，而非全局冪律指數(shù)。由此會得出

。有關指數(shù)近似方式的完整細節(jié)，請參閱 Pearce & Song (2024) 的附錄 A.1。

圖12: 局部冪律指數(shù)隨 C_\E 增長的可視化。（圖片來源：Pearce & Song 2024）

如上圖所示，隨著

變大， g 會收斂到 Chinchilla 的估計值。通過利用上述等式生成合成的訓練曲線，在 7.68 億到 15 億的模型規(guī)模范圍內(nèi)（正如 Kaplan 等人所做），他們估算出 g 接近 Kaplan 在該區(qū)域給出的 0.73 系數(shù)。

為什么是冪律？

冪律現(xiàn)象在人工智能以外的許多領域都能被廣泛觀察到。例如齊夫定律（Zipf's law）、無標度網(wǎng)絡、城市縮放定律以及許多其他復雜系統(tǒng)。反復出現(xiàn)的模式是：大事件少見，小事件常見，且規(guī)模與頻率之間的關系在雙對數(shù)尺度上通常呈現(xiàn)為一條直線。

為什么大語言模型的 Scaling law 也呈現(xiàn)出冪律的形式？

這一現(xiàn)象部分是受到了不同領域展現(xiàn)出不同指數(shù)（Hestness et al. 2017）的啟發(fā)。Sharma & Kaplan (2020) 提出了一種早期解釋。他們假設語言建?？梢员灰暈樵谝粋€低維數(shù)據(jù)流形上進行回歸。更多的模型參數(shù)能夠促使數(shù)據(jù)流形產(chǎn)生更細致的劃分，從而帶來更小的泛化誤差。簡單來說，如果一個有效規(guī)模為 N 的模型將 d 維流形劃分為 O (N) 個區(qū)域，那么典型的線性分辨率會按

的比例縮放。這與上述 Scaling law 具有相似的冪律形式。這一理論最完美地適用于數(shù)據(jù)無限、欠擬合的狀態(tài)。但在現(xiàn)實中，估算數(shù)據(jù)流形的固有維度是一件非常困難的事。

后續(xù)的一個假說（Michaud et al. 2023, Brill 2024）認為，知識或技能是以離散塊的形式進行學習的（即「量化」），且這些技能的頻率分布遵循冪律。模型會先學習常見的技能，隨后再學習罕見的技能。這一過程使得損失呈現(xiàn)平滑的冪律衰減。

我在這里僅列舉了兩種假設。此外還有更多研究嘗試通過數(shù)據(jù)的譜尾、核特征值、自然語言統(tǒng)計特征，或訓練動態(tài)中的相變現(xiàn)象來解釋冪律縮放的形態(tài)。

數(shù)據(jù)受限區(qū)域的 Scaling Law

經(jīng)典的 Scaling law 假設存在幾乎無限的去重數(shù)據(jù)，沒有重復，也沒有多輪次訓練。隨著模型規(guī)模的顯著增長，我們逐漸面臨高質(zhì)量去重 token 數(shù)量不足的問題。事實上，關于人工智能的規(guī)?；€能持續(xù)多久的爭論，核心焦點往往在于我們是否觸及了「數(shù)據(jù)墻」。

另外值得強調(diào)的是，D 背后所代表的數(shù)據(jù)集應該是已經(jīng)清理過的。預訓練數(shù)據(jù)管道通常是高效預訓練流程的重要組成部分。常見的步驟包括去重（精確去重和模糊去重）、質(zhì)量過濾、樣板去除、安全過濾、個人身份信息 / 版權脫敏、基準污染處理，以及根據(jù)語言、質(zhì)量、內(nèi)容類型等對數(shù)據(jù)混合成分進行仔細重加權。即使兩個數(shù)據(jù)集包含相同數(shù)量的 token 數(shù) D ，一個高質(zhì)量的數(shù)據(jù)集和一堆互聯(lián)網(wǎng)垃圾數(shù)據(jù)產(chǎn)生的計算效率也可能截然不同。

Hernandez et al. (2022) 的研究專注于一種受控場景：一個包含小比例重復數(shù)據(jù)的去重數(shù)據(jù)集。他們從一個大型數(shù)據(jù)集開始配置數(shù)據(jù)混合比例，保留 90% 的去重數(shù)據(jù)，并將剩余的 10% 替換為原始數(shù)據(jù)集一小部分的重復內(nèi)容。在用 1000 億個 token 訓練 Transformer 模型后，他們觀察到了雙重下降現(xiàn)象。測試損失會隨著重復數(shù)據(jù)占比的增加而變差，然后再變好。重復數(shù)據(jù)的比例越高，這種影響就越明顯。

圖 13. 隨著重復率增加，測試損失中出現(xiàn)雙重下降現(xiàn)象（左圖重復率為 90% ，右圖重復率為 50% ）。（圖片來源：Hernandez et al. 2022）

訓練中期出現(xiàn)的平滑或上升趨勢，可能是由于模型記住了重復的數(shù)據(jù)。這種形態(tài)的學習曲線會降低 Scaling law 擬合的準確性。研究人員還得出結論，重復數(shù)據(jù)會損害某些分布外（OOD）評估和下游微調(diào)的效果。然而，他們的數(shù)據(jù)組合方式建立在偏向?qū)嶒炇噎h(huán)境的設定上。在真實世界的數(shù)據(jù)中，重復情況通常更加復雜微妙（例如，不同數(shù)據(jù)存在著不同程度的重復、語義上的重復等）。

考慮到高質(zhì)量的去重數(shù)據(jù)并非無窮無盡，我們在訓練期間不可避免地需要重復使用數(shù)據(jù)。相較于探討數(shù)據(jù)重復對訓練的不利影響，我們更關注在這樣的條件下應該如何擬合 Scaling law。

Muennighoff et al. (2023) 探討了當模型訓練受到數(shù)據(jù)限制時，應該如何最優(yōu)分配計算資源。具體而言，他們通過大約 400 次實驗實證研究了數(shù)據(jù)重復帶來的影響。實驗涵蓋了 1000 萬到 90 億參數(shù)，數(shù)據(jù)量高達 9000 億個 token，訓練輪次高達 1500 輪。在每個輪次中都重復完全相同的數(shù)據(jù)集，在輪次之間進行洗牌，并在獨立的測試集上進行評估。

關鍵的建模調(diào)整在于將總 token 數(shù) D 分解為兩部分：(i) 去重 token 的數(shù)量

和 (ii) 重復的次數(shù)（即訓練輪次減 1）。因此我們可以得出。在給定的去重數(shù)據(jù)預算，根據(jù)定義。他們使用 Chinchilla scaling law 來找到擬合的最佳模型大小，并通過重復次數(shù)定義多余的模型規(guī)模。

隨后，他們對 Chinchilla 的參數(shù)化擬合（方法 3）進行了更新，采用有效（折減后）數(shù)據(jù)量 D' 與模型規(guī)模 N' 替代原始數(shù)值：

其中，

其背后的直覺是， token 的價值在被重復使用時呈指數(shù)衰減。在他們的模型中，每次重復都會使代幣損失其剩余價值的

倍，其中

是一個可學習的「半衰期」參數(shù)。當

時，我們就能恢復出 D'≈D 。

對稱公式處理了模型過大的問題：

它體現(xiàn)了「模型越大，重復數(shù)據(jù)上的過擬合速度越快」以及「模型可能對于其數(shù)據(jù)集而言過大」的觀點。這一部分不太直觀，我也沒有找到令人滿意的解釋來說明為什么模型大小需要以這種對稱形式出現(xiàn)在重復數(shù)據(jù)中。Lovelace 等人(2026)的后續(xù)研究改變了這一假設。

他們的實證擬合結果表明，多余參數(shù)在價值上的衰減速度快于重復數(shù)據(jù)

。這表明我們在分配資源時，應該優(yōu)先考慮增加訓練輪次，而不是一味擴大模型規(guī)模。這種建模方式的弱點正如作者所指出的，它嚴重低估了出現(xiàn)失敗的模型的最終測試損失（即訓練中途損失開始增加的模型），例如那些訓練了 44 個輪次的模型。

圖14: 在數(shù)據(jù)受限并帶有重復數(shù)據(jù)的情況下進行縮放，比忽略數(shù)據(jù)重復情況的擬合能更好地捕捉實驗結果。重復 token 的價值會向著一個上限呈現(xiàn)指數(shù)衰減。隨著輪次增加，由于高度重復導致測試損失在訓練中途增加（圖中未顯示），擬合效果會變差。（圖片來源：Muennighoff et al. 2023）

最近，Lovelace et al. (2026) 用一種不同的方法重新審視了這個問題。與其將過度參數(shù)化建模為對有效模型規(guī)模的遞減收益，Lovelace 等人選擇對模型規(guī)模與數(shù)據(jù)重復之間的相互作用進行顯式建模。在實證研究中，他們訓練了大約 300 個模型，參數(shù)范圍從 1500 萬到 10 億，去重 token 數(shù)量從 5000 萬到 60 億。

當他們在不同的數(shù)據(jù)重復水平下繪制固定規(guī)模模型的擬合殘差圖時，觀察結果非常直觀：輪次越多，造成的損害就越大。有趣的是，模型規(guī)模越大，對重復數(shù)據(jù)就越敏感。這暗示損失懲罰可能是模型規(guī)模和數(shù)據(jù)規(guī)模的共同函數(shù)。

圖15:有效規(guī)模擬合的殘差顯示，過擬合造成的損害會隨著輪數(shù)和模型規(guī)模的增加而增大。（圖片來源：Lovelace et al. 2026）

研究人員引入了一個顯式的過擬合懲罰項，它建立在容量比（參數(shù)量相對于去重 token 數(shù)量的比例， N/D_U ）的基礎之上：

其中：

是重復次數(shù)；

標量 P 是可學習參數(shù)；

指數(shù) κ （第二個可學習參數(shù)）使得懲罰項能隨容量比

非線性地縮放；

單獨作用在重復次數(shù)上的指數(shù) δ （第三個可學習參數(shù)）解耦了重復帶來的非線性懲罰與 κ 的關系。

增加的（紅色部分）一項是直接的過擬合懲罰。這種懲罰會隨著數(shù)據(jù)重復次數(shù)的增加，以及相對于可用去重數(shù)據(jù)模型過度參數(shù)化程度的增加而變得更加嚴重。

他們還進行了一項案例研究，探討了在數(shù)據(jù)受限的條件下權重衰減對訓練的影響。研究發(fā)現(xiàn)，強烈的權重衰減能減少因數(shù)據(jù)重復而引起的過擬合懲罰。

圖16: 強烈的權重衰減能減輕數(shù)據(jù)重復帶來的過擬合懲罰。（圖片來源：Lovelace et al. 2026）

Muennighoff 等人和 Lovelace 等人提出的兩種建模方法都是建立在經(jīng)驗曲線擬合的基礎上的。因此目前仍不清楚為什么受數(shù)據(jù)限制的 Scaling laws 必須采用這些特定的形式，以及為什么需要引入這些自由參數(shù)。期待這一領域能有更多相關的理論研究。

在現(xiàn)實中擬合 Scaling Law 的微妙之處

盡管形式上很簡潔，但在實踐中，Scaling law 的擬合卻對一些看似微不足道的流程選擇出人意料地敏感。這包括如何計算參數(shù)量、如何進行精度四舍五入，以及如何求和或平均損失等操作。

這是因為 Scaling law 通常是在我們負擔得起的（相對較小、成本較低的）模型上擬合出來的，而相關預測則是要外推到規(guī)模大上幾個數(shù)量級的模型。在這樣的設定下，看似舍入誤差的細微選擇，都可能導致預測結果大相徑庭。

同時，Scaling law 的擬合假設唯一的變量就是規(guī)模。這意味著模型架構、優(yōu)化器、學習率調(diào)度、批量大小預熱、數(shù)據(jù)混合、分詞器和其他設計選擇都應保持不變。另一個潛在的假設是，所有這些設置都已經(jīng)經(jīng)過了仔細的調(diào)整。因為像模型訓練不足這樣的情況會導致截然不同的結論。

Kaplan 等人與 Chinchilla 的結果存在分歧，就是一個證明 Scaling law 擬合具有微妙之處的例子。

第二個例子是一項后續(xù)的分析。該分析調(diào)查了為什么 Chinchilla 的方法 3 與其他兩種方法存在輕微偏差。Besiroglu et al. (2024) 從 Hoffmann et al. (2022) 論文的圖 4 中提取了原始

數(shù)據(jù)點，并重新運行了方法 3 的參數(shù)化擬合。他們發(fā)現(xiàn)了幾個具體的問題：

L-BFGS-B 最小化器中的損失刻度過高。這主要是因為對樣本的 Huber 損失值進行了求平均而非求和。這導致了優(yōu)化過程過早終止。在原始擬合和 bootstrapping 重采樣過程中，損失最小化提前停止，這產(chǎn)生了不一致的估計值和令人難以置信的狹窄置信區(qū)間。

報告的 α 和 β 被四舍五入到了 2 位精度。這使得推導出的 A,B 看起來比實際偏差更大。

模擬測試

這是一個由 ChatGPT 創(chuàng)建的模擬測試小部件，旨在演示三種特定的故障模式。

我們假設真實函數(shù)為：

因此，

這是 Besiroglu et al. (2024). 的估計。

該模擬繪制了損失預測值

與數(shù)據(jù)集大小 D 的關系圖，同時提供了一組 slider 來展示案例：

損失精度：將損失值從高位小數(shù)四舍五入到低位小數(shù)可能會改變擬合參數(shù)值。

損失噪聲：僅以千分之一損失（0.001）為倍率擾動損失值，就會產(chǎn)生不同的擬合效果。

擬合區(qū)域敏感性：僅擬合小型模型、僅擬合中型模型或擬合全部模型，會得出不同的 scaling law。

原圖為交互圖，請移步原文體驗交互效果。

參考文獻：

[1] S. Amari, N. Fujita, and S. Shinomoto. “Four Types of Learning Curves. Neural Computation.” 4 (4):605–618, 1992.

[2] Hestness et al. “Deep Learning Scaling is Predictable, Empirically.” arXiv preprint arXiv:1712.00409, 2017.

[3] Rosenfeld et al. “A Constructive Prediction of the Generalization Error Across Scales.” ICLR 2020.

[4] Kaplan et al. “Scaling Laws for Neural Language Models.” arXiv preprint arXiv:2001.08361, 2020.

[5] Hoffmann et al. “Training Compute-Optimal Large Language Models.” NeurIPS 2022.

[6] Pearce and Song. “Reconciling Kaplan and Chinchilla Scaling Laws.” TMLR 2024.

[7] Bahri et al. “Explaining Neural Scaling Laws.” arXiv preprint arXiv:2102.06701, 2021.

[8] Sharma and Kaplan. “A Neural Scaling Law from the Dimension of the Data Manifold.” arXiv preprint arXiv:2004.10802, 2020.

[9] Hernandez et al. “Scaling Laws and Interpretability of Learning from Repeated Data.” arXiv preprint arXiv:2205.10487, 2022.

[10] Muennighoff et al. “Scaling Data-Constrained Language Models.” NeurIPS 2023.

[11] Lovelace et al. “Prescriptive Scaling Laws for Data Constrained Training.” arXiv preprint arXiv:2605.01640, 2026.

[12] Besiroglu et al. “Chinchilla Scaling: A Replication Attempt.” arXiv preprint arXiv:2404.10102, 2024.

[13] Michaud et al. “The Quantization Model of Neural Scaling” NeurIPS 2023.

[14] Brill. “Neural Scaling Laws Rooted in the Data Distribution.” arXiv preprint arXiv:2412.07942, 2024.

[15] Rae et al. “Scaling Language Models: Methods, Analysis & Insights from Training Gopher.” arXiv preprint arXiv:2112.11446, 2021.

文章來源：機器之心。