單層RL超越全參數(shù)訓(xùn)練，跨任務(wù)跨模型跨算法全部驗證

本文第一作者為明尼蘇達大學(xué)博士生張子健，指導(dǎo)老師為洪明毅教授。其他作者包括北京大學(xué)的胡日臻，Amazon的Hongzhou Lin，明尼蘇達大學(xué)的Athanasios Glentis、Dawei Li、Chung-Yiu Yau。

現(xiàn)有的 RL 后訓(xùn)練方法統(tǒng)一更新所有 Transformer 層，隱含假設(shè)每一層對 RL 收益的貢獻是均等的。來自明尼蘇達大學(xué)、北京大學(xué)和亞馬遜的團隊挑戰(zhàn)了這一假設(shè)：通過對 7 個模型、跨越 2 個模型家族、3 種 RL 算法、3 個任務(wù)領(lǐng)域的系統(tǒng)性逐層研究，發(fā)現(xiàn)RL 收益高度集中在一小部分中間層，而非均勻分布。更令人驚訝的是，訓(xùn)練單個 Transformer 層即可匹敵甚至超越全參數(shù) RL 訓(xùn)練，而基于這一發(fā)現(xiàn)的策略可以持續(xù)超越標(biāo)準(zhǔn)全參數(shù) RL 訓(xùn)練。

• 論文標(biāo)題：《Is One Layer Enough? Training a Single Transformer Layer Can Match Full-Parameter RL Training》
• 論文鏈接：https://arxiv.org/abs/2607.01232

背景與動機：RL 后訓(xùn)練的收益究竟來自哪里？

強化學(xué)習(xí)與可驗證獎勵（RLVR）已成為大語言模型后訓(xùn)練的核心組件，在數(shù)學(xué)推理、代碼生成和智能體決策等任務(wù)上取得了顯著提升。然而，盡管大量研究關(guān)注于更有效的 RL 目標(biāo)、獎勵模型和優(yōu)化算法，一個更基本的問題卻很少被探討：

RL 的收益究竟從網(wǎng)絡(luò)的哪里產(chǎn)生？是所有層均等貢獻，還是集中在特定層？

事實上，預(yù)訓(xùn)練 LLM 的層級結(jié)構(gòu)高度不均勻這一現(xiàn)象已被多項研究證實。在推理階段，研究者發(fā)現(xiàn)移除某些層會導(dǎo)致性能崩潰，而移除另一些層幾乎沒有影響；有研究識別出“基石層”，其移除會使性能退化到接近隨機水平。在監(jiān)督微調(diào)（SFT）階段，也有工作提出了隨機采樣層更新、重要性感知采樣、基于梯度統(tǒng)計的動態(tài)層選擇等策略。更值得注意的是，被識別為重要的層在不同數(shù)據(jù)集和訓(xùn)練設(shè)置間保持高度一致，暗示預(yù)訓(xùn)練模型具有穩(wěn)定的層級結(jié)構(gòu)組織。

然而，這些研究主要集中在推理行為分析和監(jiān)督微調(diào)場景。RL 后訓(xùn)練是否也具有和層有關(guān)的結(jié)構(gòu)化模式（例如是否某些層對于RL的貢獻很大），此前幾乎沒有被探索過。理解這一層級結(jié)構(gòu)不僅能揭示 RL 如何重塑預(yù)訓(xùn)練模型，還可能為進一步改進 RL 后訓(xùn)練提供新的算法設(shè)計思路。

現(xiàn)有的 RL 后訓(xùn)練方法（如 GRPO、Dr. GRPO、GiGPO）統(tǒng)一更新所有 Transformer 層，隱含假設(shè)每一層對最終性能提升的貢獻是相似的。這篇工作通過系統(tǒng)性的逐層實驗，對這一假設(shè)提出了挑戰(zhàn)。

核心方法：層貢獻度（Layer Contribution）

為了量化每一層在 RL 后訓(xùn)練中的作用，研究團隊提出了一個簡單而有效的指標(biāo)——層貢獻度 C(k)：

對于一個有 L 層的 LLM，凍結(jié)除第 k 層以外的所有參數(shù)（包括 Embedding 和 LM Head），僅用 RL 訓(xùn)練該層，然后將其性能提升與全參數(shù) RL 基線進行對比：

圖1：層貢獻度計算公式

其中 S_base 為預(yù)訓(xùn)練模型的評測分?jǐn)?shù)，S_full 為全參數(shù) RL 訓(xùn)練后的評測分?jǐn)?shù)，S_k 為僅訓(xùn)練第 k 層后的評測分?jǐn)?shù)。C(k) = 1.0 表示單層訓(xùn)練匹配全參數(shù) RL，C(k) > 1.0 表示超越全參數(shù) RL。

這一框架的關(guān)鍵設(shè)計在于：梯度仍然通過整個網(wǎng)絡(luò)反向傳播計算，僅參數(shù)更新被限制在第 k 層。這確保了每一層都在相同的信息環(huán)境下被評估，差異僅反映層本身的學(xué)習(xí)能力。

舉一個具體的例子：在 Qwen3-1.7B-Base 上，預(yù)訓(xùn)練模型的數(shù)學(xué)（涵蓋MATH，GSM8K，AMC，OlympiadBench）平均分為 44.1%。之后我們使用Numina-COT數(shù)據(jù)集對模型進行GRPO訓(xùn)練。經(jīng)過我們的數(shù)輪對于全參數(shù) GRPO的 訓(xùn)練與調(diào)優(yōu)后，結(jié)果提升至 50.8%（提升 6.7 個百分點）。然而，當(dāng)僅訓(xùn)練 Layer 10 時，分?jǐn)?shù)達到 51.8%，對應(yīng)的層貢獻度 C = (51.8 ? 44.1) / (50.8 ? 44.1) = 1.14，意味著僅訓(xùn)練這一層就恢復(fù)了全參數(shù)訓(xùn)練 114% 的收益。而最弱的 Layer 24 僅達到 46.1%，C = 0.28，僅恢復(fù)了 28% 的收益。同一個模型內(nèi)，最好層和最差層之間存在超過 4 倍的差距。

圖2：以Qwen3-1.7B-base的訓(xùn)練結(jié)果為例，層貢獻度指標(biāo)衡量了單層本身的學(xué)習(xí)能力，Layer10可以超越全量RL，而Layer24僅有全量RL 28%的收益

實驗設(shè)置

研究團隊在 7 個模型上進行了系統(tǒng)性實驗，覆蓋多個維度的變化：

• 多種模型大小和家族：Qwen3（1.7B/4B/8B）、Qwen2.5（1.5B/3B/DeepSeek-Distilled-7B）
• 多種 RL 算法：GRPO、Dr. GRPO、GiGPO
• 多個任務(wù)領(lǐng)域：數(shù)學(xué)推理（NuminaMath-CoT、DeepScaleR、MATH、Skywork）、代碼生成（DeepCoder）、智能體決策（ALFWorld）

評估體系：對于 Qwen3 主實驗，研究團隊在 12 個基準(zhǔn)測試上進行評估，覆蓋四大類別：數(shù)學(xué)（MATH500、GSM8K、OlympiadBench、AMC）作為域內(nèi)評估，以及三個域外類別——代碼（HumanEval+、MBPP、LiveCodeBench）、推理（GPQA-Diamond、MMLU-Pro）和語言（C-Eval、IFEval、MGSM）?？偡譃樗膫€類別分?jǐn)?shù)的等權(quán)平均。對于 Qwen2.5-Math-1.5B 和 DeepSeek-Distilled-Qwen-7B實驗，則在 6 個數(shù)學(xué)基準(zhǔn)（AIME 2024、AIME 2025、AMC、MATH500、Minerva Math、OlympiadBench）上評估。對于智能體實驗，在 ALFWorld 的 6 類家務(wù)任務(wù)上評估成功率。

公平比較協(xié)議：為了確保單層訓(xùn)練與全參數(shù)訓(xùn)練的比較反映真實的層級差異而非超參數(shù)差異，研究團隊采取了嚴(yán)格的實驗協(xié)議：首先為全參數(shù)基線調(diào)優(yōu)學(xué)習(xí)率并選擇最佳值，然后將該學(xué)習(xí)率統(tǒng)一應(yīng)用于所有單層訓(xùn)練，確保沒有任何層獲得不公平的優(yōu)勢。所有配置使用相同的超參數(shù)（batch size、KL 系數(shù)、clip range、epoch 數(shù)）并訓(xùn)練至收斂。此外還通過學(xué)習(xí)率消融實驗驗證了改變學(xué)習(xí)率不會改變層貢獻度的排序。

發(fā)現(xiàn)一：中間層主導(dǎo) RL 收益，具有與訓(xùn)練設(shè)置無關(guān)的高度一致性

在所有 7 個模型上，同樣的結(jié)構(gòu)性規(guī)律反復(fù)出現(xiàn)：位于網(wǎng)絡(luò)深度 40–60% 的層始終擁有最高的層貢獻度，而靠近輸入端和輸出端的層貢獻顯著偏低。

圖3：7個模型的完整層貢獻度-層相對深度圖。7個模型均呈現(xiàn)出層貢獻度中間高兩邊低的趨勢，其中部分層單獨訓(xùn)練可以超越全量RL，即處于層貢獻度大于1的綠色區(qū)域

跨數(shù)據(jù)集一致性

為驗證層貢獻度是否依賴于特定訓(xùn)練數(shù)據(jù)，研究團隊在 Qwen3-1.7B-Base 上使用三個不同數(shù)據(jù)集分別進行單層訓(xùn)練：NuminaMath-CoT（數(shù)學(xué)）、DeepScaleR（數(shù)學(xué)）和 DeepCoder（代碼）。對比 NuminaMath-CoT 和 DeepScaleR 兩個數(shù)學(xué)數(shù)據(jù)集，盡管數(shù)據(jù)組成和難度不同，28 層的貢獻度排序呈現(xiàn)強相關(guān)（Spearman ρ = 0.76, p < 0.001）——在一個數(shù)據(jù)集上排名高的層，在另一個數(shù)據(jù)集上同樣排名高。

跨任務(wù)一致性

更有意義的是跨任務(wù)的驗證：將 NuminaMath-CoT（數(shù)學(xué)）與 DeepCoder

（代碼）對比，這兩個任務(wù)訓(xùn)練的是完全不同的能力，但層貢獻度排序仍然顯著相關(guān)（Spearman ρ = 0.59, p < 0.001）。即使訓(xùn)練目標(biāo)從數(shù)學(xué)推理切換到代碼生成，同樣的層仍然傾向于擁有最高貢獻。

圖4：在Qwen3-1.7B-base上，對于不同任務(wù)的層貢獻度進行了分析。結(jié)果顯示，即使更換訓(xùn)練數(shù)據(jù)集和任務(wù)，層貢獻度的排序依然有高度的一致性

跨模型家族和 RL 算法一致性

在 Qwen2.5-Math-1.5B 上使用 Dr. GRPO（而非 GRPO）訓(xùn)練，層貢獻度曲線保持了相同的中間高、兩端低的結(jié)構(gòu)。最高貢獻層集中在 Layer 14（C = 1.01）和 Layer 16（C = 1.00），而最低貢獻層位于網(wǎng)絡(luò)后段（Layer 23，C = 0.42）。最佳層的貢獻度是最差層的兩倍以上。

圖5: Dr.GRPO訓(xùn)練Qwen2.5-Math-1.5B的實驗結(jié)果

跨任務(wù)領(lǐng)域一致性

在智能體任務(wù) ALFWorld 上使用 GiGPO 訓(xùn)練 Qwen2.5-1.5B-Instruct 和 Qwen2.5-3B-Instruct，雖然任務(wù)性質(zhì)從數(shù)學(xué)推理完全切換到了多步交互式?jīng)Q策，且 RL 增益幅度遠(yuǎn)大于數(shù)學(xué)場景（83.7 和 66.0 個百分點 vs 數(shù)學(xué)任務(wù)的 6–10 個百分點），中間層集中的結(jié)構(gòu)仍然保持不變。這說明該模式不局限于小幅度的適應(yīng)，對大幅度的能力習(xí)得同樣成立。結(jié)果顯示，使用Layer 14訓(xùn)練Qwen2.5-1.5B-instruct模型，在ALFWorld任務(wù)上能夠獲得超越全量訓(xùn)練的結(jié)果（包括我們自己設(shè)立的訓(xùn)練baseline以及GiGPO的官方結(jié)果）。使用Layer 16訓(xùn)練Qwen2.5-3B-instruct模型也能一樣獲得超越全量訓(xùn)練的結(jié)果。

圖6：GiGPO訓(xùn)練Qwen2.5-1.5B-instruct和訓(xùn)練Qwen2.5-3B-Instruct的實驗結(jié)果

這些結(jié)果共同表明層貢獻度是預(yù)訓(xùn)練模型的一種內(nèi)在結(jié)構(gòu)屬性，由模型權(quán)重決定，而非取決于訓(xùn)練數(shù)據(jù)或任務(wù)。

發(fā)現(xiàn)二：單層訓(xùn)練可以超越全參數(shù) RL

在測試的每一個模型上，最佳單層都達到或超過了全參數(shù)訓(xùn)練（C ≥ 1.0）：

圖7：單層訓(xùn)練在實驗的7個模型上均能超越全量RL

這一結(jié)果的意義在于它從根本上挑戰(zhàn)了當(dāng)前 RL 后訓(xùn)練的一個隱含假設(shè)：RL 帶的能力提升需要整個網(wǎng)絡(luò)的協(xié)調(diào)適應(yīng)。事實表明情況恰恰相反——大部分 RL 收益可以被壓縮到極少數(shù)層的參數(shù)變化中。這意味著 RL 后訓(xùn)練對模型的修改遠(yuǎn)比我們想象的更加局部化：它并非在重塑整個網(wǎng)絡(luò)，而更像是在調(diào)整幾個關(guān)鍵的"旋鈕"。

一個自然的推論是：標(biāo)準(zhǔn)的全參數(shù) RL 訓(xùn)練可能本身就是次優(yōu)的。當(dāng)所有層被統(tǒng)一訓(xùn)練時，低貢獻層的更新不僅沒有貢獻，反而可能引入噪聲或與高貢獻層的學(xué)習(xí)發(fā)生干擾，稀釋整體提升。這一推論在下文的選擇性訓(xùn)練實驗中得到了直接驗證——凍結(jié)低貢獻層后，模型性能反而超過了全參數(shù)訓(xùn)練。

實用策略：基于層貢獻度的訓(xùn)練優(yōu)化

基于上述發(fā)現(xiàn)，研究團隊提出了三種簡單而有效的基于層貢獻度的訓(xùn)練策略：

策略一：層自適應(yīng)學(xué)習(xí)率

對高貢獻層使用更高的學(xué)習(xí)率（1e-5），其他層保持默認(rèn)率（5e-6）。在所有模型規(guī)模上均帶來穩(wěn)定提升：在 Qwen3-1.7B 上，Boost B10 達到 53.70%，vs 基線 50.82%（+2.88）；在 Qwen3-8B 上，Boost B10 達到 67.42%，vs 基線 66.43%（+0.99）。

作為對照實驗，研究團隊也測試了提升最低貢獻層學(xué)習(xí)率的效果（Boost W5/W10）。結(jié)果在所有三個模型上均導(dǎo)致性能下降，確認(rèn)了改進來自貢獻度引導(dǎo)的選擇而非學(xué)習(xí)率調(diào)整本身。

策略二：層選擇性訓(xùn)練

僅訓(xùn)練貢獻度最高的 k 層，凍結(jié)其余所有層。效果顯著：

• Qwen3-8B：僅訓(xùn)練 top-10 層 → 69.11%，全參數(shù) RL 為 66.43%（+2.68，代表全參數(shù) RL 總增益的 32%）
• Qwen3-4B：僅訓(xùn)練 top-5 層 → 65.87%，全參數(shù) RL 為 62.97%（+2.90，代表 25% 額外增益）
• Qwen3-1.7B：僅訓(xùn)練 top-5 層 → 51.53%，全參數(shù) RL 為 50.82%（+0.71）

相反，僅訓(xùn)練最低貢獻的 k 層則導(dǎo)致性能大幅下降（如 Only W5 在 1.7B 上僅 46.87%，4B 上 59.40%，8B 上 62.04%）。這表明在較大規(guī)模上，低貢獻層的更新可能并不有益，凍結(jié)它們反而產(chǎn)生更干凈的優(yōu)化。

策略三：零分析啟發(fā)式

對于一個模型，我們可以不需要任何層貢獻度信息，直接按位置選擇中間 5 層進行訓(xùn)練，進而獲得效果的提升。具體而言，對于 28 層的模型選擇 Layer 11–15，對于 36 層的模型選擇 Layer 15–19。

在 Qwen3-1.7B-Base 上，中間 5 層啟發(fā)式達到 51.35%，vs 貢獻度引導(dǎo)選擇的 51.53%（Only B5）和全參數(shù)基線的 50.82%。在 Qwen3-8B-Base 上，達到 68.19%，vs 68.97%（Only B5）和 66.43%（Full），額外增益代表了全參數(shù) RL 總增益的 21%。

實用啟示：在所有三個模型規(guī)模上，這一簡單啟發(fā)式均超越了全參數(shù) RL 基線。不需要對于新模型新任務(wù)去分析層貢獻度，簡單地訓(xùn)練中間層就是一個強大的默認(rèn)策略。

圖 8：基于層貢獻度引導(dǎo)的訓(xùn)練策略在不同模型規(guī)模上的表現(xiàn)。藍色：對高貢獻層提升學(xué)習(xí)率。綠色：僅訓(xùn)練高貢獻層。紅色：使用低貢獻層的對照實驗。紫色：基于位置的中間層啟發(fā)式?；疑喝珔?shù)基線（同時由虛線標(biāo)示）。Bk/Wk：按層貢獻度排序的最優(yōu)/最差 k 層。誤差棒表示 3 次獨立訓(xùn)練的標(biāo)準(zhǔn)差。

深入分析：不是參數(shù)變化量，而是參數(shù)空間質(zhì)量

一個自然的疑問是：中間層貢獻高，是否只是因為它們在全參數(shù)訓(xùn)練中參數(shù)變化更大？如果全參數(shù)訓(xùn)練后只有中間層的權(quán)重發(fā)生了顯著變化，那么中間層貢獻度高就是一個自然且不令人吃驚的結(jié)論。

為此，研究團隊在 Qwen3-1.7B-Base 上測量了每層的權(quán)重變化幅度 ‖Δθ_k‖?，得到兩個關(guān)鍵觀察：

觀察一：全參數(shù)訓(xùn)練下，權(quán)重變化是均勻的。所有層的權(quán)重L2范數(shù)的變化幅度在 0.5 到 0.8 之間，分布非常均勻。中間層并沒有比其他層變化更多。然而它們在單獨訓(xùn)練時卻能產(chǎn)生遠(yuǎn)超其他層的性能提升。這種“權(quán)重變化均勻但貢獻度高度不均勻”的脫鉤，表明層貢獻度不能用參數(shù)變化幅度來解釋。

觀察二：單層訓(xùn)練時，所有層的權(quán)重變化幅度也是相似的。當(dāng)一個層被單獨訓(xùn)練時，無論它是高貢獻層還是低貢獻層，其權(quán)重L2范數(shù)的變化幅度都在 0.8–1.0 之間——顯著大于全參數(shù)訓(xùn)練時的變化（0.5–0.7），這表明單層需要在參數(shù)空間中移動更遠(yuǎn)來補償其他層的凍結(jié)。但關(guān)鍵是：高貢獻層和低貢獻層經(jīng)歷了相似幅度的權(quán)重變化，卻產(chǎn)生了截然不同的性能結(jié)果。

圖 9：Qwen3-1.7B-Base 上每層的權(quán)重變化幅度的L2范數(shù)?。藍色：全參數(shù)訓(xùn)練（所有層均發(fā)生變化）。彩色尖峰：單層訓(xùn)練（僅被訓(xùn)練的層發(fā)生變化，其余層保持為零）。在全參數(shù)訓(xùn)練下，各層的權(quán)重變化幅度相對均勻，與高度不均勻的層貢獻度形成鮮明對比。在單層訓(xùn)練下，所有被訓(xùn)練的層無論貢獻度高低都經(jīng)歷了相近幅度的權(quán)重變化，表明層貢獻度反映的是該層參數(shù)子空間的有效性，而非參數(shù)變化的幅度。

這兩個觀察共同表明：層貢獻度反映的是一層參數(shù)子空間捕獲 RL 改進的有效性，而非參數(shù)變化的幅度。某些層的參數(shù)空間天然更適合承載 RL 帶來的能力提升。

總結(jié)

本文揭示了 RL 后訓(xùn)練的一個此前未被認(rèn)識的結(jié)構(gòu)性屬性：

1.RL 收益高度集中：大部分 RL 提升集中在一小部分中間層，而非均勻分布在整個網(wǎng)絡(luò)。訓(xùn)練單個層即可匹敵甚至超越全參數(shù) RL。

2.層貢獻度具有一致的結(jié)構(gòu)：中間層貢獻最高這一規(guī)律在不同模型家族、RL 算法、數(shù)據(jù)集和任務(wù)領(lǐng)域間保持穩(wěn)定，是預(yù)訓(xùn)練模型的內(nèi)在屬性。

3.可直接指導(dǎo)訓(xùn)練優(yōu)化：簡單的基于層貢獻度的訓(xùn)練策略（自適應(yīng)學(xué)習(xí)率、選擇性訓(xùn)練、中間層啟發(fā)式）均持續(xù)超越標(biāo)準(zhǔn)全參數(shù) RL 訓(xùn)練。

這些發(fā)現(xiàn)為理解 RL 如何改變大語言模型提供了新的視角，也為改進 RL 后訓(xùn)練提供了實用的新方向。