北大團隊提出 SHINE：任意文本轉化大模型 LoRA，僅一次前向傳播

機構：北京大學人工智能研究院

作者：劉曄瑋，王希元，毛彥升，Yoav Gelberg，Haggai Maron，張牧涵

我們提出了一種全新的超網絡（Hypernetwork）架構：僅需一次前向傳播，即可將幾乎任意文本轉化為大語言模型的 LoRA 參數。通過這種方式，文本中的知識可以被直接內化到大模型參數中，并支持基于該文本進行多輪對話。

我們的工作與當前大模型研究中的多個熱點方向密切相關，包括大模型快速適配（adaptation）、持續學習（continual learning）、參數化記憶（parametric memory）、面向大模型的超網絡（hypernetwork）設計等。

論文、代碼、存檔點、數據集全部開源！

• 論文名稱：SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
• arXiv：https://arxiv.org/abs/2602.06358
• GitHub：https://github.com/Yewei-Liu/SHINE
• Hugging Face：https://huggingface.co/collections/Yewei-Liu/shine

背景知識

超網絡（Hypernetwork）是一類特殊的神經網絡，其輸出不是普通結果，而是另一個神經網絡的參數。在本文中，我們訓練一個超網絡：以任意文本為輸入，直接生成大模型的 LoRA 參數，從而實現只需一次前向傳播即可將文本轉化為對應的 LoRA。

過去，利用 hypernetwork 為神經網絡生成參數的研究通常局限在小模型上。即使在大模型場景中，由于架構設計困難，往往也只能用極其簡單的架構，例如絕大多數工作都是復用一個小型 MLP，因此表達能力有限，只能完成較簡單的任務。

在我們的工作中，通過架構創新，我們首次設計了一種表達能力更強、可通過大規模訓練持續提升、具有實際應用潛力的 hypernetwork 架構，使得為大模型生成參數這一思路從實驗性的嘗試，發展為具有廣泛應用前景的工具

值得注意的是，這一方向正逐漸受到學界和工業界的關注。例如，在我們工作發布后不久，Sakana AI 發布了 doc-to-lora，同樣利用 hypernetwork 將文檔轉換為 LoRA 參數，其基本思路與 SHINE 相似。盡管他們的架構和訓練規模相比 SHINE 仍有差距，但其引入的 ICL 蒸餾思路非常有啟發性。此外，騰訊近期發布的 HY-WU 也基于類似的 hypernetwork 思路，不過應用在圖像生成任務中。

可以預見，在未來，利用 hypernetwork 為大模型實時生成參數的研究將會越來越多，并逐漸走向實際應用。我們希望通過本文介紹 SHINE，同時讓更多研究者關注這一早期但潛力巨大的方向，共同推動其發展。

本文亮點

巨大的實用潛力

我們提出的方法具有良好的通用性與規模化（scaling）能力，有廣泛的應用場景，為大模型的知識注入與快速適配提供了新的技術路徑。該方法并非局限于在少數 benchmark 上提升指標，而是一套通用的、泛化性強的可落地技術方案。

創新且高效的架構設計

我們提出了一種全新的超網絡（Hypernetwork）架構，有效解決了在大語言模型上構建超網絡時面臨的關鍵挑戰，在參數規模與表達能力之間取得了良好的平衡。

成熟的訓練流程與持續進化能力

該方法采用與大模型訓練一致的「預訓練 - 指令微調」訓練范式，因此能夠直接利用現有的大規模訓練數據進行訓練。同時，得益于架構設計的優勢，模型性能能夠隨著數據規模的增加持續提升，展現了明顯的規模化（scaling）潛力。

快速高效推理

與通過傳統 SFT（Supervised Fine-Tuning）生成 LoRA 需要多輪訓練不同，我們的方法在推理階段僅需一次前向傳播即可完成任務，無需額外訓練。相比傳統的 ICL（In-Context Learning）方法，我們已將上下文知識內化到 LoRA 參數中，因此無需再將 context 作為 prompt 輸入。這不僅顯著減少了 token 占用，也降低了推理階段的計算開銷。

超越 TTT 的持續學習新思路

在 SQuAD 數據集上的實驗表明，與近期受到關注的 Test-Time Training（TTT）方法相比，我們通過單次前向傳播生成的 LoRA，效果甚至優于需要消耗大量時間和算力進行測試時訓練所得到的 LoRA。這為大模型持續學習提供了新思路。

方法介紹

一個例子

我們訓練了一個超網絡，使其能夠以任意一段文本作為輸入并生成對應的 LoRA 參數。將該 LoRA 與大語言模型（LLM）結合后，模型可以圍繞輸入文本進行多輪對話。如上圖所示，該 LoRA 內化了文本的信息，并顯著改變了原始大模型的行為，使其能夠基于該文本展開對話。

超網絡架構設計

我們的目標是構建一個超網絡，可以直接為大語言模型（LLM）生成 LoRA。架構設計面臨許多挑戰，如：語義到參數的對齊、高維輸出問題、效率問題等等。

現有方法難以同時解決這些問題。它們要么采用擴展性較差的架構，只能生成部分 LoRA 參數；要么依賴非常受限的瓶頸結構（例如重復使用小型 MLP），這會嚴重限制模型的表達能力，使其只能處理較簡單的任務。下面將介紹我們創新的架構，同時解決了這些問題。

如圖所示，我們的超網絡由兩個部分組成：LLM 和 M2P Transformer。其中，LLM 與推理階段使用的 LLM 相同。通過復用該 LLM，我們可以利用其豐富的知識，無需增加額外參數就能大幅提升超網絡的能力。

具體而言，context 首先被輸入 LLM，并在輸入末尾添加若干 memory embeddings。隨后收集 LLM 各層在這些 memory embeddings 位置對應的 hidden states，并將它們拼接得到 memory states，再將其輸入到 M2P Transformer 中。memory states 將文本信息轉化為大小恒定的張量。為了使 LLM 更好地生成 memory states，我們在 LLM 上加入可訓練的 LoRA，稱為 Meta LoRA。

M2P Transformer 是一個輕量級 Transformer，以 memory states 為輸入，并輸出 LLM 的 LoRA 參數。在整個框架中，需要訓練的參數僅包括 Meta LoRA、memory embeddings 的初始值以及 M2P Transformer。

上圖進一步展示了超網絡的四個階段。其中，階段一在 LLM 中完成，而階段二、三、四在 M2P Transformer 中完成。

• 階段一：收集 memory states，即提取 LLM 各層在 memory embeddings 位置上的 hidden states。
• 階段二：為 memory states 添加 positional embedding，其中同時包含 token 的位置信息和層數信息。

• 階段四：將階段三得到的輸出按段劃分并調整形狀，從而生成對應的 LoRA 參數。

我們的設計同時解決了上述架構設計的難點。復用 LLM 解決了語義到參數的對齊；架構的設計不僅有高維輸出能力，還完全沒有 bottleneck 且有極強的表達能力，信息可以在不同 token 位置以及深層和淺層間自由流動；網絡的運算效率也很高。

訓練流程與數據

類似大模型的訓練，我們的訓練流程分為「預訓練 - 指令微調」兩個階段。不同于部分此前 hypernetwork 生成 LoRA 的工作需要許多訓練好的 LoRA 作為訓練數據，我們的一大優勢是可以直接利用大模型的訓練數據進行訓練。

預訓練由兩個任務組成：重建和補全。如「圖 1」所示，在重建任務中，我們將一段文本轉換為 LoRA，并要求模型根據該 LoRA 還原原始文本。補全任務如「圖 2」所示，與重建任務基本相同，只是輸入文本的末尾會被隨機截斷。模型不僅需要根據 LoRA 還原文本，還需要補全被截斷的部分。

我們使用了 6B token 規模的預訓練數據。據我們所知，這是目前數據規模最大的用于訓練 hypernetwork 生成 LoRA 的工作。得益于我們架構上的創新，模型具有很強的表達能力，并且隨著數據規模的增加，性能仍在持續提升，目前尚未觀察到明顯的性能瓶頸。

指令微調中，我們將文本轉化為 LoRA，并訓練模型利用 LoRA 基于文本回答問題。

實驗分析

預訓練結束后，我們評估了 LLM 從生成的 LoRA 中重建文本的能力。結果顯示，重建任務的 loss 和 PPL 都非常低，說明 LoRA 幾乎可以完整記住原始文本。同時，補全任務的 loss 和 PPL 也較低，表明 LoRA 不僅能夠記憶文本，還具備一定的泛化能力，可以完成部分補全任務。

我們的指令微調分為兩個階段：第一階段使用每個文本多輪 QA 數據，第二階段使用每個文本單輪 QA 數據。在測試時，SHINE 將文本轉換為 LoRA，并在不輸入文本僅輸入問題的情況下進行回答。

我們將 SHINE 與以下 baseline 進行比較：

• In-Context：輸入 context、prompt 和問題。
• Naive：只輸入 prompt 和問題，不提供文本。
• SFT：針對每個 context 生成多個對話，并用這些對話臨時訓練一個同規模的 LoRA，然后輸入問題進行回答。
• Gen Adapter：此前類似工作的 baseline。已有方法大多只能處理較簡單任務，而 Generative Adapter 是我們找到的唯一能夠從通用文本生成 LoRA 的方法，故用它作為 baseline。

以上是第一階段的結果，可以看出 SHINE 逼近了 In-Context 的黃金標準，且效果遠優于 Naive 和 SFT。從時間消耗中可以看出，相比于 SFT 訓練需要消耗大量時間，SHINE 僅需一次前向傳播，時間消耗幾乎可以忽略不計。同時在推理時，SHINE 由于已經把文本知識內化到了參數里，無需再輸入一遍文本，推理時間相比 In-Context 大量減少。更多細節詳見原文，我們還分析了計算開銷（FLOPs）等。大量實驗和分析證明 SHINE 在取得優異結果的同時，極大減少了 SFT 或者 In-Context 的開銷，是非常高效的方法。

以上為第二階段的實驗結果。我們在 6 個具有代表性的單步推理和多步推理 QA 數據集上評估了 F1-score。結果表明，SHINE 在所有任務上都取得了出色表現，其性能非常接近，甚至在部分數據集上超過了黃金標準 In-Context 方法，同時明顯優于 Naive 以及此前的 baseline 方法。此外，隨著數據規模的增加，SHINE 的性能也持續提升，進一步驗證了該架構在規模化（scaling）方面具有很強的潛力。

我們將 SHINE 與近期受到廣泛關注的TTT（Test-Time Training）方法進行了比較，并選取了 TTT 報告中的效果最好的設置（n=200）。TTT 通常需要多篇文章作為輸入，并結合 SFT、RL，甚至在測試時動態生成數據進行訓練。相比之下，SHINE 無需任何額外訓練，只需一次前向傳播即可生成 LoRA。

在計算成本方面，SHINE 生成 LoRA 只需要一次前向傳播，所需的時間和算力相較于 TTT 幾乎可以忽略不計，但 SHINE 卻取得了更好的效果。這一結果表明，我們的方法在效率和性能上都具有顯著優勢，也為持續學習（continual learning）的未來提供了新的思路。

我們還通過不同的 backbone LLM 和多組超參數實驗評估了 SHINE 的可擴展性（scalability）。結果表明，無論是增大基礎模型規模，還是提高 LoRA 維度、增加 M2P Transformer 的層數等，都能夠持續提升 SHINE 的性能。

這種良好的 scaling 特性為 SHINE 的大規模應用提供了廣闊空間，而這一點是許多以往架構（例如反復使用小型 MLP 的方法）所不具備的。未來若能將 SHINE 進一步擴展到更大的規模并投入實際應用，預計將為實際場景帶來顯著的效率提升和便利。

總結、思考與展望

本文提出了一種新的超網絡架構 SHINE。該方法只需一次前向傳播，就可以將任意文本轉換為 LoRA。生成的 LoRA 能夠存儲文本中的知識，并引導大語言模型（LLM）基于這些內容進行多輪對話。實驗結果表明，SHINE 在幾乎不增加時間和 token 開銷的情況下即可生成高質量 LoRA，具有很高的效率。其訓練流程類似于大模型的「預訓練 - 指令微調」范式，能夠通用地處理各種文本。隨著訓練數據規模、LLM 規模以及超網絡規模的增加，SHINE 的能力也會持續提升，展現出良好的規模化潛力和廣闊的應用前景

參數化記憶是持續學習中的重要概念，即通過將過往經驗轉化為模型參數，使模型在參數更新中不斷積累知識，實現持續學習。這一過程與人類學習類似：人在經歷事件后，其認知也會隨之更新。本文提出的 SHINE 架構中，hypernetwork 旨在以較可控的參數量和計算量，實現對 context 向記憶轉化過程的建模，從而實現持續學習。實驗結果表明，在 SQuAD 任務上，SHINE 以遠少于 TTT 的時間取得了顯著更優的效果。這種利用神經網絡建模記憶產生過程的思想，為持續學習的發展提供了新的思路。

我們認為，以SHINE為代表的，利用 hypernetwork 為 LLM 生成參數的方法將在未來變得越來越重要。事實上，在 SHINE 發布不久后，Sakana AI 便提出了 Doc-to-LoRA，同樣通過 hypernetwork 將文檔轉換為 LoRA 參數，其核心思路與 SHINE 十分相似。盡管其架構設計、訓練數據規模和整體流程相比 SHINE 仍有差距，但其引入 ICL 蒸餾的思路頗具啟發性。無獨有偶，騰訊近期發布的 HY-WU 也基于類似的 hypernetwork 思想，不過應用于圖像生成任務。

可以預見，未來會有越來越多的研究探索「通過 hypernetwork 為大模型實時生成參數」這一范式，并逐步走向實際應用。同時，SHINE 仍有許多值得改進的方向，例如：更好地處理長文本、引入思維鏈或推理機制、拓展到更多模態和任務場景，以及進一步優化模型架構（當前版本雖已有顯著改進，但仍未必是最優設計），并在 GPU 適配、訓練與推理 pipeline 等方面持續優化。我們期待更多研究者關注這一方向，與社區共同探索其潛力，推動相關研究的發展。

作者簡介

本文第一作者劉曄瑋是北京大學 MμLab 的本科實習生，師從人工智能研究院助理教授張牧涵。MμLab 由張牧涵教授創立，其名稱中的 「mμ」（μ）取自統計學中的均值符號，寓意實驗室致力于從紛繁復雜的現象中發現普適規律。研究方向涵蓋圖神經網絡、大語言模型、擴散模型等前沿領域。實驗室隸屬于北京大學人工智能研究院。