CoFrGeNets：用連分數重構Transformer模型架構

以GPT、Gemini、Claude和Llama為代表的主流Transformer大語言模型，憑借強大的分類與語言生成能力，已成為自然語言處理領域的標準方案。然而，這類模型嚴重依賴多頭注意力機制和前饋網絡，涉及大量參數，消耗可觀的計算資源，導致能耗高、訓練周期長等問題長期困擾業界。

是否存在一種方法，能夠在不犧牲性能的前提下大幅降低模型運行所需的資源？IBM Research的一支研究團隊給出了他們的答案——CoFrGeNets，即"連分數生成網絡"（Continued Fraction Generative Networks）。

CoFrGeNets是一種全新的模型架構，它以連分數這一數學表示方法為核心，取代了Transformer模型中的傳統組件。連分數能夠以緊湊的形式表達復雜函數，多個組件相互嵌套組合，可以在不成比例增加參數量的前提下提升表達能力。相關研究成果已整理成論文，并于本周在韓國首爾舉行的國際機器學習大會（ICML）上正式發布。

IBM Research首席研究科學家Amit Dhurandhar表示，這項研究背后有兩個核心驅動力：一是當前大語言模型的架構設計過度依賴Transformer這一單一主導思路，引入新的替代方案有助于拓寬模型設計的可能性；二是研究團隊希望系統性地探索連分數這一函數類的能力邊界。

CoFrGeNet的核心工作原理

CoFrGeNet的核心在于用連分數來表示函數。連分數通過嵌套的除法序列來表達一個值，能夠以緊湊的方式捕捉復雜的數學關系。將其應用于神經網絡后，這些結構形成了計算"梯級"，每一層的計算結果依賴于前一層的倒數。

多個這樣的"梯級"集合在一起，能夠用遠少于傳統神經網絡的參數量來近似非常復雜的函數，從而成為前饋網絡等密集層的有力替代。在實際運行中，輸入數據被逐級傳遞，每一步與模型參數相乘后加上前一步的倒數，由此保留了Token生成的因果鏈結構。

研究團隊重點驗證了以下兩個方向：

注意力機制替換：在保留自回歸語言生成所需因果結構的前提下，實現Token與Token之間的交互。

前饋機制替換：用更少的參數完成特征混合，取代標準前饋網絡。

研究團隊最初使用輕量級開源工具包nanoGPT進行小規模實驗，驗證不同架構方案的可行性，再逐步擴大規模。Dhurandhar解釋道："如果在這個階段行不通，規模更大時肯定也不行。"

性能表現：更少參數，同等甚至更優的效果

為全面評估CoFrGeNet的性能，研究團隊將其與GPT2-xl（1.5B）和Llama-3.2B等主流基線模型進行對比，在OpenWebText、GneissWeb等大型數據集上進行預訓練，并通過GLUE分類基準和多數據集困惑度測試進行評估。

結果令人矚目：在下游分類任務中，CoFrGeNet變體（尤其是CoFrGeNet-F）在參數量遠少于對手（通常少數億個參數）的情況下，性能與GPT2-xl持平甚至略勝一籌。困惑度指標（衡量模型預測樣本的準確程度）同樣顯示，CoFrGeNet在多項測試中優于GPT2-xl以及Synthesizer-D、稀疏注意力等高效注意力基線。此外，CoFrGeNet還在訓練速度和推理速度上均有所提升。

即便是在更大規模的Llama-3.2B實驗中，CoFrGeNet在開放域問答和推理等任務上依然保持競爭力，同時體量更小、訓練更快。

攻克數值穩定性難題

連分數在現代硬件上存在計算成本高和數值不穩定的固有挑戰——例如，分母出現極小值時結果可能趨近于無窮大，這對GPU運算十分危險。

對此，研究團隊采用了一種名為"continuants"（連分數伴隨量）的等價表示方式，將連分數化簡為兩個多項式之比，無論梯級有多深，只需執行一次除法運算，大幅降低了計算開銷，使CoFrGeNet能夠高效地在現代數字硬件上訓練和推理。

在訓練穩定性方面，團隊還引入了"增量訓練"方法，在訓練過程中逐層引入模型層，而非一次性全局優化。

即插即用，兼容現有架構

CoFrGeNet的另一大優勢是靈活性強，具備"即插即用"的特點。開發者可以選擇性地替換注意力層、前饋網絡，或同時替換兩者，也可以將新組件與傳統組件混合使用。

研究論文共同作者、IBM Research高級技術研究員Vijil Chenthamarakshan表示："這一方法與現有技術高度互補。大語言模型其他方面出現新進展時，完全可以與我們的模型結合使用，兩者并不沖突。"

與剪枝、稀疏化等在不改變架構前提下削減參數的效率優化方法相比，CoFrGeNet提供了一種在函數表示層面的全新思路，為研究開辟了新方向，同時與其他優化策略保持兼容。

前景展望：混合專家架構與硬件加速

從實際應用潛力看，CoFrGeNet在替換前饋網絡組件方面前景尤為突出——前饋網絡在許多模型中占據了相當大比例的參數量。與IBM Granite系列模型團隊的初步合作表明，CoFrGeNet有望在相近規模下減少參數數量或提升性能。

該方法在混合專家（MoE）架構下表現更為出色，因為每位"專家"通常只處理部分Token，壓縮潛力更大，而MoE架構正是當前大多數前沿模型的核心技術。

在硬件層面，研究團隊正與倫斯勒理工學院（RPI）合作，探索將除法運算遷移至模擬處理器或現場可編程門陣列（FPGA）等非GPU硬件上執行，充分利用這類硬件在除法運算上的速度優勢，再由GPU承擔其擅長的乘法運算。

Dhurandhar表示："這樣不僅能大幅提速，還能顯著降低功耗。"

綜合來看，CoFrGeNet既是提升模型效率的實用工具，也代表著一種拓寬神經網絡架構認知邊界的概念性突破，有望為大語言模型的發展開辟一條更高效、更節能的新路徑。

Q&A

Q1：CoFrGeNets是什么？和Transformer模型有什么區別？

A：CoFrGeNets即"連分數生成網絡"，是IBM Research提出的一種全新神經網絡架構。與Transformer依賴多頭注意力機制和前饋網絡不同，CoFrGeNets用基于連分數的數學結構來替代這些組件。連分數能以緊湊的嵌套除法序列表達復雜函數，使模型用更少的參數實現更高的表達能力，從而降低計算資源消耗，縮短訓練時間，并在多項基準測試中達到與Transformer相當甚至更好的性能。

Q2：CoFrGeNets的實際性能表現如何？

A：在下游分類任務中，CoFrGeNet變體（尤其是CoFrGeNet-F）在參數量遠少于GPT2-xl的情況下，性能與其持平甚至略優。困惑度測試中，CoFrGeNet同樣優于GPT2-xl及多種高效注意力基線模型。即使與Llama-3.2B相比，CoFrGeNet在開放域問答和推理任務上仍保持競爭力，同時訓練速度和推理速度更快，整體更輕量高效。

Q3：CoFrGeNets能直接集成到現有大語言模型中使用嗎？

A：可以。CoFrGeNets設計上具備較強的靈活性，支持"即插即用"式集成，開發者可以選擇只替換注意力層、只替換前饋網絡，或兩者同時替換，也可以將CoFrGeNet組件與傳統Transformer組件混合使用。研究人員表示，該方法與現有大語言模型技術高度互補，不與其他優化策略沖突，可與剪枝、稀疏化等方法結合使用。