用自旋電子硬件給AI訓(xùn)練“減負”--激活函數(shù)概率梯度反向傳播算法硬件加速 | 進展

人工智能已經(jīng)全面融入我們的工作與生活，深度神經(jīng)網(wǎng)絡(luò)已經(jīng)支撐起海量智能應(yīng)用，成為驅(qū)動科技革命與產(chǎn)業(yè)升級的核心驅(qū)動力。而支撐這一切的底層算法之一，就是誤差反向傳播(Back-propagation, BP)算法。BP算法的核心流程包含信息前向傳播與誤差反向傳遞，其整個運算過程可分解為乘法、加法、非線性函數(shù)激活與激活函數(shù)的求導(dǎo)等四類基本操作，其中大量乘法運算是造成計算密集與高能耗的主要原因。

中國科學(xué)院物理研究所研究/北京凝聚態(tài)物理國家研究中心韓秀峰團隊認為對激活函數(shù)及其梯度進行合理近似或者無偏估計、在不改變網(wǎng)絡(luò)結(jié)構(gòu)的前提下動態(tài)剔除無效節(jié)點及與之相關(guān)的運算，不失為提升BP算法效率的有效策略。該團隊提出一種全新的優(yōu)化思路：利用自旋軌道力矩磁性隧道結(jié)(SOT?MTJ)的本征物理隨機性，通過SOT-MTJ硬件隨機采樣實現(xiàn)激活函數(shù)梯度的概率化近似，構(gòu)建出更高效的激活函數(shù)概率梯度反向傳播(p?GAF?BP)算法。以往，SOT-MTJ主要用于高性能磁隨機存儲器(MRAM)研發(fā)。通過另辟蹊徑，團隊注意到SOT?MTJ還具有連續(xù)可調(diào)的隨機翻轉(zhuǎn)特性——從低阻態(tài)翻轉(zhuǎn)到高阻態(tài)的概率受外加電流的連續(xù)調(diào)制，能夠?qū)⑵溆米鞲怕士烧{(diào)的真隨機數(shù)發(fā)生器，其高低阻態(tài)的涌現(xiàn)概率分布恰與sigmoid等典型激活函數(shù)σ高度吻合，可將其用于此類激活函數(shù)尤其是其梯度的無偏估計，并通過SOT-MTJ硬件執(zhí)行此類操作。

圖：基于自旋電子硬件采樣的激活函數(shù)概率梯度反向傳播算法。(A) 高勢壘自旋軌道力矩磁隧道結(jié)(SOT-MTJ)概率翻轉(zhuǎn)特性圖。(B) 概率梯度激活函數(shù)反向傳播(p-GAF-BP)算法中，誤差沿采樣結(jié)果為 (1,0) 的節(jié)點進行反向傳播。(E-F) BP與p-GAF-BP在 MNIST 數(shù)據(jù)集識別準確率達 90% 時，反向傳播梯度計算所需運算次數(shù) (C) 及對應(yīng)能耗 (D) 對比。

實驗與模擬結(jié)果表明，p?GAF?BP算法在保持模型精度基本不變的情況下，實現(xiàn)了運算量與能耗的顯著降低。在異或門(XOR)邏輯任務(wù)中，該算法通過硬件實驗成功完成網(wǎng)絡(luò)訓(xùn)練；在MNIST手寫數(shù)字識別任務(wù)中，包含1至3層隱藏層的網(wǎng)絡(luò)均達到97%以上的識別準確率，與經(jīng)典BP算法相當。更重要的是，在達到相同識別精度的條件下，p?GAF?BP將梯度計算中的乘法與加法運算量減少約 1個數(shù)量級，能耗降低約79%(圖(C-D))。

這項工作將自旋電子器件的物理特性與神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)訓(xùn)練算法深度結(jié)合，另辟“硬件?算法協(xié)同”的AI節(jié)能訓(xùn)練新范式。未來，隨著自旋電子器件的集成化與芯片化，該方法可進一步應(yīng)用于邊緣智能芯片、低功耗訓(xùn)練設(shè)備，甚至擴展至大規(guī)模Transformer與大模型訓(xùn)練場景，為綠色普惠AI提供支撐。上述研究成果以“Back Propagation Eased by Spintronic-Hardware-Sampled Probabilistic Gradient of Activation Function”為題發(fā)表在Newton期刊(https://doi.org/10.1016/j.newton.2026.100520)，并申請相關(guān)專利。中國科學(xué)院物理研究所M02組博士生徐迎千為第一作者，中國科學(xué)院物理研究所韓秀峰研究員、萬蔡華副研究員共同通訊作者，該項研究得到了國家重點研發(fā)項目(MOST)、國家自然科學(xué)基金(NSFC)和中國科學(xué)院國際交流計劃(PIFI)的資助。

編輯：endlesscliff