把思考折疊進(jìn)序列：WeLM 617B MoE的隱式Scaling路徑

新智元報道

大模型變強(qiáng)，過去靠兩條路。

做大——Scaling Law出現(xiàn)后，參數(shù)從百億推向千億，算力支出一路飆升。

想久——o1帶火思考模型，用更長的思維鏈、更多推理時間換結(jié)果。

問題是，除了Scaling參數(shù)和思維鏈之外，到底有沒有第三條路？

微信WeLM團(tuán)隊(duì)給了一個全新的答案——

把額外算力折疊進(jìn)序列內(nèi)部，讓模型在token之間完成隱式思考。輸出不變長，每個token想得更深。

這套方法叫Hidden Decoding，隱式序列縮放。

而WeLM做到的關(guān)鍵一步，是把它推到了前沿規(guī)模。

從3月的80B參數(shù)，到現(xiàn)在的617B MoE，不僅增量續(xù)訓(xùn)只用了完整訓(xùn)練量的5.3%，而且9個評測全部超越自回歸基線。

把思考折疊進(jìn)序列

WeLM 617B MoE的隱式Scaling路徑

7月14日，微信WeLM團(tuán)隊(duì)放出了Hidden Decoding系列的第二篇博客，并首次展示了一個新模型的進(jìn)展：一個總參數(shù)617B、評估表現(xiàn)達(dá)到開源頭部水平的模型。

博客地址：https://welm.weixin.qq.com/posts/hidden_decoding_at_scale/

這并非該系列的首度發(fā)聲。

今年3月2日，WeLM 團(tuán)隊(duì)就發(fā)表了系列的第一篇博客，彼時Hidden Decoding還是一套相對樸素的早期實(shí)現(xiàn)，只在80B規(guī)模上跑通了初步驗(yàn)證。

四個月過去，新博客不僅把方法做扎實(shí)，更第一次展示了將該方案上推到600B+模型的效果。

這篇博客的核心，是介紹Hidden Decoding如何被推進(jìn)到100B+ MoE的前沿規(guī)?！?/p>

把每個token在序列維度上展開成多條并行的「流」，讓同一套Transformer權(quán)重在一次前向傳播里完成多步隱式推理，而只在最后一條流上計(jì)算損失。

換句話說，模型在落筆寫下下一個token之前，先在自己的序列內(nèi)部折疊進(jìn)了一段不為人見的思考。

如果說過去一年大模型的兩條主線是「把參數(shù)做大」和「把思維鏈做長」，Hidden Decoding展示的是第三條路：在不動參數(shù)的前提下，把額外算力藏進(jìn)序列本身，讓推理在模型內(nèi)部多走幾步。

參數(shù)與思維鏈之后，第三條路指向隱式序列

過去一年，大模型社區(qū)的努力可以粗略分成兩條線。

一條是把模型本身做大，總參數(shù)沖到萬億、激活參數(shù)沖到30B以上；另一條是在后訓(xùn)練階段堆算力，靠強(qiáng)化學(xué)習(xí)和更長的思維鏈把推理能力「逼」出來。

隨著o1、DeepSeek-R1以及一眾「思考模型」的走紅，這后一條路線幾乎成了默認(rèn)敘事。

但兩條線共享同一個隱含前提，都需要「更多」。更多參數(shù)、更多高質(zhì)量推理數(shù)據(jù)。

Hidden Decoding的提出，恰好繞開了這個前提。它不在數(shù)據(jù)側(cè)做文章，而是回到預(yù)訓(xùn)練與繼續(xù)預(yù)訓(xùn)練階段，問了一個更樸素的問題——

同一套權(quán)重、同一批數(shù)據(jù)，能不能通過更聰明的算力組織方式，逼出更多能力？

這條路并非沒人走過。

循環(huán)模型、各類「在序列維度做擴(kuò)展」的嘗試，都屬于同一種思路。讓同一套權(quán)重在一次前向里多走幾步。

卡點(diǎn)也很清楚。循環(huán)模型串行不可并行，序列擴(kuò)展又容易讓注意力按序列長度的平方膨脹，在大模型上訓(xùn)不動、也用不起。

因此相關(guān)討論雖多，真正在前沿規(guī)模跑通的卻很少。WeLM這篇博客文章，正是要把這條被繞開的路，在100B+ MoE的體量上重新打通。

先認(rèn)識一下WeLM：微信大模型的四代演進(jìn)

WeLM是微信AI團(tuán)隊(duì)持續(xù)研發(fā)的通用大語言模型系列，承載著微信在大模型時代的核心技術(shù)戰(zhàn)略，也是微信參與前沿人工智能競爭最為關(guān)鍵的技術(shù)底座。

從2022年首次公開亮相至今，WeLM已連續(xù)迭代四代。

雖然團(tuán)隊(duì)過往對外發(fā)聲始終秉持審慎的態(tài)度，但從近期集中發(fā)布的技術(shù)博客來看，其已清晰勾勒出一條技術(shù)演進(jìn)路線——

從V3時代的訓(xùn)練體系搭建，到V4時代的效率與質(zhì)量創(chuàng)新，再到600B級模型的Scaling突破與Hidden Decoding的推理范式創(chuàng)新。

這標(biāo)志著WeLM已形成覆蓋預(yù)訓(xùn)練、后訓(xùn)練和推理優(yōu)化的完整技術(shù)版圖。

更重要的是，WeLM絕非止步于論文指標(biāo)與實(shí)驗(yàn)室評測的試驗(yàn)性模型。

當(dāng)前已進(jìn)入灰度測試階段的微信AI助手「小微」，其核心模型能力由WeLM提供。依托微信這一擁有超大規(guī)模用戶基數(shù)的國民級產(chǎn)品生態(tài)，WeLM已成功進(jìn)入由真實(shí)用戶、真實(shí)流量與真實(shí)復(fù)雜任務(wù)所構(gòu)成的終極試煉場。

從這次Hidden Decoding系列技術(shù)博客的發(fā)布中，我們可以窺見WeLM團(tuán)隊(duì)將前沿模型技術(shù)和規(guī)模化應(yīng)用實(shí)踐相結(jié)合的思考。

Hidden Decoding：把思考折疊進(jìn)序列

Hidden Decoding的做法，可以概括為三步：

1. 給定輸入序列和n份詞表嵌入，把第i個token的第k條「流」表征放在物理位置(i?1)n+k上，構(gòu)成長度為nL的擴(kuò)展序列；

2. 擴(kuò)展序列在標(biāo)準(zhǔn)因果注意力和連續(xù)的位置編碼下，送進(jìn)同一個Transformer，不新增任何主干參數(shù)；

3. 訓(xùn)練時只在每個token的最后一條流上計(jì)算下一個token的預(yù)測損失，前n?1條流不接收任何直接監(jiān)督。

換句話說，前面的流像是給最后一流「打草稿」——逐步精煉表征、保留更寬的候選集合，等最后一流再收斂到最終預(yù)測。

Hidden Decoding vs Loop Latent Computation

此前，團(tuán)隊(duì)已經(jīng)在6B、8B、80B上驗(yàn)證了這套方法的損失下降與評測提升。這次的目標(biāo)，是把它推進(jìn)到真正的前沿規(guī)模。

關(guān)鍵工程：讓擴(kuò)展在100B+體量上可訓(xùn)

把序列從L拉到nL，非注意力計(jì)算大致線性增長，但稠密注意力會按序列長度的平方膨脹。

以n=4為例就是16倍，對長序列的大模型，這直接不可訓(xùn)。

團(tuán)隊(duì)的解法叫Stream-Factorized Attention：讓大多數(shù)層只在同一條流內(nèi)部做注意力，只讓少數(shù)層做跨流混合。

• 流內(nèi)注意力層：只關(guān)注同一條流中更早的位置；

• 跨流注意力層：額外跨流關(guān)注，沿用基座原本的注意力形態(tài)，滑動窗口或全注意力。

關(guān)鍵在于，團(tuán)隊(duì)不新增注意力層，而是對基座里已有的局部注意力層和一小部分全注意力層啟用跨流功能。

這樣就把新增的注意力成本從n的平方量級壓到了接近線性的n倍。而這也是Hidden Decoding能在100B+稀疏模型上落地的核心。

此外，團(tuán)隊(duì)還利用了WeLM主干的一項(xiàng)既有設(shè)計(jì)KV-mirror來進(jìn)一步加速。也就是，后段三分之一的層復(fù)用前段三分之一層的隱狀態(tài)來構(gòu)造鍵值緩存。

由于鏡像層的鍵值只依賴早期層的隱狀態(tài)，而只有最后一條流被監(jiān)督、中間流只通過它們貢獻(xiàn)的鍵值起作用，團(tuán)隊(duì)只讓最后一條流通過鏡像層，前段仍處理全部n條流。

在80B、32k訓(xùn)練設(shè)置下，這把單步時間從15秒降到12秒，約兩成的提升，疊加在流因子化注意力已提供的近線性成本之上。

結(jié)果：全面超越基線

團(tuán)隊(duì)對每個基座比較兩種形態(tài)，除Hidden Decoding外一切相同。隨后用同一套短指令微調(diào)配方適配，不涉及強(qiáng)化學(xué)習(xí)。

結(jié)果顯示，Hidden Decoding在兩個規(guī)模上都實(shí)現(xiàn)了全面的提升。

其中，80B平均提升約0.99個百分點(diǎn)、在617B上提升約1.03個百分點(diǎn)，較大的提升出現(xiàn)在SuperGPQA、MMLU-Pro等更難的推理與知識任務(wù)上。

成本：近線性的訓(xùn)練開銷，

且無需重跑完整預(yù)訓(xùn)練

這樣一套方法，訓(xùn)練成本到底如何？實(shí)測數(shù)據(jù)給出了明確答案。

n=4時，有效序列在80B上花費(fèi)5.1×單batch時間、在617B上花費(fèi)4.4×，接近n=4的線性參考，遠(yuǎn)低于稠密注意力的16×膨脹。

更關(guān)鍵的是，Hidden Decoding并非從零訓(xùn)練，而是在已有自回歸基座checkpoint上做增量續(xù)訓(xùn)（CPT）。

推理吞吐：并行計(jì)算，小batch下反而有優(yōu)勢

相比循環(huán)模型，Hidden Decoding的額外計(jì)算是并行的。

循環(huán)模型逐步重復(fù)主干，每步都要等上一步，額外成本無法隱藏；Hidden Decoding把計(jì)算攤到n條stream上，一次前向并行處理。

實(shí)測吞吐矩陣顯示：

• 大batch下，解碼受計(jì)算限制，額外計(jì)算會降低吞吐（所有增加計(jì)算的方法都如此）；

• 小batch下，解碼受顯存帶寬限制，計(jì)算大量閑置，并行stream恰好利用這些空閑算力，相對基線損失更小。

這意味著在實(shí)際在線服務(wù)場景中，Hidden Decoding的推理成本并非簡單的線性增長，而是與batch size和序列長度分布強(qiáng)相關(guān)。

探針：折疊進(jìn)去的思考，究竟在算什么

Hidden Decoding依賴一個反直覺的選擇：只訓(xùn)練最后一條流，前面的流零監(jiān)督。

主結(jié)果說明這能提升準(zhǔn)確率，但收益到底來自「更長的序列」「更多的預(yù)測目標(biāo)」，還是「中間流真的在做某種精煉」？

注意力組合消融中，團(tuán)隊(duì)比較了三種配置：27層全跨流、4層、1層。

所有變體都大幅超過自回歸基線，全跨流最好，但只用1層或4層全注意力的變體恢復(fù)了大部分收益。少數(shù)幾層跨流就足夠了，這讓流因子化注意力能在保住準(zhǔn)確率的同時保持廉價。

鍵值緩存保留的消融則表明，為不同流保留獨(dú)立狀態(tài)優(yōu)于共享狀態(tài)，兩種布局下平均分都小幅下降，說明獨(dú)立的中間狀態(tài)確有幫助。

最有趣的是流與語言模型頭的探針實(shí)驗(yàn)。在8B基座加Hidden Decoding（n=8）上，團(tuán)隊(duì)觀察到兩點(diǎn)：

其一，同一token的各流在Transformer中間層顯著分化、臨近輸出層又部分靠攏，且最終流對其他流分配了可觀的注意力，構(gòu)成從中間流到預(yù)測流的讀取通路；

其二，把共享的輸出頭施加到各流時，中間流的最優(yōu)預(yù)測常與最終流不同，最大差異率約63%，且其不確定性普遍高于最終流——說明在最終預(yù)測收斂前，中間流保留了更寬的候選分布。

綜合起來，消融與探針指向同一解釋：中間流在最終流收斂到預(yù)測之前，保留并精煉著一個更寬的候選集合。

研究團(tuán)隊(duì)認(rèn)為，這正是「把前面的流用作潛空間計(jì)算狀態(tài)」的含義，也是Hidden Decoding區(qū)別于簡單「加長序列」或「多目標(biāo)預(yù)測」的關(guān)鍵。

展望：更強(qiáng)的基座，

以及與強(qiáng)化學(xué)習(xí)的結(jié)合

博客最后透露了一點(diǎn)后續(xù)進(jìn)展。

在采用更高質(zhì)量、更大規(guī)模的數(shù)據(jù)做后訓(xùn)練后，80B與617B的自回歸基座已經(jīng)展現(xiàn)出顯著更高的基準(zhǔn)成績與更穩(wěn)定的使用體驗(yàn)。

這組數(shù)據(jù)說明，WeLM的自回歸基座本身就已經(jīng)很有競爭力，而Hidden Decoding是在這個扎實(shí)基座之上的進(jìn)一步增益。

研究團(tuán)隊(duì)表示，接下來他們會在這套更強(qiáng)的基線上繼續(xù)驗(yàn)證Hidden Decoding的增益，并將其與強(qiáng)化學(xué)習(xí)充分結(jié)合。

回顧WeLM團(tuán)隊(duì)近期公開的技術(shù)博客，可以看到一條逐漸清晰、前后呼應(yīng)的技術(shù)路線。

• 《以適度資源構(gòu)建高效稀疏MoE模型》探索了如何以更稀疏、更高效的模型獲得有競爭力的能力，在同等智能下壓低資源消耗。

• Hidden Decoding 系列則從創(chuàng)新的推理范式入手，在同等模型參數(shù)下繼續(xù)上推智能上限。

前者讓智能服務(wù)得起更多用戶，后者讓有限資源解決更難的問題。

沿著兩個方向回看，這系列博客并非彼此孤立的技術(shù)嘗試，而是一套圍繞資源效率展開的系統(tǒng)性探索，也呼應(yīng)了團(tuán)隊(duì)博客首頁「極致的資源效率」的命題。

對于需要面對超大規(guī)模真實(shí)用戶與復(fù)雜任務(wù)的微信團(tuán)隊(duì)而言，極致的資源效率不是智能增長的約束，或許恰恰是通往更高智能的另一條路徑。

博客原文：

https://welm.weixin.qq.com/posts/hidden_decoding_at_scale/

首篇播客：

https://welm.weixin.qq.com/posts/hidden_decoding/

論文PDF：

https://arxiv.org/abs/2607.08186

GitHub倉庫：

https://github.com/Tencent/Sequential-Hidden-Decoding

編輯：摩西 大衛(wèi)