ACL 2026｜塊越大，推理越差？擴(kuò)散語(yǔ)言模型的新難題被T*破解了

本文第一作者夏翰宸為上海科學(xué)智能研究院研究員，主要研究方向有Agentic RL和多模態(tài)擴(kuò)散語(yǔ)言模型。共同一作是上海科學(xué)智能研究院主任研究員陳保友，通訊作者是復(fù)旦大學(xué)教授、上海科學(xué)智能研究院AI科學(xué)家、上海創(chuàng)智學(xué)院全時(shí)導(dǎo)師朱思語(yǔ)。

擴(kuò)散語(yǔ)言模型想用更大的生成塊換取更高并行度，卻常常先丟掉數(shù)學(xué)推理，直接在大塊模型上做強(qiáng)化訓(xùn)練甚至?xí)霈F(xiàn)訓(xùn)練崩塌。

本文中，來(lái)自上海科學(xué)智能研究院等機(jī)構(gòu)的研究者提出T*，給出一套「先小后大」的課程：先在小塊上學(xué)穩(wěn)去噪軌跡，再逐級(jí)擴(kuò)展到 B=8、16、32。4B 模型在 B=8 的 MATH500 設(shè)置下，相較原始 SDAR checkpoint 從 60.73 提升到 76.00。

• 論文標(biāo)題：T*: Progressive Block Scaling for Masked Diffusion Language Models Through Trajectory Aware Reinforcement Learning
• 論文鏈接：https://arxiv.org/pdf/2602.09375

擴(kuò)散語(yǔ)言模型的兩難：塊越大，并行潛力越高，推理也越脆弱

今天的大語(yǔ)言模型大多采用自回歸生成：每次前向計(jì)算確定一個(gè)新 token，再繼續(xù)生成下一個(gè)。它的因果順序清晰，但天然帶有串行瓶頸。

掩碼擴(kuò)散語(yǔ)言模型走的是另一條路線。模型先面對(duì)一段仍包含多個(gè)掩碼位置的序列，再通過(guò)多輪去噪逐步確定答案。采用分塊擴(kuò)散時(shí)，塊大小 B 決定了每一塊中有多少 token 可以共同更新。塊越大，模型在一次前向中同時(shí)定稿多個(gè) token 的空間越大；但模型同時(shí)面對(duì)的未決位置也更多，條件信息更弱，去噪決策更難。

這一矛盾在強(qiáng)化學(xué)習(xí)階段被進(jìn)一步放大。論文分析認(rèn)為，大塊設(shè)置會(huì)帶來(lái)置信度更低、噪聲更大的 rollout；當(dāng)同一個(gè)優(yōu)勢(shì)信號(hào)被分配給更多 token 時(shí)，策略更新更容易發(fā)生概率漂移，最終出現(xiàn)訓(xùn)練崩塌。

論文的 1.7B 實(shí)驗(yàn)給出了一個(gè)直觀例子：直接應(yīng)用 TraceRL 時(shí)，MATH500 準(zhǔn)確率在 B=8 階段由約 56% 快速跌入 40% 出頭，在 B=16 階段末又跌至約 30%；T* 的曲線則在連續(xù)擴(kuò)塊過(guò)程中保持相對(duì)穩(wěn)定。

圖 1｜擴(kuò)塊訓(xùn)練過(guò)程中的 MATH500 驗(yàn)證準(zhǔn)確率。藍(lán)線為 T*，綠色虛線為直接 TraceRL；縱向虛線對(duì)應(yīng) B=4→8→16 的階段切換。

核心方法：T * 先把「小步」走穩(wěn)，再逐級(jí)放大生成塊

T* 的核心并不是增加一個(gè)更復(fù)雜的模型模塊，而是重新安排強(qiáng)化學(xué)習(xí)的難度順序。

它從一個(gè)由自回歸模型初始化、已經(jīng)具備推理能力的小塊擴(kuò)散模型出發(fā)。在固定塊大小 B 的每個(gè)階段，模型先用 TraceRL 重新適配當(dāng)前的去噪軌跡；完成規(guī)定的更新步數(shù)后，再把塊大小擴(kuò)大為原來(lái)的兩倍。

實(shí)驗(yàn)中的典型路徑是：B=4 → B=8 → B=16 → B=32。

實(shí)驗(yàn)結(jié)果：T * 在大塊設(shè)置更穩(wěn)定

論文在 SDAR-1.7B-Chat 和 SDAR-4B-Chat 上進(jìn)行實(shí)驗(yàn)，評(píng)測(cè)覆蓋 MATH500、GSM8K 和 AIME24，統(tǒng)一報(bào)告 Pass@3。對(duì)照組包括原始 SDAR checkpoint，以及在同一目標(biāo)塊大小上直接應(yīng)用 TraceRL 的模型。

經(jīng)過(guò) T* 訓(xùn)練，SDAR-4B-Chat, B=8 在 MATH500 上達(dá)到 76.00%，相比原始模型提升15.27%，相比直接 TraceRL 提升13.90%。在 GSM8K 和 AIME24 上，也取得了更高結(jié)果。

在更大的 B=32 設(shè)置下，1.7B 模型仍能看到一致趨勢(shì)：T* 的 MATH500 準(zhǔn)確率為 59.00，超過(guò)原始模型的準(zhǔn)確率 54.20 和 TraceRL 的 54.10；GSM8K 則由原始模型的 78.31 提升至82.00。

圖 2｜不同模型規(guī)模和塊大小下的性能。黑色為原始模型，綠色為直接 TraceRL，藍(lán)色為 T*。

推理能力提高后，并行性并沒有被「換回」自回歸

一個(gè)自然疑問是：T* 會(huì)不會(huì)只是讓擴(kuò)散模型重新退回逐 token、從左到右的生成方式，從而換回準(zhǔn)確率？

論文使用TPF（tokens per forward）衡量每次模型前向平均能定稿多少個(gè)輸出 token。自回歸模型為 1.0；分塊擴(kuò)散模型可以在同一塊內(nèi)并行確定多個(gè) token，因此 TPF 越高，說(shuō)明塊內(nèi)并行性越強(qiáng)。

在 1.7B 模型上，T* 的 TPF 隨塊大小從 B=8 的2.95，提升到 B=16 的3.38，再到 B=32 的3.80。

表 1｜去噪順序、準(zhǔn)確率與 TPF。LocalStrict 越接近 1.0，生成順序越接近嚴(yán)格從左到右。

論文還報(bào)告，對(duì)于原始 SDAR-1.7B，從 B=8 擴(kuò)到 B=16 和 B=32，TPF 分別提高約 16% 和 29%；在固定輸出長(zhǎng)度下，對(duì)應(yīng)所需前向次數(shù)約減少 14% 和 22%。T* 和 TraceRL 并沒有消除這一隨塊大小增加的并行性趨勢(shì)。

論文進(jìn)一步使用 LocalStrict 衡量去噪順序與標(biāo)準(zhǔn)從左到右順序的接近程度。嚴(yán)格自回歸順序的 LocalStrict 為 1；數(shù)值越低，表示模型保留了更多非單調(diào)的掩碼更新。T* 在 B=8、16、32 下的 LocalStrict 分別為 0.854、0.804 和 0.730，并未回到 1。以 B=32 為例，T* 在 LocalStrict=0.730、TPF=3.80 的同時(shí)取得 59.0 的 MATH500 準(zhǔn)確率。這說(shuō)明準(zhǔn)確率改善不能簡(jiǎn)單解釋為 “模型重新變成自回歸”，而是策略在目標(biāo)塊大小下形成了另一種 token 定稿順序。

圖 4｜TraceRL 與 T* 的 token 首次解掩碼步驟。顏色越深，代表該 token 越晚定稿；兩種方法均保留非單調(diào)更新，但在目標(biāo)塊大小下學(xué)到的調(diào)度不同。

上圖結(jié)果也提供了一個(gè)更具研究意味的觀察：除在外部顯式構(gòu)造樹搜索、圖搜索等推理腳手架外，強(qiáng)化學(xué)習(xí)還可能直接重塑模型內(nèi)部的 token 定稿順序。論文將其視為一條互補(bǔ)方向，而不是對(duì)現(xiàn)有搜索式推理方法的替代。

【ICML 2026首爾 · 云帆AI Talent Meetup】最后報(bào)名中

7月9日晚，首爾ICML會(huì)場(chǎng)旁，上海人工智能實(shí)驗(yàn)室、上海科技大學(xué)、上海創(chuàng)智學(xué)院、階躍星辰、Sharpa Robotics等20余家上海頂尖AI單位現(xiàn)場(chǎng)設(shè)展，開放100+崗位。專場(chǎng)招聘、學(xué)術(shù)分享、圓桌交流、自由Networking一站式搞定。

掃碼即刻報(bào)名。