北京
聞樂 發自 凹非寺
量子位 | 公眾號 QbitAI
字節Seed都開始用化學思想搞大模型了——
深度推理是共價鍵、自我反思是氫鍵、自我探索是范德華力？！
傳統的大模型長思維鏈推理基本把AI的思考過程等同于線性結構。
但很多情況下，后續的一個關鍵結論，可能需要回過頭去驗證早早提出的假設。
CoT把這種非線性的依賴關系忽略了。
字節Seed在論文《The Molecular Structure of Thought》中首次給大模型的長鏈思維定義了分子式結構。
在這種分子拓撲中，三種鍵是怎么相互配合的？
好的推理像分子結構
團隊把DeepSeek-R1、gpt-OSS等強推理模型的長鏈思維拆成一步一步的，然后給每一步之間的“跳躍”打上標簽。
打完標簽發現，所有有效的長鏈思維里，其實就三種基礎動作來回組合。
第一種叫深度推理，像共價鍵一樣結實。
通俗來說就是類似“因為A所以B，因為B所以C”的硬邏輯推進。
團隊在語義空間里做了一個很形象的量化分析，把模型的每一步思考都當成一個點，看這些點最后會散成多大一個圈。
圈子越小，說明模型越沒跑題，思考越聚焦。
結果發現，加上深度推理之后，這個散點圈直接縮水22%。
深度推理確實起到了收束雜念、鎖定核心邏輯的關鍵作用。
第二種叫自我反思，像氫鍵一樣有彈性但穩定。
類似于“等等，我剛才那步是不是想錯了”“讓我重新檢查一下前面的假設”，能把后面的思考拐回來跟前面的節點呼應上，形成一種折疊感。
團隊測了模型自我反思時的思維軌跡，把每一步思考都看成語義空間里的一個點，然后計算反思時會跳回多遠、落在哪里。
發現81.72%的反思步驟，都會精準落回之前已經形成的靠譜思路區域里。
還對比了反思前后的思維范圍，反思前，語義空間體積是35.2，反思后，直接壓縮到31.2。
再看聚類結果就更清楚了，反思之后，同一類正確思路的點會緊緊抱團，而那些零散、跑偏的分支會被自動推開。
也就是說，自我反思氫鍵能把靠譜邏輯揉得更緊實、把跑偏想法篩出去、穩住整個推理大局，讓長鏈思考不再松散混亂。
第三種叫自我探索，像范德華力一樣弱，但覆蓋面廣。
這個就類似于“要不咱們試試這個角度”“有沒有另一種可能性”，在語義空間里找新的解題路徑。
量化分析顯示，加上探索行為之后，模型在語義空間里的思維覆蓋范圍能從23.95擴大到29.22。
雖然思路一打開穩定性就會下降，容易跑偏想歪，但能讓模型跳出死胡同，不卡在局部最優解里，真正找到全新的解題路線。
研究發現，所有強推理模型的三種思維行為比例和轉換規律都高度一致，相關性超過0.9，說明有效長鏈推理存在通用的穩定拓撲結構。
你可能覺得“共價鍵”“氫鍵”只是個比喻，但論文發現，這個比喻背后藏著嚴格的數學對應。
在Transformer里，注意力權重的計算方式長這樣：
眼熟嗎？這和統計力學里的玻爾茲曼分布一模一樣：
如果把負注意力分數看作能量，那么注意力權重就是模型在語義空間里按“能量”高低選擇路徑的概率就是能量越低，被選中的概率越高
論文進一步分析了三種行為對應的“注意力能量”。
- 深度推理通常發生在相鄰步驟之間，能量最低;
- 自我反思會跳回較遠的步驟，能量中等;
- 自我探索跳得更遠，能量最高.
這就解釋了為什么強推理模型的三種鍵比例如此穩定。
因為模型的注意力機制本身就在追求最低能量的推理路徑，而深度推理、反思、探索正好對應了不同距離下的能量層級。
語義同分異構體和智能熵減
接著團隊還拋出了語義同分異構體的概念。
這詞兒是借的化學，同樣的分子式，原子連接方式不同，就能搞出性質完全不同的物質。
放到推理里就是，同樣的題目，同樣的概念點，用不同的”化學鍵“組合去解，出來的推理鏈條可以完全不一樣，但都能解對。
但不是所有異構體都適合拿來教模型。
這里就要引入一個關鍵概念熵減
在熱力學里，孤立系統總是自發走向混亂（熵增），而一個有效的長鏈推理過程，本質上就是在語義空間里不斷降低不確定性——
從一堆可能的方向中，逐步收斂到唯一正確的答案。這個過程就是“熵減”。
而“注意力能量”機制，正是模型實現熵減的工具。
模型的注意力天然偏好能量更低的路徑。
當深度推理（低能量）被反復選中，反思（中等能量）把前后邏輯折疊起來，探索（高能量）偶爾探路但不喧賓奪主，整個系統的“推理熵”就會快速下降，邏輯火速收斂。
這如論文里說的，只有那些能推動熵快速降低的“化學鍵”組合，才是模型真正能學會、能持續進化的穩定態。
這在實驗中有個很典型的現象，從R1和OSS兩個不同強推理模型中蒸餾出的推理軌跡，語義層面的內容相似度高達95%，但混在一起訓練，模型反而崩潰了。
這說明，長鏈推理的關鍵是思路結構必須穩定、統一，模型才能學得會。
MoLE-Syn：從零合成穩定推理結構
發現問題就要解決問題。
基于這一整套發現，團隊搞了個叫MoLE-Syn的方法，來從零合成穩定的推理結構。
具體操作就兩步。
第一步，從強推理模型（比如R1、QwQ、gpt-OSS）的推理鏈里，抽出一張行為轉移概率圖。
這張圖里每個節點是一種推理行為（化學鍵），每條邊是從一個行為跳到另一個行為的概率。
第二步，拿著這張圖，讓普通的指令模型照著圖上畫的概率去生成推理鏈。
用這個方法從零合成的訓練數據，喂給Llama或者Qwen，效果逼近直接蒸餾R1的水平。
而且這么做有一個大好處就是成本低。只要拿到那張行為轉移圖，普通模型就能自己生產合格的長鏈推理數據。
團隊把用MoLE-Syn初始化過的模型拿去做強化學習，發現跑起來還特別穩。
相比直接用蒸餾數據初始化的模型，MoLE-Syn版的在RL過程中收益持續增長，震蕩也小得多。
這說明一開始植入的思維結構夠穩，后面的強化學習就不會出現邏輯偏移。
這項研究的負責人為字節Seed算法專家黃文灝，曾在微軟亞洲研究院擔任研究員。
第一作者是哈爾濱工業大學博士、字節Seed實習研究員陳麒光
合作單位還包括北京大學、2077AI Foundation、南京大學、M-A-P、中南大學。
不得不說，這波操作有點當年薛定諤拿物理學公式推生物學那味兒了。
給大模型推理這個卷得飛起的領域，開了個挺清爽的新腦洞。
論文地址：https://arxiv.org/abs/2601.06002
— 完 —
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
