![]()
智東西
作者 王涵
編輯 漠影
從年初的“小龍蝦”OpenClaw爆火出圈開始,Agent的爆發便勢不可擋。
從單一模型的階段性訓練與推理,到大模型訓練、多模型協同推理和海量Agent持續運行……AI任務正在進入一個“永遠在線”的新階段。
在2026世界人工智能大會(WAIC 2026)上,中國工程院院士、清華大學計算機科學與技術系教授鄭緯民曾提出,單智能體的Token消耗量可達傳統對話應用的百倍至千倍級。隨著海量Agent并發調用模型、讀寫記憶、編排任務、執行工具,Token的消耗速度正以指數級飆升。
Token需求的暴漲,直接推高了AI基礎設施的規模天花板,千卡集群不夠用了,萬卡、十萬卡正在成為前沿大模型訓練的標配。
但數據中心的電力和空間是有限的,要想滿足沒有上限的Token需求,核心的方向是在單位空間內塞進更多算力,把算力密度逼到極致。
算力密度提升,單機柜功耗必然飆升,從數十千瓦躍升至數百千瓦,并進一步向MW級邁進。
但這時問題出現了。當單柜功率到達這個量級,傳統冷板液冷方案會導致機柜散熱跟不上、空間不夠用、互連被干擾,三條瓶頸同時在有限的空間里收窄。
Token工廠想繼續擴產,計算、散熱、互連、供電不能再各自為政,必須從系統底層找到新解法。
原生液冷,這個從系統層面將計算、散熱、互連、供電耦合的方案,開始出現在行業視野。
一、Token需求井噴,把傳統液冷的三重困境逼出來了
Token需求爆發推高了單機柜功率,也把部署空間壓到了極限。在這樣的場景下,傳統液冷的短板被急劇放大。原本在低功率密度下尚能運轉的方案,如今在三個關鍵維度上同時亮起了紅燈。
第一個困境是算力密度受限于全系統熱管理。
高算力密度意味著單位空間內集成了更多芯片乃至HBM、內存、網卡、光模塊等全系統部件,也意味著需要導出更多熱量。在高密度部署下,傳統冷板液冷“逐個加板”的方式終究難以追上全系統發熱的增長速度。
一旦散熱能力跟不上,芯片觸發溫度墻而降頻,Token產出就從峰值開始持續衰減。散熱跟不上,Token就掉速。
第二個困境是散熱結構持續擠占計算空間。
當前冷板液冷占據了液冷數據中心市場93.5%的份額,但絕大多數方案的底層邏輯依然是將風扇、冷板、軟管、分液器層層疊加。散熱結構層層堆疊,不斷擠占本屬于計算單元的空間,進一步壓縮單柜GPU的裝載上限。
當機柜功率邁向MW級,這種空間矛盾被急劇放大:散熱越復雜,擠占的空間越多,能放下的計算單元就越少,單柜Token產能上限就這樣被鎖死了。
第三個困境是散熱與互連的沖突在MW級被放大。
Scale-up計算域擴大,需要更多計算節點和交換節點組成高帶寬、低時延的統一系統。但在傳統架構中,背板、線纜、風道、冷板、液路分別規劃,互連路徑被拉長,接口數量增加,通信時延上升。
當幾十甚至上百顆GPU需要頻繁同步數據時,哪怕微小的時延都會被成倍放大,多卡并行推理的整體效率被系統性壓低。互連效率折損,Token生成就變慢。
三重困境指向同一個結論:Token工廠的問題已經超出了“散熱”本身,而是計算、互連、供電、散熱在有限空間內互相掣肘的系統性困局。
要同時擺脫這三重困境,必須從系統設計的源頭重新思考——把計算、散熱、互連、供電作為統一整體來規劃。
二、原生液冷:從系統源頭回應三重困境
那什么才是“從源頭重新思考”的正確姿勢?把冷板做大一點、把軟管換粗一點……這些常規思路只能治標,要想治本,我們就需要換一種思路——原生液冷。
傳統液冷是“先定計算、再配散熱”,在計算系統定型后再找空間塞液冷設備。原生液冷不是冷板液冷的“Pro Max”版,其本質區別體現在三個維度:
在時間維度上,熱設計從后置變為前置,不再是誰將就誰;在空間維度上,散熱從分散覆蓋走向全域管理,不再割裂;在邏輯維度上,優化的對象從單一散熱部件上升為整個計算系統,計算、散熱、供電、互連不再各自為政。
這種系統重構,正是沿著算力密度、空間密度和互連密度逐一展開,最終都指向Token產能。
先看算力密度。原生液冷采用散熱架構與計算架構協同的全系統熱設計,通過一體化冷板與全域液冷重構,實現整個計算系統協同散熱。
它跳出了傳統冷板液冷架構分模塊局部優化的思維慣性,將GPU、CPU、內存、網卡、光模塊、SSD全部納入統一熱管理,整機柜算力密度可提升至傳統方案的10倍以上。
散熱能力上去了,芯片在持續高負載下不掉頻,Token產出穩定在峰值,不隨時間衰減。
![]()
再看空間密度。原生液冷通過系統結構重構,充分釋放計算部署空間,采用一體化冷板和極簡工程設計,實現零軟管、零線纜、零風扇,裝配接口減少80%,流阻降低60%,釋放50%設備空間用于芯片、內存和互連等核心單元。
同樣的機柜空間,可承載的計算單元數量大幅躍升。散熱不再擠占空間,單柜Token產能上限被徹底打開。
![]()
互連密度的突破同樣重要。原生液冷采用無中背板正交直連架構,將計算節點與交換節點解耦,通過前后向最短路徑構建高密、低時延的直連網絡矩陣。
基于單GPU與Switch 4.8TB/s高速直連設計,64卡全互連架構可提供300TB/s互連帶寬,支持224G高速數據傳輸。更短的互連路徑意味著更低的通信時延、更高的多卡協同效率,讓更多計算資源能夠高效協同工作,集群整體Token吞吐能力被系統性拉高。
![]()
三、Agent時代需要兩類算力底座,浪潮信息用原生液冷同時覆蓋
從三重困境到三個維度的突破,原生液冷證明了系統重構的價值。
但架構邏輯成立之后,下一個更現實的問題是:這些能力最終如何落地為產品?Agent時代的算力底座,到底需要什么樣的硬件支撐?
要回答這個問題,得先看清Agent的工作方式。一個Agent從接收指令到完成任務,要經歷工具調用、記憶讀寫、任務編排、并行調度等多個步驟。而這些“編排調度”類任務,主要運行在CPU上。
換句話說,Agent的完整工作流是“兩條腿走路”:GPU負責高速生成Token,CPU負責高效調度Agent。兩類算力缺一不可,任何一端掉鏈子,整個Agent系統的響應速度都會被拖垮。
IT基礎設施產品、方案和服務提供商浪潮信息,基于原生液冷架構,針對這兩類需求分別推出了對應的高密整機柜產品。
先看GPU側,浪潮信息的GPU原生液冷整機柜服務器,在48U空間內承載了千卡算力——單柜算力密度達到傳統方案的10倍以上。
它創新采用一體式SDAC冷板,將GPU、CPU、內存、網卡、光模塊等熱源在整塊冷板上雙面高密平面化部署,散熱效率翻倍;互連方面,則首創無中背板MDP矩陣式直連架構,1024顆GPU與Switch之間通過高速直連形成高密全互連矩陣,支持千卡、萬卡超大規模無損擴展。
![]()
最終交出的成績單是:單柜功率覆蓋330kW至1MW,大模型吞吐達到146萬tokens/s。一個MW級機柜就能撐起一條高產的Token產線,持續滿速輸出,不降頻、不掉速。
但光有GPU還不夠。浪潮信息同步推出了CPU原生液冷整機柜服務器,基于液冷OCM架構,單柜集成384顆CPU,支持4萬以上Agent高并發運行,確保高負載下不掉頻、不降速,讓Agent的調度響應始終保持在低延遲狀態。
GPU整機柜負責高速生產Token,CPU整機柜負責高效調度Agent——兩類算力底座在統一的原生液冷架構下協同工作。
從Token生成到Agent執行,全鏈路不再有散熱瓶頸拖后腿,也不再出現某一端掉速導致整體排隊的情況。原生液冷系統性地支撐起算力產線,讓Token從生成到執行始終保持高效。
結語:硬件趨同,系統架構能力才是Token產能天花板
當下,AI基礎設施賽道硬件層面的差距正在收窄。各家廠商能采購到的核心器件幾乎一樣,芯片本身的性能天花板也越來越透明。你有的GPU,別人也有;你用的HBM,別人也能買到。單純的硬件堆砌已經拉不開身位了。
當GPU、HBM、網絡芯片逐漸趨同,電力和空間成為AI基礎設施的硬約束時,真正的分水嶺在于:誰能把這些相同的組件組織成更高效率的算力Token產線。
同樣的千卡規模算力,放進不同的系統里,最終的Token產出可能差出30%甚至更多。差距不在芯片本身,而在芯片與芯片之間如何通信、熱量如何導出、供電如何分配、空間如何利用……這些系統層面的設計選擇,最終決定了每一顆芯片的性能有多少能被真正釋放出來。
這就是系統架構能力的價值所在。
它是對算力轉化上限的物理層定義:什么樣的散熱方案能讓芯片持續滿頻運行?什么樣的互連拓撲能讓多卡協同不產生通信瓶頸?什么樣的空間布局能在有限機柜里塞進最多的計算單元?
這些問題沒有標準答案,考驗的是在計算、散熱、互連、供電之間權衡與協同的架構設計功底。
原生液冷,正是這種系統級創新的物理層體現。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.