一兆瓦養(yǎng)活6萬智能體！英偉達(dá)GB300碾壓前代20倍

新智元報道

【新智元導(dǎo)讀】跑分跑了這么多年，新基準(zhǔn)偏說FLOPS量不動智能體了，英偉達(dá)GB300一上來，就把上代甩開20倍。

同樣一兆瓦電，英偉達(dá)最新的GB300 NVL72能同時扛住61400個智能體，上一代H200只扛得住大約2600個。

這中間，差了整整20倍。

英偉達(dá)公布的AA-AgentPerf成績：在每秒20與60個token兩檔服務(wù)標(biāo)準(zhǔn)下，GB300 NVL72每兆瓦的并發(fā)智能體數(shù)，都約為H200的20倍。

6月12日，英偉達(dá)剛放出這組數(shù)字的時候，外界第一反應(yīng)是又一次性能炫技。

但真正變了的，并非這代芯片有多猛，而是丈量算力的那把尺子。

它就是獨立評測機(jī)構(gòu)Artificial Analysis發(fā)布的新基準(zhǔn)：AA-AgentPerf。

Artificial Analysis在官方博客中將它稱為業(yè)界第一個專門為「AI智能體（AI agent）」設(shè)計的推理基準(zhǔn)。

它的主指標(biāo)也和以往不同：并非每秒多少token，而是「每兆瓦并發(fā)智能體數(shù)（Agents per Megawatt）」。

通俗點說，就是每給系統(tǒng)供1兆瓦的電力，它能同時「養(yǎng)活」多少個智能體。

FLOPS量了這么多年，每秒吐多少token也用得好好的，為什么還要推出AA-AgentPerf這個新基準(zhǔn)？

舊尺子

量不動智能體了

要回答這個問題，得先弄明白智能體跑起來時到底是個什么負(fù)載。

Artificial Analysis的判斷很明確，2026年最主流的AI負(fù)載，和那些老基準(zhǔn)當(dāng)年設(shè)計時瞄準(zhǔn)的東西，早就不是一回事了：老基準(zhǔn)量的是定長的合成請求，還順手關(guān)掉了生產(chǎn)環(huán)境里真會開的那些優(yōu)化。

英偉達(dá)官方也打了一個貼切的比方：

一次普通的對話，是百米沖刺，模型接一個問題，吐一段回答，結(jié)束；但一個智能體干活，更像跑接力。

它把一個目標(biāo)拆成幾十上百個步驟，讀文件、寫代碼、跑命令、看結(jié)果，再決定下一步，一棒接一棒，直到任務(wù)真正做完。

這一路下來，幾十次甚至上百次的大模型調(diào)用串在一起，每一次都把越滾越長的上下文遞給下一棒，還夾雜著編譯、查庫、跑搜索這些工具調(diào)用。

復(fù)雜度并非簡單相加，而是層層相乘。

英偉達(dá)用「接力」比喻智能體負(fù)載。一個目標(biāo)被拆成幾十上百步，大模型調(diào)用與工具調(diào)用一棒接一棒，串成不斷變長的長鏈。

問題恰恰就出在這里。

市面上現(xiàn)有的推理基準(zhǔn)測試，量的都是單次調(diào)用，一個請求進(jìn)去多久回來、一臺機(jī)器能同時接多少個請求。

它們原本就不是為智能體設(shè)計的。鏈?zhǔn)秸{(diào)用、工具等待、上下文膨脹，這些東西對系統(tǒng)的壓榨方式，和單次請求完全是兩回事。

僅是長會話就藏著老基準(zhǔn)的測試盲區(qū)：同一段長長的前綴，會一輪一輪重復(fù)出現(xiàn)，誰能把它緩存住、不必每次重算，誰就省下大筆算力。

再加上工具結(jié)果動不動把上下文撐爆、輸出卻常常只有幾百個token，調(diào)度器和顯存層級扛不扛得住這種忽長忽短的節(jié)奏，直接決定一套系統(tǒng)是順暢運轉(zhuǎn)還是當(dāng)場崩掉。

這恰恰是固定長度的合成測試無法觸及的地方。

對于真金白銀買卡、建數(shù)據(jù)中心的人來說，他們真正關(guān)心的是這套系統(tǒng)到底能同時養(yǎng)活多少個干活的智能體，每一度電、每一塊GPU又換來多少有用產(chǎn)出。

這些問題老基準(zhǔn)測試答不上來。

第一個為智能體造的尺子

AA-AgentPerf的做法和老基準(zhǔn)不一樣，不喂那種長度固定的合成提示詞，而是回放真實的編程智能體軌跡。

AA-AgentPerf回放的智能體軌跡示意。從一個請求出發(fā)，LLM調(diào)用與工具調(diào)用交替推進(jìn)，直到任務(wù)真正完成。

這些軌跡，是讓智能體去解真實代碼倉庫里的問題攢出來的，覆蓋12種以上編程語言，一段會話最長能跑到200輪，上下文輕松沖破10萬token。

輸入長度從5千到13萬token不等，平均約2.7萬。真正把長度撐起來的，并非提示詞本身，而是一輪輪累積的工具輸出和對話歷史。

更關(guān)鍵的，是它怎么算成績。

它不去拼極致的并發(fā)數(shù)。并發(fā)一旦堆太高，每個智能體都慢得像爬，并發(fā)數(shù)再大，也只是中看不中用。

AA-AgentPerf反過來做：先鎖死一個服務(wù)標(biāo)準(zhǔn)，每個智能體的輸出速度、首字延遲（TTFT）都得達(dá)標(biāo)，再看系統(tǒng)守住這條線，最多能扛住多少個智能體。

這套約束有個名字，叫服務(wù)等級目標(biāo)（SLO）。

這套標(biāo)準(zhǔn)還分了幾檔，從每秒20個token的夠用檔，到每秒180個token的飛快檔，每一檔單獨測一遍最大并發(fā)，對應(yīng)市面上真實存在的幾種服務(wù)水平。

服務(wù)等級目標(biāo)（SLO）如何卡住最大并發(fā)。綠點是達(dá)標(biāo)區(qū)，一旦并發(fā)堆高、速度跌破門檻，對應(yīng)的并發(fā)上限就是這套系統(tǒng)的成績。

它還做了一件別的基準(zhǔn)不太敢做的事，把廠商在生產(chǎn)里真會開的優(yōu)化全都放開。

KV cache復(fù)用、推測解碼、把預(yù)填充和解碼拆開部署，這些以前常被基準(zhǔn)一刀切關(guān)掉的招數(shù)，這次全部允許。

理由很簡單：關(guān)掉這些優(yōu)化測出來的，量了也沒意義。

與此同時，它還盯著輸出質(zhì)量，不讓某個優(yōu)化靠犧牲回答質(zhì)量去換并發(fā)數(shù)。這樣一來，每多一項軟硬件進(jìn)步帶來的提升，都能被它如實測量出來。

最后落到一個核心指標(biāo)：每兆瓦并發(fā)智能體數(shù)。在一個電力越來越緊、能耗就是成本的世界里，這個指標(biāo)，才是買家真正關(guān)心的那一個：從tokens每秒，到agents每兆瓦。

每兆瓦領(lǐng)先20倍

每塊GPU領(lǐng)先40倍

在一個代表當(dāng)下最強(qiáng)一類的前沿混合專家（MoE）模型測試?yán)铮珿B300 NVL72每兆瓦能撐起61400個并發(fā)智能體，平均每塊GPU扛起57.5個。

對照組H200，每兆瓦大約2600個，每塊GPU只有1.4個。二者之間每兆瓦差出約20倍，每塊GPU差出約40倍。

這兩個數(shù)的含金量也不一樣。

每兆瓦衡量的是同樣一度電能買到多少智能體產(chǎn)能，是一筆能效賬；而每GPU衡量的則是單塊卡的服務(wù)密度，是一筆硬件賬。

根據(jù)這兩個數(shù)，就能直接換算自己手里那點電力預(yù)算，到底能跑起多大規(guī)模的智能體應(yīng)用。

榜單上不止英偉達(dá)的GB300，還有AMD的MI355X。從單卡、整機(jī)到整機(jī)架，都擺出來同臺競技。

第一批結(jié)果里跑出了兩條很明顯的規(guī)律。

規(guī)律1：機(jī)架級系統(tǒng)天然更便宜，它能更充分地把推理拆開、攤到更多卡上，無論純算力還是每兆瓦能效，都把單節(jié)點甩在身后；

規(guī)律2：從Hopper到Blackwell這一代的跨越，把系統(tǒng)能扛的并發(fā)數(shù)直接頂上了一個新臺階，并非小修小補(bǔ)。

從單卡到機(jī)架

系統(tǒng)級的勝利

從H200到GB300，這看起來像單卡性能的飛躍，事實上是一場系統(tǒng)級的勝利。

更為關(guān)鍵的是GB300 NVL72把72塊GPU用NVLink連成了一個機(jī)架級的整體。

對這種龐大的混合專家模型來說，這才是要害：模型能整個攤開，專家分到一整片GPU上并行執(zhí)行，而并非全擠在單卡里干耗。

CUDA核心在底下做了進(jìn)一步優(yōu)化，把跨專家之間的通信和計算重疊起來，讓協(xié)調(diào)各路專家的那點開銷被算力悄悄吞掉，而并非堆在時延上。

TensorRT-LLM則負(fù)責(zé)在并發(fā)會話不斷往上漲的時候，把效率守住，比如把輸入的處理和輸出的生成拆成兩件事，各自單獨優(yōu)化。

說白了，這個測試成績，是硬件、互聯(lián)和軟件棧共同作用的結(jié)果。

GB300 NVL72機(jī)架。72塊GPU經(jīng)NVLink連成單一高帶寬整體，這才是6萬個智能體能協(xié)同運轉(zhuǎn)的硬件底座。

把72塊卡焊成一個高帶寬的整體，每塊GPU都能飛快地共享參數(shù)、KV cache和中間結(jié)果，這才是6萬個智能體能協(xié)同跑起來的底氣。

幾條不能略過的邊界

這里有幾點需要注意，不能把基準(zhǔn)測試等同于生產(chǎn)現(xiàn)實。

第一，6萬這個數(shù)，并非一臺機(jī)器同時跑6萬個獨立的大模型。

它是基準(zhǔn)定義下的并發(fā)會話模擬，每個智能體走的是一條預(yù)先錄好的軌跡，連工具調(diào)用都并非真去執(zhí)行，而是用一段固定的CPU耗時去模擬。

這么設(shè)計，是為了讓最終結(jié)果只反映算力本身的差異，但它和真實生產(chǎn)環(huán)境里能交付的服務(wù)能力，并不能直接畫等號。

第二，基準(zhǔn)成績并非生產(chǎn)服務(wù)協(xié)議。

Artificial Analysis自己也說，這是一份還在快速變動的前沿快照，各家系統(tǒng)都還有沒榨干的余量，成績會隨著軟件優(yōu)化一路向上爬升。

第三，AA-AgentPerf目前還是單一機(jī)構(gòu)提出的標(biāo)準(zhǔn)。

它會不會像MLPerf那樣，最終長成全行業(yè)公認(rèn)的標(biāo)尺，現(xiàn)在下結(jié)論還尚早。

參考資料：

https://artificialanalysis.ai/articles/aa-agentperf

https://developer.nvidia.com/blog/nvidia-achieves-leading-agentic-coding-performance-on-first-agentic-ai-benchmark/

編輯：元宇