Agent要數(shù)量也要腦子！浪潮信息一邊單柜養(yǎng)4萬Agent，一邊讓大模型組隊(duì)答題

• 克雷西 發(fā)自 凹非寺
  量子位 | 公眾號 QbitAI

AI基礎(chǔ)設(shè)施的核心任務(wù)，已經(jīng)從支撐大模型推理，轉(zhuǎn)向支撐海量智能體的規(guī)模化運(yùn)行與高質(zhì)量Token的持續(xù)生產(chǎn)。

據(jù)IDC數(shù)據(jù)，2025年中國AI Agent企業(yè)級市場規(guī)模約190億元，預(yù)計(jì)2025至2028年復(fù)合增長率超過110%。Gartner的判斷更直接，2026年將有40%的企業(yè)應(yīng)用集成任務(wù)型AI Agent。

大模型推理階段，AI基礎(chǔ)設(shè)施只需要支撐一次輸入一次輸出。

進(jìn)入Agent階段，基礎(chǔ)設(shè)施要支撐的是任務(wù)拆解、工具調(diào)用、多輪協(xié)作和持續(xù)運(yùn)行，這對算力提出了完全不同的要求。

這背后其實(shí)是兩個(gè)方向的能力缺口，一個(gè)是海量Agent能不能規(guī)模化、穩(wěn)定地運(yùn)行起來，另一個(gè)是多個(gè)模型能不能協(xié)同工作，讓Agent變得更聰明。

浪潮信息在2026開放計(jì)算大會上，針對這兩個(gè)缺口分別給出了新的產(chǎn)品方案。

Agent對基礎(chǔ)設(shè)施提出新要求

Agent時(shí)代，人們對AI基礎(chǔ)設(shè)施也有了新的要求。

過去企業(yè)部署AI，大多是接入一兩個(gè)模型，處理相對獨(dú)立的任務(wù)，調(diào)用一次、返回一次，事情就結(jié)束了。

Agent不是這樣。

一個(gè)Agent應(yīng)用要先把任務(wù)拆開，再一步步調(diào)用工具、來回協(xié)作，背后同時(shí)運(yùn)轉(zhuǎn)的可能是一整群Sub-Agent。

部署到企業(yè)之后，Agent的數(shù)量更是可能高達(dá)成千上萬。

怎么讓這么大規(guī)模的Agent群體穩(wěn)定協(xié)同地跑起來，就成了一個(gè)繞不開的新問題。

除了Agent數(shù)量在增多，單一模型這邊的壓力也在增加。

有的模型擅長邏輯推理，有的擅長寫文本，這種能力上的偏科沒法靠堆參數(shù)量解決。

但實(shí)際任務(wù)又變得越來越復(fù)雜，很難指望一個(gè)模型什么都會。

所以，怎么讓多個(gè)模型分工協(xié)作、互相補(bǔ)臺，成了另一個(gè)必須解決的問題。

這兩件事要真正落地，都必須有底層算力基礎(chǔ)設(shè)施打頭陣。

新需求來臨之后，基礎(chǔ)設(shè)施的第一個(gè)變化，就是CPU變得更重要，戲份也更多了。

以前的問答模式下，大模型推理是一次輸入一次輸出，更多依靠GPU運(yùn)行。

但Agent不一樣，它要做任務(wù)拆解、調(diào)用工具、多輪協(xié)作、匯總結(jié)果，這些整型運(yùn)算和邏輯推理，運(yùn)行在CPU之上。

而且Agent不是跑一次就“下班”，很多Agent必須常年在線，運(yùn)行時(shí)間被大幅拉長。

所以在AI Infra行業(yè)里，算力配比也在發(fā)生變化，從過去以GPU為中心，走向多元算力系統(tǒng)協(xié)同。

CPU的重要性上來之后，緊接著要面對的是功率密度問題。

浪潮信息副總經(jīng)理趙帥介紹，國內(nèi)的AI機(jī)柜功率今年內(nèi)就要沖到300千瓦，全球部分機(jī)柜已經(jīng)進(jìn)入兆瓦級。

如果CPU側(cè)還停留在單柜幾千瓦的密度，根本沒法匹配數(shù)據(jù)中心全新的電力基礎(chǔ)設(shè)施。

隨著機(jī)柜功率不斷攀升，散熱就成了問題，傳統(tǒng)風(fēng)冷單機(jī)柜散熱40到50千瓦的上限早就撐不住了，液冷方案成了必選項(xiàng)。

單柜運(yùn)行4萬+Agent

為了實(shí)現(xiàn)Agent的規(guī)模化運(yùn)行，浪潮信息發(fā)布了業(yè)界首款CPU原生液冷整機(jī)柜服務(wù)器。

這臺服務(wù)器單柜最大可支持384顆基于開放OCM（開放計(jì)算模組）架構(gòu)的CPU處理器，兼容x86和ARM，可以支撐4萬+個(gè)Agent協(xié)同運(yùn)行。

△浪潮信息副總經(jīng)理 趙帥

這個(gè)規(guī)模是浪潮信息今年4月發(fā)布的“企千蝦”方案的40倍。

企千蝦當(dāng)時(shí)是用單臺2U服務(wù)器部署1000個(gè)OpenClaw，這一次，浪潮信息直接把Agent塞滿了一整個(gè)機(jī)柜。

而且該機(jī)柜采用的OCM架構(gòu)。能夠兼容不同代際、不同架構(gòu)的處理器，不用為每一代新芯片重新設(shè)計(jì)整套系統(tǒng)，研發(fā)周期因此被大幅壓縮。

要在一個(gè)機(jī)柜里塞進(jìn)384顆CPU，散熱是繞不開的坎。

浪潮信息提出了一種全新的散熱理念：原生液冷。

這一想法完全顛覆傳統(tǒng)風(fēng)液混合的散熱邏輯，以前的冷板液冷服務(wù)器設(shè)計(jì)是給計(jì)算部件貼散熱冷板，其他內(nèi)存、網(wǎng)卡、硬盤還是要再研究怎么通過風(fēng)扇把產(chǎn)生的熱量散出去。

這一次思路完全顛覆，計(jì)算和散熱協(xié)同設(shè)計(jì)，突破傳統(tǒng)液冷僅覆蓋CPU的局限，對內(nèi)存、網(wǎng)卡、光模塊、SSD等所有發(fā)熱部件一并納入液冷散熱體系，重構(gòu)整個(gè)算力系統(tǒng)。

浪潮信息的具體做法是把算力單元做成2U超薄形態(tài)，一個(gè)節(jié)點(diǎn)塞進(jìn)16顆CPU，同時(shí)把內(nèi)存、網(wǎng)卡、光模塊這些原本靠風(fēng)扇和線纜維持散熱與連接的部件，直接平鋪在主板上，用一整塊冷板統(tǒng)一承接散熱，連服務(wù)器托架也省了。

這樣，原來被風(fēng)扇、冷管、線纜占用的空間，都被騰出來留給計(jì)算和IO資源，整機(jī)柜也因此做到了無線纜設(shè)計(jì)，支持熱維護(hù)，保障業(yè)務(wù)零中斷，整機(jī)柜運(yùn)維效率提升100%以上。

多個(gè)大模型，協(xié)同完成一次任務(wù)

為了讓Agent變得更聰明，浪潮信息還在元腦企智EPAI平臺上線了多模融合API，并同步發(fā)布了元腦SD200超節(jié)點(diǎn)AI服務(wù)器企業(yè)版。

多模融合做的事情，是把同一個(gè)任務(wù)同時(shí)甩給多個(gè)候選模型，讓它們各自獨(dú)立生成答案，再由一個(gè)評審融合模型出面，比較這些答案里的共識、分歧、遺漏和獨(dú)特觀點(diǎn)，最終拼出一個(gè)統(tǒng)一的輸出。

這套流程也不是所有任務(wù)都要走一遍，簡單問答、工具調(diào)用、格式轉(zhuǎn)換這類短任務(wù)，系統(tǒng)會直接路由給更輕量的單模型處理。

只有復(fù)雜的長鏈路任務(wù)，系統(tǒng)才會調(diào)度多個(gè)候選模型協(xié)同處理，避免小題大做。

這套機(jī)制在DRACO測試?yán)锶〉昧?3.9%的成績，高于同一測試候選池里任何一個(gè)單模型的表現(xiàn)。

目前這項(xiàng)能力可以多模融合API的形式對外開放，既可以像普通模型服務(wù)一樣直接接入應(yīng)用，也可以配置到智能體和開發(fā)框架里，沿用原有的對話、推理和工具調(diào)用流程。

不過問題也隨之而來，多個(gè)大模型同時(shí)參與一次任務(wù)，無疑對底層算力提出了更高的要求，既要一次裝得下多個(gè)萬億參數(shù)模型，又不能犧牲輸出速度。

這正是元腦SD200超節(jié)點(diǎn)要扛住的部分。

元腦SD200超節(jié)點(diǎn)去年發(fā)布時(shí)，已經(jīng)能同時(shí)部署4個(gè)萬億參數(shù)大模型，token生成時(shí)間做到8.9毫秒，是國內(nèi)首個(gè)突破10毫秒大關(guān)的產(chǎn)品。

今年，這個(gè)數(shù)字進(jìn)一步壓到4.77毫秒，是國內(nèi)首個(gè)跑進(jìn)5毫秒的方案，首Token延遲也降低了35%。

這些提升背后是多Token預(yù)測、W4A8精度方案和JIT即時(shí)編譯這類軟硬協(xié)同優(yōu)化在起作用。

• 多Token預(yù)測讓解碼階段一次生成多個(gè)候選token再校驗(yàn)，減少了逐字生成的輪次；
• W4A8把萬億參數(shù)模型里MoE模塊的計(jì)算精度從BF16降到INT8，降低了訪存帶寬壓力；
• JIT則會在運(yùn)行時(shí)根據(jù)張量形狀動態(tài)生成專用的GPU內(nèi)核，讓算力更貼近硬件的特性。

目前，元腦SD200超節(jié)點(diǎn)已經(jīng)完成了對Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3等主流開源模型的適配。

不過，這套架構(gòu)的門檻，對不少中小企業(yè)來說依然偏高。

因此，浪潮信息還推出了元腦SD200超節(jié)點(diǎn)企業(yè)版，可以理解成是小號的元腦SD200。

它把Scale Up計(jì)算域從64卡減少到16卡，萬億參數(shù)模型的首token延遲降低40%以上，給企業(yè)提供了更低遷移和適配成本的選擇。

這樣，原本只能部署千億模型做輔助的企業(yè)，現(xiàn)在也能把萬億模型真正用進(jìn)生產(chǎn)環(huán)境。

Agent基礎(chǔ)設(shè)施，競爭已經(jīng)生變

如今，CPU、GPU和軟件平臺這三者的分工，正在變得更緊密。

其中，軟件平臺負(fù)責(zé)模型接入、任務(wù)編排、資源調(diào)度、權(quán)限治理和結(jié)果融合，CPU承載Agent實(shí)例、工具調(diào)用、沙箱運(yùn)行和業(yè)務(wù)系統(tǒng)交互，GPU負(fù)責(zé)模型推理與Token生成。

三者協(xié)同，才能支撐海量Agent穩(wěn)定運(yùn)行和復(fù)雜任務(wù)高效執(zhí)行。

這條鏈路里，任何一環(huán)掉隊(duì)，整個(gè)Agent應(yīng)用都跑不順暢。

這也讓Agent時(shí)代基礎(chǔ)設(shè)施的競爭重點(diǎn)發(fā)生了變化。

過去比的是誰對單一模型的支持能力更強(qiáng)，現(xiàn)在比的是誰系統(tǒng)級協(xié)同能力誰做得更好。

單點(diǎn)強(qiáng)已經(jīng)不夠，整條鏈路跑不跑得順、協(xié)不協(xié)同才是關(guān)鍵。

這正是浪潮信息這次想在Agent基礎(chǔ)設(shè)施上給出的答案。