國(guó)產(chǎn)算力下半場(chǎng)，拼的是系統(tǒng)能力

【摘要】國(guó)產(chǎn)算力的競(jìng)爭(zhēng)，正在轉(zhuǎn)向系統(tǒng)能力。

過去，行業(yè)關(guān)注峰值算力、顯存帶寬和模型適配，今天，大模型訓(xùn)練把瓶頸推向互聯(lián)、網(wǎng)絡(luò)、調(diào)度、液冷和運(yùn)維。

從scaleX超節(jié)點(diǎn)到scaleFabric無(wú)損網(wǎng)絡(luò)，中科曙光正在提供一條值得關(guān)注的產(chǎn)業(yè)路徑：讓系統(tǒng)吸收硬件差異，讓工程能力兌現(xiàn)芯片算力。

國(guó)產(chǎn)算力下半場(chǎng)，真正的勝負(fù)在于能否把國(guó)產(chǎn)卡組織成穩(wěn)定、高效、可持續(xù)運(yùn)行的AI基礎(chǔ)設(shè)施。

以下為正文：

2012年，AlexNet在ImageNet上一戰(zhàn)成名時(shí)，很多人記住的不僅是深度學(xué)習(xí)的勝利，還有那篇論文背后的兩張GPU。它像一聲槍響，告訴整個(gè)計(jì)算產(chǎn)業(yè)：AI的發(fā)動(dòng)機(jī)，不再被框定于傳統(tǒng)CPU的舊路線里。

此后十多年，故事一路加速。GPU從個(gè)人消費(fèi)電子部件變成生產(chǎn)力工具，CUDA從開發(fā)工具變成生態(tài)入口，DGX從一臺(tái)機(jī)器變成一種交付方式。

到OpenAI、微軟、英偉達(dá)這些公司的故事里，算力已經(jīng)不再是買幾張卡那么簡(jiǎn)單，而是綜合了網(wǎng)絡(luò)、軟件、服務(wù)器、存儲(chǔ)、調(diào)度的龐大機(jī)器。

OpenAI早在2018年就提出，頂級(jí)AI訓(xùn)練所消耗的計(jì)算量曾以約3.4個(gè)月翻倍的速度增長(zhǎng)，微軟2020年披露為OpenAI打造的Azure超算時(shí)，提到超過28.5萬(wàn)個(gè)CPU核心、1萬(wàn)張GPU以及每臺(tái)GPU服務(wù)器400Gbps網(wǎng)絡(luò)連接。這些數(shù)字今天還在增長(zhǎng)。

這也正是國(guó)產(chǎn)算力的處境。過去幾年，行業(yè)一直關(guān)注的是國(guó)產(chǎn)GPU能不能跑模型、進(jìn)數(shù)據(jù)中心，現(xiàn)在則更多開始考慮國(guó)產(chǎn)卡如何完成從“能用”向“好用”的更高維度的努力。

這些處境指向一件事：芯片之外，系統(tǒng)性的組織能力提上日程，怎樣讓千卡、萬(wàn)卡集群持續(xù)穩(wěn)定地運(yùn)行成為新一輪的關(guān)注重心。

01

瓶頸外移

過去十多年，AI算力產(chǎn)業(yè)的瓶頸一直在遷移。

AlexNet時(shí)代，問題是有沒有足夠便宜、足夠并行的計(jì)算發(fā)動(dòng)機(jī)，GPU給了答案。之后，問題變成開發(fā)者能不能用起來(lái)，于是CUDA、cuDNN、NCCL這些軟件棧開始變成護(hù)城河。但再往后，當(dāng)模型參數(shù)量和數(shù)據(jù)規(guī)模繼續(xù)膨脹，問題又變了：不是一張卡強(qiáng)不強(qiáng)，而是一群卡能不能像一臺(tái)機(jī)器一樣工作。

英偉達(dá)的成功本質(zhì)是“芯片定義系統(tǒng)”?；谶@個(gè)邏輯，英偉達(dá)后來(lái)賣的也越來(lái)越不是單張GPU，而變成了一整套“AI工廠”。

NVLink、NVSwitch、InfiniBand、DGX、SuperPOD這些技術(shù)和平臺(tái)，實(shí)質(zhì)上是一套系統(tǒng)方法：先讓GPU之間高速互聯(lián)，再讓服務(wù)器之間低延遲通信，再讓軟件棧把并行訓(xùn)練、故障恢復(fù)和資源調(diào)度壓到用戶感知以下。英偉達(dá)本身對(duì)NVLink/NVLink Switch的描述就是，面向AI訓(xùn)練、推理和機(jī)架級(jí)GPU工作負(fù)載的高帶寬GPU到GPU通信架構(gòu)。

這條變化，對(duì)國(guó)產(chǎn)算力同樣重要。國(guó)產(chǎn)GPU追趕的目標(biāo)，以前和現(xiàn)在可能是單卡參數(shù)，未來(lái)一定要加上系統(tǒng)能力。

峰值算力、顯存帶寬、制程工藝確實(shí)重要，但進(jìn)入大模型訓(xùn)練，真正決定用戶體驗(yàn)的，往往是穩(wěn)定性。

也就是說(shuō)，AI算力不是一場(chǎng)F1排位賽沖擊桿位，而是一整年的F1賽事年度冠軍。單卡性能是發(fā)動(dòng)機(jī)馬力，互聯(lián)協(xié)議是傳動(dòng)系統(tǒng)，網(wǎng)絡(luò)是底盤，軟件棧是駕駛控制，液冷和供電是耐久性，運(yùn)維系統(tǒng)則是維修站。

所有的這些東西都做到優(yōu)秀，才能拼出來(lái)一臺(tái)不錯(cuò)的汽車并且去贏得年度冠軍。

國(guó)產(chǎn)算力從能用到好用的難點(diǎn)，就在這里。

上一階段，市場(chǎng)證明了國(guó)產(chǎn)卡可以進(jìn)入一部分真實(shí)業(yè)務(wù)，下一階段，行業(yè)要證明國(guó)產(chǎn)卡可以被組織成穩(wěn)定、高效、可運(yùn)維的系統(tǒng)。

這個(gè)轉(zhuǎn)折，意味著國(guó)產(chǎn)廠商存在一些深度協(xié)同的機(jī)會(huì)，盡快把發(fā)動(dòng)機(jī)們裝進(jìn)一輛能交付的車，在商業(yè)模式上足夠有前景，也符合真正的國(guó)產(chǎn)替代進(jìn)程。

02

不能再各跑各的

當(dāng)產(chǎn)業(yè)還在解決“有沒有國(guó)產(chǎn)卡”的時(shí)候，多路線并存是一種活力。不同公司從通用GPU、CPU+協(xié)處理器、推理芯片等方向切進(jìn)去，本質(zhì)上是在用多條路試探同一個(gè)市場(chǎng)。那時(shí)候，碎片化還不一定是問題，甚至可能是創(chuàng)新的來(lái)源。

但當(dāng)行業(yè)走到集群階段，碎片化會(huì)變成另一種成本。

一張卡可以有自己的架構(gòu)，一家公司可以有自己的軟件棧，但千卡、萬(wàn)卡集群不能每個(gè)節(jié)點(diǎn)都講一套方言。

接口越不統(tǒng)一，系統(tǒng)廠商要做的適配越多，通信語(yǔ)義越模糊，開發(fā)者和運(yùn)維團(tuán)隊(duì)越難判斷問題到底出在卡、網(wǎng)絡(luò)、驅(qū)動(dòng)，還是集合通信庫(kù)。

這也是AI算力產(chǎn)業(yè)從芯片競(jìng)爭(zhēng)走向系統(tǒng)競(jìng)爭(zhēng)后，最容易被忽略的一層變化：互聯(lián)不只是物理連接，還有生態(tài)秩序。

大模型訓(xùn)練需要低延遲、可預(yù)期、高吞吐、能被軟件棧理解的協(xié)同關(guān)系。GPU之間要有配合，集合通信要盡可能少等待，調(diào)度軟件要知道哪張卡、哪條鏈路、哪個(gè)節(jié)點(diǎn)處在什么狀態(tài)。

海外市場(chǎng)，英偉達(dá)可以依靠相對(duì)封閉的軟硬件生態(tài)建立這種秩序。但國(guó)產(chǎn)芯片路線更加多元，很難等待某一家廠商完成從芯片到軟件、從互聯(lián)到集群的全部閉環(huán)。

更現(xiàn)實(shí)的辦法是讓系統(tǒng)層成為不同技術(shù)路線之間的“公分母”：不要求所有芯片完全相同，而是通過互聯(lián)架構(gòu)、節(jié)點(diǎn)設(shè)計(jì)、通信軟件和調(diào)度體系，盡可能吸收底層硬件的差異。

中科曙光scaleX40做的就是這件事情。公開資料顯示，scaleX40將40張AI加速卡組織在同一個(gè)高密度計(jì)算單元內(nèi)，采用正交無(wú)線纜一級(jí)互聯(lián)架構(gòu)，使計(jì)算節(jié)點(diǎn)與交換節(jié)點(diǎn)直接對(duì)插，減少傳統(tǒng)線纜帶來(lái)的信號(hào)損耗、部署復(fù)雜度和潛在故障點(diǎn)。

值得注意的是“一級(jí)全互聯(lián)”這個(gè)思路：先把幾十張卡組織成一個(gè)更緊耦合的計(jì)算單元，再把這個(gè)單元向更大集群擴(kuò)展。

既能降低生態(tài)門檻，又能降低工程門檻，這是國(guó)產(chǎn)算力走出碎片化邁向系統(tǒng)化的重要一步。

對(duì)于國(guó)產(chǎn)GPU公司而言，未來(lái)，芯片公司不能只回答“卡有多少算力”，還要回答“卡能不能進(jìn)入別人的系統(tǒng)”。適配開放互聯(lián)、配合集合通信庫(kù)、調(diào)度系統(tǒng)和大模型框架做端到端優(yōu)化，都會(huì)變成新的產(chǎn)業(yè)門檻。

03

交付才是深水區(qū)

解決碎片化是第一步。更難的是，把已經(jīng)連起來(lái)的硬件變成一套用戶敢長(zhǎng)期使用的系統(tǒng)。

在這個(gè)過程中，通信瓶頸會(huì)吃掉訓(xùn)練時(shí)間，熱密度會(huì)逼近機(jī)房邊界，存儲(chǔ)吞吐會(huì)影響數(shù)據(jù)供給，任何一處故障都可能被集群規(guī)模放大。

網(wǎng)絡(luò)就是一個(gè)典型的分水嶺。中科曙光官網(wǎng)文章援引研究稱，在大規(guī)模分布式訓(xùn)練中，網(wǎng)絡(luò)通信耗時(shí)占比可達(dá)30%-50%。

這方面，中科曙光已經(jīng)布局在前。2026年3月，曙光發(fā)布scaleFabric400，稱其從112G SerDes IP、硬件設(shè)備到管理軟件實(shí)現(xiàn)全棧自研。

通過scaleFabric400構(gòu)建起的AI算力的“血管系統(tǒng)”，從底層112G SerDes IP到交換芯片的Crossbar架構(gòu)實(shí)現(xiàn)完全自主可控，交換機(jī)單端口帶寬達(dá)800Gbps、整機(jī)雙向交換容量高達(dá)64Tbps，并集成硬件級(jí)遙測(cè)功能，以微秒級(jí)精度實(shí)時(shí)上報(bào)隊(duì)列深度，并已在近萬(wàn)卡集群中穩(wěn)定運(yùn)行驗(yàn)證。

此外，針對(duì)大模型訓(xùn)練的高吞吐需求，ScaleFabric支持多軌通信，將巨額數(shù)據(jù)內(nèi)容切片至多物理網(wǎng)口并行傳輸后重組，既成倍提升單節(jié)點(diǎn)帶寬，又通過負(fù)載均衡機(jī)制消除單鏈路故障對(duì)訓(xùn)練任務(wù)的影響。

簡(jiǎn)單來(lái)說(shuō)，就是通過建立一座擁有多條車道的高速公路網(wǎng)，將巨型貨物拆分成無(wú)數(shù)個(gè)小包裹，讓成百上千輛貨車在不同的車道上同時(shí)全速狂奔，抵達(dá)目的地后再迅速拼裝還原。

再往上走，就是超節(jié)點(diǎn)。曙光scaleX640公開頁(yè)面顯示，它采用“一拖二”高密架構(gòu)，實(shí)現(xiàn)單機(jī)柜640卡超高速總線互連，雙scaleX640可組成1280卡計(jì)算單元，并配套1.72MW級(jí)散熱能力。相當(dāng)于把兩座“AI芯片工廠”并聯(lián)起來(lái)，每廠640條生產(chǎn)線高速互聯(lián)，散熱系統(tǒng)如巨型冷卻塔保障全速運(yùn)轉(zhuǎn)。

同時(shí)通過軟硬協(xié)同全局優(yōu)化，相比傳統(tǒng)架構(gòu)可讓MoE大模型訓(xùn)練效率與高通量推理吞吐提升30%-40%，并適配多品牌AI加速卡、兼容主流AI軟件生態(tài)、適配優(yōu)化400+主流大模型。

就像整車?yán)铮l(fā)動(dòng)機(jī)、變速箱、底盤、散熱、電子控制不能分開調(diào)配，AI集群里的芯片、互聯(lián)、網(wǎng)絡(luò)、液冷、存儲(chǔ)、調(diào)度也必須一起優(yōu)化。

曙光這套路徑的產(chǎn)業(yè)意義，是嘗試以系統(tǒng)工程吸收不同芯片、不同軟件和不同應(yīng)用場(chǎng)景之間的復(fù)雜性，把分散的硬件能力轉(zhuǎn)化為可以衡量、調(diào)度并且持續(xù)運(yùn)行的集群效率。

從工程樣機(jī)走向生產(chǎn)系統(tǒng)，正是國(guó)產(chǎn)算力從“能用”邁向“好用”的關(guān)鍵一步。

04

尾聲

國(guó)產(chǎn)算力不可能簡(jiǎn)單復(fù)制英偉達(dá)的封閉閉環(huán)，因?yàn)閲?guó)內(nèi)芯片路線更多元，客戶需求更分散，應(yīng)用場(chǎng)景也更復(fù)雜。

更現(xiàn)實(shí)的路徑，是用開放互聯(lián)降低生態(tài)門檻，用超節(jié)點(diǎn)提高系統(tǒng)效率，用無(wú)損網(wǎng)絡(luò)承接大規(guī)模訓(xùn)練，最后，用軟件棧和運(yùn)維體系把國(guó)產(chǎn)硬件變成用戶愿意持續(xù)使用的算力產(chǎn)品。

這是中科曙光給行業(yè)留下的最大啟示。

對(duì)國(guó)產(chǎn)GPU公司來(lái)說(shuō)，下一階段的競(jìng)爭(zhēng)維度會(huì)被重寫。誰(shuí)能進(jìn)入開放互聯(lián)協(xié)議，誰(shuí)能被超節(jié)點(diǎn)架構(gòu)吸收，誰(shuí)能和系統(tǒng)一起優(yōu)化，誰(shuí)就更可能領(lǐng)先。

國(guó)產(chǎn)GPU只有在開放互聯(lián)和系統(tǒng)工程里協(xié)同奔跑，AI基礎(chǔ)設(shè)施才算真正躍遷至下一個(gè)階段。