兩周前剛說(shuō)CUDA神話松動(dòng)，SemiAnalysis轉(zhuǎn)頭點(diǎn)贊英偉達(dá)vLLM——AMD追趕的不只是硬件

7月13日，半導(dǎo)體研究機(jī)構(gòu)SemiAnalysis在社交平臺(tái)發(fā)布推文，高度評(píng)價(jià)英偉達(dá)在vLLM推理引擎上的性能優(yōu)化成果，同時(shí)明確指出AMD在部分模型的vLLM支持上仍有較大追趕空間。

華爾街見(jiàn)聞提及，該機(jī)構(gòu)兩周前指出，英偉達(dá)"CUDA護(hù)城河正遭緩慢侵蝕"，公司最大的競(jìng)爭(zhēng)壓力是越來(lái)越多超大規(guī)模云廠商和AI模型公司開(kāi)始采用自研ASIC，針對(duì)訓(xùn)練或推理等特定場(chǎng)景構(gòu)建專用芯片體系。

兩則判斷將AI芯片競(jìng)爭(zhēng)的焦點(diǎn)從"誰(shuí)的硬件更強(qiáng)"拉回到一個(gè)更根本的問(wèn)題：在推理時(shí)代的規(guī)模化部署中，軟件生態(tài)的深度可能比單代GPU的硬件領(lǐng)先更具決定性。

對(duì)于每天運(yùn)行數(shù)十億次推理調(diào)用的AI企業(yè)而言，"部分模型支持良好"與"所有模型穩(wěn)定優(yōu)化"之間的鴻溝，在規(guī)模效應(yīng)下會(huì)被急劇放大。

在硬件競(jìng)爭(zhēng)日趨白熱化、自研ASIC不斷蠶食推理份額的背景下，英偉達(dá)在推理軟件棧上的積累深度，正在成為比硬件參數(shù)更持久的競(jìng)爭(zhēng)壁壘。

vLLM的差距是生態(tài)閉環(huán)

vLLM是當(dāng)前大語(yǔ)言模型推理領(lǐng)域應(yīng)用最廣泛的開(kāi)源引擎。

SemiAnalysis選取vLLM作為評(píng)判基準(zhǔn)，本身即傳遞了一個(gè)判斷，開(kāi)源推理生態(tài)正在成為衡量AI芯片真實(shí)性能的關(guān)鍵戰(zhàn)場(chǎng)。

以Kimi K2.5這一千億參數(shù)級(jí)混合專家（MoE）模型為例，差距尤為突出。

英偉達(dá)GB200 NVL72通過(guò)機(jī)架級(jí)NVLink將72張GPU高速互聯(lián)，支持寬專家并行（Wide EP）達(dá)8至16的規(guī)模。

這一架構(gòu)使每張GPU承載的專家權(quán)重大幅減少，HBM帶寬壓力隨之降低，All-to-All通信也得以在高速NVLink域內(nèi)完成，而非經(jīng)由較慢的InfiniBand網(wǎng)絡(luò)。

最終每GPU吞吐量可達(dá)12,000 token/s以上。相比之下，AMD MI355X在同一測(cè)試中表現(xiàn)明顯遜色，主要原因在于其難以實(shí)現(xiàn)同等規(guī)模的專家并行與機(jī)架級(jí)互聯(lián)。

在軟件層面，英偉達(dá)推出的Dynamo分布式推理框架將vLLM深度集成，專門針對(duì)MoE模型實(shí)現(xiàn)了預(yù)填充與解碼分離（Disaggregated Serving）、高效KV緩存?zhèn)鬏斠约半p批次重疊等優(yōu)化。

這套框架在NVL72上能夠充分發(fā)揮硬件潛力，而AMD方面目前仍主要依賴標(biāo)準(zhǔn)vLLM與DISAGG版本，針對(duì)超大MoE模型與寬并行場(chǎng)景的深度優(yōu)化尚未跟上。

"部分模型"措辭背后的全覆蓋鴻溝

SemiAnalysis將AMD的落后限定在"部分模型"上，這一措辭包含兩層信息。

第一，AMD并非全面落后。在通用計(jì)算場(chǎng)景中，其MI系列GPU已具備一定競(jìng)爭(zhēng)力，Meta近期簽署的巨額采購(gòu)訂單也驗(yàn)證了這一點(diǎn)。

第二，"部分"這一限定恰恰凸顯了當(dāng)前差距的實(shí)質(zhì)，全面性軟件生態(tài)覆蓋的缺失。

在AI推理場(chǎng)景中，企業(yè)客戶追求的是穩(wěn)定、可預(yù)期的部署體驗(yàn)。維護(hù)兩套軟件棧以覆蓋不同模型的成本，往往是決策時(shí)的決定性因素。

AMD要完成從"部分領(lǐng)先"到"全面可用"的跨越，所需的軟件工程投入可能比硬件迭代更為耗時(shí)。

這不僅是寫(xiě)更多驅(qū)動(dòng)和適配層的問(wèn)題，它意味著要在數(shù)以千計(jì)的模型架構(gòu)、不斷演進(jìn)的開(kāi)源框架、以及分散的開(kāi)發(fā)者社區(qū)中建立廣泛的兼容性和信任。

推理時(shí)代，軟件才是真正的護(hù)城河

當(dāng)AI產(chǎn)業(yè)重心從訓(xùn)練向推理遷移，軟硬件的戰(zhàn)略價(jià)值正在發(fā)生結(jié)構(gòu)性重估。

訓(xùn)練任務(wù)集中、可控，硬件性能差距可憑資本投入彌補(bǔ)；推理則是分布式、持續(xù)性的，微秒級(jí)延遲差異在每天數(shù)十億次調(diào)用中被成倍放大，直接轉(zhuǎn)化為成本結(jié)構(gòu)的分化。

英偉達(dá)的軟件生態(tài)壁壘由三個(gè)層面疊加構(gòu)成：

• 覆蓋約400萬(wàn)開(kāi)發(fā)者的CUDA工具鏈及其二十年積累；
• 對(duì)所有主流機(jī)器學(xué)習(xí)框架的優(yōu)先適配；
• 以及cuDNN、TensorRT、NCCL等優(yōu)化庫(kù)形成的深度綁定。

三者疊加產(chǎn)生的遷移成本，遠(yuǎn)超任何單一硬件參數(shù)的差距。這一判斷與SemiAnalysis兩周前的分析形成呼應(yīng)。

彼時(shí)，該機(jī)構(gòu)指出Anthropic已形成由谷歌TPU、亞馬遜Trainium和英偉達(dá)GPU共同構(gòu)成的多平臺(tái)算力架構(gòu)，大量Claude模型訓(xùn)練運(yùn)行于TPU，Claude Code推理則越來(lái)越多部署于Trainium，英偉達(dá)GPU的份額正遭自研ASIC緩慢侵蝕。

然而此次對(duì)vLLM性能的正面評(píng)價(jià)表明，英偉達(dá)在推理軟件棧深度優(yōu)化上的領(lǐng)先幅度，并未隨硬件競(jìng)爭(zhēng)格局的演變而同步收窄。