GPU帝國松動：哪些推理芯片正在重寫AI算力格局

芯片界曾有句老話：真正的硬漢，要有自己的晶圓廠。

現在這句話正在被改寫：真正的大模型公司，遲早都要掌握自己的算力命運。

誰能以更低成本、更低延遲、更高穩定性生產token，誰就能建立起真正可持續的AI商業模式。

過去，通用GPU幾乎是AI算力的唯一答案。它足夠強、足夠通用，也有最成熟的軟件生態。但進入推理和智能體時代，一個能同時訓練和推理的通用GPU，開始暴露出兩個越來越明顯的弱點：一方面，它未必是最低成本、最低延遲的推理機器；另一方面，它要求圍繞單一GPU集群構建巨大的算力系統，越來越難以適應AI應用日益靈活、分布式、低延遲的需求。

AI算力正在按照任務重新分工。訓練、預填充、解碼、長上下文、KV緩存、工具執行和系統編排，不再天然屬于同一種芯片。

智能體與“推理危機”

上半年推理收入增長快的背后，是巨大的毛利壓力。每家AI企業都面臨訓練的資本開支，以及推理的持續運營成本。智能體、多輪推理、長上下文、代碼生成、工具調用會讓每個用戶請求背后的token消耗成倍放大。推理不是一次性買設備的問題，而是日復一日燒電、燒帶寬、燒HBM、燒機房的成本問題。從扎克伯格在內部承認Meta的智能體技術進展“沒有像預期那樣加速”，到中國號稱token工廠的企業頂著巨額虧損準備上市，都可以看出在諸多AI企業中，token經濟仍有待于確立。

GPU不只是一塊芯片，而是一整條稀缺供應鏈，用緊缺的供應鏈支撐高毛利的通用GPU芯片——它迫使短期內專用定制的功能成本更高，這是黃仁勛高明的策略。但是，當這種供應鏈短缺和英偉達GPU高毛利長期化時，企業開始把AI工作負載拆開，把最稀缺、最昂貴的GPU留給最適合它的任務，把其他任務交給更專用、更便宜、更低延遲或更省電的芯片。

HBM和先進封裝的瓶頸，會直接推動內存架構創新。當電力和機房成為硬約束時，企業就會更愿意采用專用芯片。因為哪怕專用芯片不如GPU通用，但如果它在某一類推理任務上能把每瓦token產出提高幾倍，就值得部署。

主要用于推理的定制芯片（ASIC），正在成為與CPU、GPU并列的芯片。在推理領域，還會出現進一步分化，在預填充（prefill）階段和解碼（decode）階段，需要的算力也非常不一樣。前者需要消耗大量的計算和高帶寬存儲，后者需要更快的速度。現在，開始出現專門用于預填充和專門用于解碼的芯片了。

更有甚者，英特爾主張把預填充交給GPU，解碼交給專用推理芯片，智能體工具執行和系統編排交給CPU。

AI推理成為巨大的瓶頸，它正在定義AI算力的競爭，不再為了誰的GPU更強，而是開始按推理階段、延遲要求、內存結構、數據流方式重新分化。甚至Flops都不再是最重要的指標。

所有這些，既是“推理危機”給芯片帶來的創新機會，也是各大AI企業擺脫過于依賴甚至替代通用GPU的共識和集體行動。

上半年，OpenAI不僅宣布與Cerebras合作，而且推出自研芯片Jalape?o；Anthropic也開始研發自己的定制芯片，媒體傳制程可能放到2納米；谷歌的TPU推出了第八代，明確區分了訓練與推理；Anthropic準備采購Fractile芯片。此外，還有英特爾加大投資SambaNova，以及微軟支持的D-Matrix。最近，一家名叫Etched的初創公司也開始撩起面紗，很快交付機架級別的產品。

黃仁勛則早已果斷地用200億美元獲得了Groq-LPU技術和團隊。Cerebras首席執行官費爾德曼（Andrew Feldman）認為，“這反映了一個日益嚴峻的行業現實——推理市場正在碎片化，一個新的類別已經出現，在這個類別中，速度不再是優勢，而是全部價值所在。而這種價值只有通過不同于GPU的芯片架構才能實現。”

五種“反GPU”路徑

Cerebras的極端方法，是用整片晶圓消滅跨芯片通信瓶頸。它的核心創新是晶圓級計算（wafer-scale computing）。傳統GPU是把一片晶圓切成很多小芯片，再通過NVLink、InfiniBand、以太網等方式把許多芯片連起來。Cerebras反過來，直接把整片晶圓做成一個巨型處理器WSE-3。

WSE-3 的規格非常極端：46,225 平方毫米，4 萬億晶體管，90 萬個 AI 優化核心，125 PFLOPS 算力。CS-3 系統還標稱 44GB 片上 SRAM、21PB/s 內存帶寬、214Pb/s片上互連帶寬。所以 Cerebras 試圖反GPU之道而行之，用一個超大芯片，減少多芯片系統的同步、通信和調度成本。

這樣的架構把原來GPU集群里最麻煩的跨芯片通信，盡量壓縮到一片晶圓內部完成。這對推理尤其關鍵。因為解碼階段每生成一個token都要經過模型層，層與層之間、張量分片之間的通信如果要跨很多GPU，就會帶來不可忽視的延遲。Cerebras試圖用一個巨型片上架構把這些通信內部化。

OpenAI正是看中了Cerebras會作為其推理棧中的專用低延遲方案。雙方合作的750MW超低延遲推理算力，將分階段上線，也可以看成OpenAI對這種路線的正式驗證。

（WSE 3與GPU B200對比，來源：Cerebras官網）

Groq的LPU路線和Cerebras不同。它不是做一整片晶圓，而是做一種確定性、數據流式、面向語言模型推理的專用處理器。所謂確定性，就是它的并行計算與GPU動態概率式的不同，犧牲了一些通用性，增加了推理速度。

Groq的核心思想是：GPU用大量線程掩蓋延遲；LPU盡量讓延遲變得可預測。LPU強調片上SRAM、固定調度、顯式數據流。

英偉達把Groq技術納入Vera Rubin平臺之后，推出了NVIDIA Groq 3 LPX。官方規格顯示，每個LPU有500MB SRAM、150TB/s SRAM帶寬、2.5TB/s機架內（scale up）帶寬；一個LPX機架有256個LPU，總計128GB SRAM、40PB/s SRAM帶寬、640TB/s機架外（scale-up）帶寬。這個就是要用極高帶寬的SRAM來加速低延遲token生成。

更關鍵的是，英偉達并不是把Groq LPU 當成 GPU 的替代品，而是把它和 Rubin GPU 配成一個異構系統， Vera Rubin NVL72 + LPX 是把 Rubin GPU 的大 HBM 容量與 SRAM-only LPU 的高帶寬結合起來，以同時滿足長上下文、高吞吐和低延遲。

黃仁勛也到處強調，英偉達不是一家GPU公司，而是一家加速計算系統公司，因為他對形勢洞若觀火，未來推理不是單一GPU架構包打天下，而是GPU + LPU + CPU +網絡+存儲的系統級組合。

Google TPU 8t / 8i，第一次把訓練TPU和推理TPU明確分化，這是谷歌第八代TPU最重要的范式變化。TPU 8t面向大規模預訓練，TPU 8i面向采樣、服務和推理。訓練和推理的硬件需求已經明顯分化。

TPU 8t：

-繼續使用3D torus拓撲，擴大到9,600芯片級別的超級節點；

-稀疏核（SparseCore）處理嵌入查表（embedding lookup）和不規則內存訪問，主要用于推薦、廣告、搜索這類超大嵌入表場景中，因為這些場景的稀疏查表非常重；

-向量處理單元/矩陣乘單元(VPU / MXU)重疊執行，讓softmax、層歸一化（layernorm）、量化等向量操作和矩陣乘更好重疊；提高芯片利用率。

-原生FP4，降低帶寬壓力；

-Virgo Network提高橫向擴展網絡能力。

TPU 8i：

-片上SRAM比上一代增加3倍，讓更大的KV cache留在硅片上；

-新增集體加速引擎（Collectives Acceleration Engine），用于加速自回歸解碼、思維鏈中的歸約（reduction）和同步（synchronization）；

-使用Boardfly拓撲，減少全互聯通信（all-to-all）跳數，把1024芯片節點的網絡直徑從3D torus的16跳降到7跳，從而降低尾延遲；

-TPU 8i還擁有更高HBM容量和更高HBM帶寬，官方顯示288GB HBM、384MB片上SRAM、8,601GB/s HBM帶寬。

TPU 8i的架構語言其實和Groq、Cerebras、d-Matrix、SambaNova同頻：更大SRAM、更低通信跳數、更快的集體加速、更明確服務解碼和推理。

Fractile現在還比較早期，要做新一代處理器，把內存和計算物理交織，以同時實現低延遲和高吞吐，并宣稱可讓前沿模型推理快25倍、成本降到1/10。

Anthropic與Fractile討論了早期采購，但這還不是確定的大規模部署。Fractile的芯片可能要到2027年左右才具備商業可用性；其路線是把內存和計算放在同一塊裸片硅上，用SRAM代替頻繁訪問外部DRAM，以緩解GPU與離片DRAM之間的數據搬運瓶頸。

所以Fractile可以看成是更激進的近內存/存內推理（near-memory / in-memory inference）路線。它不是做更快的GPU，而是試圖在物理結構上改寫馮·諾依曼式 內存-計算分離。

但它的風險也最大：目前還沒有大規模生產驗證，性能更多來自設計目標、早期測試或模擬，難以和Cerebras、TPU、NVIDIA/Groq這類已經進入系統部署的方案等量齊觀。

SambaNova的核心是RDU，即可重構數據流單元（Reconfigurable Dataflow Unit）。它的關鍵不是固定功能ASIC，而是把AI模型圖映射到處理器上的數據流路徑。SambaNova認為，RDU通過數據流架構和三層內存架構來減少數據移動，降低延遲并提高能效；SN50是第五代RDU，面向大規模智能體負載。

SN50的技術特點包括：

-數據流架構，把模型執行路徑映射到處理器上；

-三層內存架構，結合大容量內存、HBM和SRAM；

-支持模型駐留和快速切換，適合智能體在多個模型之間頻繁切換；

-支持輸入token緩存，以減少預填充和首個輸出token時間；

-SambaRack SN50把16個SN50芯片連接起來，支持更大的模型和更高并發。

更有意思的是英特爾與SambaNova的合作。英特爾官方稱，這個異構推理藍圖會用GPU做預填充，用SambaNova RDU做高吞吐解碼，用Xeon 6做主機和執行CPU。

這幾乎是當下推理架構分化的教科書案例：預填充交給GPU，解碼交給專用推理芯片，智能體工具執行和系統編排交給CPU。這里面依稀看到英特爾在AI時代重回計算中心的野心。

d-Matrix的路線是DIMC，即數字內存計算（Digital In-Memory Compute）。傳統加速器使用HBM，但受限于內存和計算物理分離的馮·諾依曼結構；d-Matrix的方法是在邏輯處理中把乘法器集成進內存位單元，讓計算更靠近數據，從而降低能耗和延遲。它還強調數字存內計算相比模擬存內計算更抗噪、更靈活。

這個存內計算AI平臺Corsair的特點包括：

-數字存內計算；

-高性能片上內存，用于高速交互；

-容量型片外內存，用于更大批處理推理；

-block floating point / microscaling數值格式；

-微芯粒(chiplet)架構；

-DMX Link / DMX Bridge等低延遲互連，即chiplet中不同祼芯片之間的連接，以及不同Corsair芯片之間的連接；

-JetStream自定義NIC，用于加速器之間通信。

Corsair雙卡有4GB Performance Memory、300TB/s帶寬；一個8卡推理服務器有16GB Performance Memory、1200TB/s；一個推理機架有128GB高性能片上內存、9.6PB/s，并宣稱可在Llama3 8B單服務器上做到60,000 tokens/s、1ms/token，在Llama3 70B單機架上做到30,000 tokens/s、2ms/token。d-Matrix和Fractile都認為，推理芯片的未來不只是加更多算力，而是把計算挪到內存附近，甚至內存內部。

最近，Etched撩開了一點面紗。它號稱要為Transformer定制一款芯片，以放棄通用性換取極致效率。今年初也在臺積電完成4納米制程的流片，其數學單元在“低于大多數AI芯片一半的電壓”下工作，從而提升FLOPs密度，并聲稱能讓“萬億參數級稀疏MoE”在80%以上峰值FLOPs下運行而不熱到降頻。

它在機架域內設計了一個低延遲共享內存池，主要是在芯片間顯著降低了內存互訪的延遲。HBM/SRAM混合設計同時解決了內存容量和內存到內存時延的問題，從而能夠同時兼顧高吞吐和交互式響應能力。

基于這一所謂集群規模內存（Cluster Scale Memory），Etched要打造AI硬件的“新物種”：前沿推理集群。它們手中有10億美元訂單，將于夏季交付第一臺機架部署到數據中心。

對于解決“推理危機”有多大幫助

這些芯片看起來有點五花八門，但共同點非常清楚。

第一，它們都在圍繞“內存墻”做文章。

第二，都不再把FLOPS當作唯一指標。推理真正關心的是：

-首token延遲(time to first token)；

-單用戶token生成速度(tokens per second per user)；

-尾延遲(tail latency)；

-單位token成本(cost per token)；

-單位能耗產出(tokens per watt)；

-高并發下是否還能保持延遲(concurrency)。

第三，都在做“數據流化”。GPU更像動態調度的通用并行機器，而這些新架構更像把模型圖映射到硬件流水線上，讓數據在哪里、什么時候到達、經過哪個單元，都盡量提前安排。

第四，都在成為異構化算力的核心部件。英偉達的Vera Rubin + Groq 3 LPX、Intel + SambaNova、Google TPU 8t / 8i，都說明未來不會是一種芯片做完所有事情，而是訓練、預填充、解碼、KV緩存、工具執行、網絡、存儲各自分工。

第五，都服務于“智能體推理”。智能體不是一次問答，而是多輪推理、多次工具調用、多模型切換、長上下文復用。

它們要解決問題的核心，是低延遲解碼，這是Groq LPU、Cerebras、TPU 8i、d-Matrix、SambaNova、Fractile共同瞄準的目標。

能耗和成本也是一個重要考慮。如果減少離片內存訪問，能耗會顯著降低，因為數據搬運往往比計算本身更貴。

智能體的鏈式調用速度決定了用戶體驗，如果一個智能體要調用模型幾十次、幾百次，單次響應從300ms降到30ms，工作流能力會發生質變。費爾德曼說“速度不再是優勢，而是全部價值”，主要就是針對這種場景。

但它們不能完全解決超大模型容量問題，SRAM很快，但密度低、成本高。沒有人真的只靠SRAM解決所有模型容量問題。

軟件遷移問題也很麻煩，CUDA、PyTorch、Triton、vLLM、TensorRT-LLM、XLA、JAX這些軟件棧非常重要，AI就“原生”其間。硬件快，但如果編譯器、運行時、內核、模型支持不成熟，很難大規模替代GPU。

低延遲和高吞吐有時是矛盾的，極低延遲往往犧牲批處理效率（batch efficiency）；高吞吐批處理又可能犧牲交互速度。不同客戶會選擇不同最優點。

供應鏈和部署也是必須要跨越的死亡之谷，Cerebras的晶圓級封裝、Fractile的新型內存-計算結構、d-Matrix的數字存內計算（DIMC） 和芯粒互連，都會面臨量產、良率、可靠性、冷卻和數據中心適配問題。

英偉達的護城河還挺深

這些芯片會讓推理市場碎片化，也不會立即毀了英偉達的護城河。英偉達的真正護城河早已不只是GPU芯片本身，而是協同設計的軟件和硬件，有機的系統和龐大的生態。

黃仁勛最初用CUDA構筑了一個生態，一道深深的護城河。雖然他主張主權AI，但是，他認為所有的主權AI，都應該跑在美國的AI平臺上，實際上也就是英偉達的通用GPU平臺上。他還拋出了一個五層蛋糕理論，從電力到應用，構成了英偉達以算力為核心經濟與產業體系，也從上游的供應鏈到下游的模型和應用，構筑了它的戰略防御縱深。

除了技術和系統，英偉達還在扮演“算力央行”，用其強大的資產負責表，支持整個生態中的重大、前沿項目的融資。它們不僅短期支撐著英偉達業務的增長和高毛利，還長期鎖定客戶、供應鏈和前沿技術。

黃仁勛對于整個算力基礎設施擁有最深刻的洞察，他總能最先發現下一個瓶頸，并通過研發、并購、供應鏈鎖定、生態合作等方式，把瓶頸的解決內化到他的系統中去。

在推理芯片市場，英偉達近年來市場份額實際上已增長至74%。黃仁勛堅稱，英偉達的芯片在推理處理方面比任何其他替代方案都更有效。

參考文獻：

https://groq.com/newsroom/groq-and-nvidia-enter-non-exclusive-inference-technology-licensing-agreement-to-accelerate-ai-inference-at-global-scale "Groq and Nvidia Enter Non-Exclusive Inference Technology Licensing Agreement to Accelerate AI Inference at Global Scale| Groq is fast, low cost inference."

https://sambanova.ai/blog/introducing-the-sn50-rdu-purpose-built-for-agentic-inference "Introducing the SN50 RDU: Purpose-Built for Agentic Inference"

https://openai.com/index/cerebras-partnership/ "OpenAI partners with Cerebras | OpenAI"

https://www.cerebras.ai/chip "Product - Chip - Cerebras"

https://www.cerebras.ai/system "Product - System - Cerebras"

https://www.nvidia.com/en-us/data-center/lpx/ "AI Inference Accelerator | NVIDIA Groq 3 LPX "

https://developer.nvidia.com/blog/nvidia-vera-rubin-pod-seven-chips-five-rack-scale-systems-one-ai-supercomputer/ "NVIDIA Vera Rubin POD: Seven Chips, Five Rack-Scale Systems, One AI Supercomputer | NVIDIA Technical Blog"

https://cloud.google.com/blog/products/compute/tpu-8t-and-tpu-8i-technical-deep-dive "TPU 8t and TPU 8i technical deep dive | Google Cloud Blog"

https://www.fractile.ai/ "Fractile - Radically Accelerate Frontier Model Inference"

https://www.tomshardware.com/tech-industry/artificial-intelligence/anthropic-in-early-talks-to-buy-inference-chips-from-uk-startup-fractile "Anthropic in early talks to buy DRAM-less AI inference chips from UK startup—Fractile's SRAM architecture reduces need for pricey memory during extreme pricing and shortage crunch | Tom's Hardware"

https://sambanova.ai/products/rdu-ai-chips "RDU | Next-Gen AI Chip for Inference at Scale"

https://newsroom.intel.com/artificial-intelligence/intel-and-sambanova-advance-agentic-ai-with-xeon-6 "Intel and SambaNova Advance Agentic AI with Xeon 6 - Intel Newsroom"

https://www.d-matrix.ai/product/ "d-Matrix Corsair AI Platform | In-Memory Computing for AI"

https://www.d-matrix.ai/announcements/d-matrix-raises-275-million-to-power-the-age-of-ai-inference/ "d-Matrix Raises $275 Million to Power the Age of AI Inference - d-Matrix"