推理成本砍掉一半以上，OpenAI摸著DeepSeek過(guò)河

在控制成本這方面，OpenAI如今正準(zhǔn)備走DeepSeek走過(guò)的老路。

外媒報(bào)道稱(chēng)，OpenAI找到了一種新的系統(tǒng)優(yōu)化方案，能把模型推理成本砍掉一半以上。

原文中是這樣描述的，說(shuō)過(guò)去幾萬(wàn)張GPU才能滿足的需求，現(xiàn)在幾百?gòu)埦妥銐蛄恕?/p>

其實(shí)AI公司現(xiàn)在最頭疼的，不是模型能不能再聰明一點(diǎn)，而是聰明一次到底要花多少錢(qián)。

過(guò)去，行業(yè)的主線一直是把模型的性能做強(qiáng)、把上下文的窗口拉大。可結(jié)果呢？能力是上去了，然而賬單也上去了。

尤其是OpenAI這種月活8億的公司，推理成本是他們商業(yè)運(yùn)作的根基。

當(dāng)所有人都在把AI編程、Agent當(dāng)作核心敘事的時(shí)候，OpenAI準(zhǔn)備去講一個(gè)新故事。

01

OpenAI從很久之前就在想辦法降低推理成本

OpenAI雖然到現(xiàn)在也沒(méi)公開(kāi)這個(gè)方案的具體技術(shù)細(xì)節(jié)，但外媒援引知情人士的說(shuō)法，稱(chēng)推理優(yōu)化方向，主要來(lái)自于KV cache上的優(yōu)化。

啥是KV cache？

一句話概括，KV cache就是模型讀完前文后留下的“筆記”。

大模型生成一句話，不是一次性寫(xiě)完的，而是一個(gè)token一個(gè)token地往外蹦。每蹦一個(gè)新token，它都要回頭看前面已經(jīng)出現(xiàn)過(guò)的內(nèi)容，判斷下一個(gè)該說(shuō)什么。

如果沒(méi)有KV cache，模型每生成一個(gè)新token，都要把前面整段話重新讀一遍、重新算一遍。比如你問(wèn)了1萬(wàn)字材料，它生成第1個(gè)字要讀一遍，生成第2個(gè)字還要再讀一遍，生成到第10000個(gè)字還要再讀一遍的話，那成本就炸了。

海外科技博主安德魯·庫(kù)蘭（Andrew Curran）表示，OpenAI在架構(gòu)上出現(xiàn)了一個(gè)重大突破，尤其是在內(nèi)存效率方面。最關(guān)鍵的是，開(kāi)發(fā)了這個(gè)新架構(gòu)的團(tuán)隊(duì)，是一個(gè)從OpenAI剝離出去的團(tuán)隊(duì)，并且這個(gè)新團(tuán)隊(duì)大概很快就會(huì)公布結(jié)果。

其實(shí)OpenAI盯上KV cache已經(jīng)不是一兩天的事情了。

早在2024年10月的一次開(kāi)發(fā)者文檔更新中，OpenAI就加入了Prompt Caching（提示詞緩存）機(jī)制。

Prompt Caching本質(zhì)上就是對(duì)KV cache的復(fù)用，模型第一次讀完一段前綴后，會(huì)生成對(duì)應(yīng)的中間結(jié)果；如果后續(xù)請(qǐng)求用了相同前綴，系統(tǒng)就可以直接復(fù)用這部分KV cache，而不是重新計(jì)算整段prompt。

前綴是指開(kāi)頭那段重復(fù)出現(xiàn)的內(nèi)容。比如“你是一個(gè)嚴(yán)謹(jǐn)?shù)姆芍郑憧梢哉{(diào)用搜索、數(shù)據(jù)庫(kù)、計(jì)算器，以下是合同全文……請(qǐng)找出風(fēng)險(xiǎn)條款”

它的底層邏輯很簡(jiǎn)單，很多請(qǐng)求并不是完全從零開(kāi)始的。

尤其像是系統(tǒng)提示、代碼庫(kù)上下文、長(zhǎng)對(duì)話歷史，往往會(huì)反復(fù)出現(xiàn)。如果每次都把這些前綴重新跑一遍prefill，等于在浪費(fèi)算力。

官方文檔表示，通過(guò)Prompt Caching，最高可以把延遲降低80%，把輸入token成本降低90%。

其實(shí)2024年5月的時(shí)候，DeepSeek就提出過(guò)類(lèi)似的想法，以壓縮KV cache。在DeepSeek-v2的技術(shù)報(bào)告中，DeepSeek團(tuán)隊(duì)提出了一個(gè)新的機(jī)制，叫做Multi-head Latent Attention（MLA）。

MLA的核心目的就是壓縮KV cache。報(bào)告里表示，MLA把KV cache壓進(jìn)latent vector，從而保證高效推理。相較于 DeepSeek 67B，DeepSeek-V2的KV cache減少了93.3%，最大生成吞吐提升到5.76倍。

DeepSeek在V4發(fā)布后很快調(diào)整緩存命中價(jià)格，其實(shí)也是因?yàn)榘l(fā)現(xiàn)KV cache可以復(fù)用。

目前GPT并未有類(lèi)似的折扣的機(jī)制，所以這次OpenAI推理優(yōu)化，很有可能是想走DeepSeek走過(guò)的路。

02

KV Cache是怎么扼住HBM喉嚨的

KV cache和顯存是強(qiáng)相關(guān)的，因?yàn)镵V cache就放在顯存里。

KV cache跟圖片、視頻這類(lèi)可以慢慢加載的冷數(shù)據(jù)不同，它是模型生成每一個(gè)新token時(shí)都要頻繁讀取的熱數(shù)據(jù)。如果把KV cache放在CPU內(nèi)存、SSD或者普通存儲(chǔ)里，它也可以讀取，但是讀取的時(shí)間就會(huì)比較久。

模型每生成一個(gè)token，GPU都要去KV cache里查歷史信息，所以為了減少延遲、提高吞吐，KV cache必須放在離GPU計(jì)算單元最近，帶寬最高，延遲最低的地方，也就是HBM里。

進(jìn)一步來(lái)說(shuō)，HBM越大，首先意味著GPU能同時(shí)裝下更多東西。比如更大的模型權(quán)重、更長(zhǎng)上下文的KV cache、更多并發(fā)用戶的緩存。

所以HBM越大，模型服務(wù)的能力上限也就會(huì)越強(qiáng)，尤其是長(zhǎng)上下文和高并發(fā)推理能力。

也正是因?yàn)橥评韺?duì)HBM的需求大到這個(gè)地步，所以行業(yè)才會(huì)去拼命地迭代HBM4，英特爾另起爐灶搞ZAM。

HBM4是正統(tǒng)路線，繼續(xù)堆帶寬。

JEDEC在2025年4月發(fā)了標(biāo)準(zhǔn)，核心變化是內(nèi)存接口從1024位翻到2048位，單堆棧帶寬從HBM3E的1.18TB/s直接拉到2.8TB/s，容量從24GB提到48GB。SK 海力士和三星在今年2月同時(shí)量產(chǎn)，全年產(chǎn)能被英偉達(dá)最新的Rubin架構(gòu)提前訂光。

但問(wèn)題就是，從H100上的HBM3（819 GB/s）到Rubin上的HBM4（2.8 TB/s），帶寬翻了3倍多，然而在AI面前，仍然是無(wú)底洞。

ZAM是英特爾和軟銀旗下SAIMEMORY聯(lián)合發(fā)布的新型顯存，全稱(chēng)Z-Angle Memory。

它跟HBM的區(qū)別在工藝，HBM靠微凸塊和硅通孔把DRAM一層一層疊起來(lái)，ZAM用銅對(duì)銅混合鍵合直接把9層（8層存儲(chǔ)加1層控制）熔在一起。

結(jié)果是堆疊更矮、散熱更好、功耗更低、成本更便宜。帶寬約2.5TB/s，接近HBM4。不過(guò)短期內(nèi)還是取代不了HBM的。只是說(shuō)當(dāng)前HBM的產(chǎn)能被SK 海力士和三星兩家吃死，價(jià)格和交期都不受下游控制，ZAM的出現(xiàn)，是給行業(yè)多一條活路。

理解完這些技術(shù)路線，再來(lái)看HBM的邏輯，就很有意思了。

當(dāng)KV cache壓縮、分頁(yè)、量化這些技術(shù)足夠成熟，單個(gè)請(qǐng)求需要的HBM容量肯定會(huì)下降。尤其對(duì)推理集群來(lái)說(shuō)，HBM容量和帶寬的利用效率會(huì)系統(tǒng)性提升。

但是你反過(guò)來(lái)去想，一旦推理的成本降下來(lái)了，模型廠商馬上會(huì)把省出來(lái)的顯存拿去做更長(zhǎng)上下文、更高并發(fā)、更復(fù)雜agent。

以前8K上下文貴，那就少給；現(xiàn)在KV cache優(yōu)化了，就推128K、1M上下文。以前agent跑10步嫌貴，現(xiàn)在就讓它跑50步、100步。以前一個(gè)用戶占一份緩存，現(xiàn)在要同時(shí)服務(wù)更多用戶。

單個(gè)請(qǐng)求占用的HBM可能下降，但總的HBM需求未必下降。

還有一個(gè)點(diǎn)，HBM不只是裝KV cache，它還要裝模型權(quán)重、激活值、中間計(jì)算結(jié)果，也決定數(shù)據(jù)喂給GPU計(jì)算單元的速度。

就算KV cache被優(yōu)化了，HBM容量和帶寬仍然是核心瓶頸。

03

OpenAI想上市就必須降低推理成本

6月24日，OpenAI和博通聯(lián)合發(fā)布了Jalape?o。這是OpenAI參與設(shè)計(jì)的首款A(yù)I芯片。

這玩意從第一行電路設(shè)計(jì)開(kāi)始，就是為L(zhǎng)LM推理而生的，甚至于它都沒(méi)辦法跑通用任務(wù)。

從2025年10月公開(kāi)宣布合作到2026年6月亮相，Jalape?o只用了9個(gè)月。可是在半導(dǎo)體行業(yè)里，一顆新處理器的開(kāi)發(fā)周期通常以年為單位，這個(gè)速度有點(diǎn)“太快了”。

OpenAI的官方說(shuō)法是，能這么快是因?yàn)檐浖陀布疃葏f(xié)同開(kāi)發(fā)，而且OpenAI用自己的模型，加速了芯片設(shè)計(jì)中的部分優(yōu)化流程。用AI設(shè)計(jì)AI的芯片，然后AI芯片再去跑AI模型。

Jalape?o瞄準(zhǔn)的方向就是推理。據(jù)外媒報(bào)道，Jalape?o能把LLM服務(wù)成本砍掉約50%。如果疊加上這次KV cache方面的優(yōu)化，那OpenAI的推理成本，恐怕會(huì)降低一個(gè)數(shù)量級(jí)。

更關(guān)鍵的是，Jalape?o還不是OpenAI在推理芯片這方面下的唯一籌碼。

2026年1月14日，OpenAI和Cerebras簽下了一份超過(guò)100億美元的協(xié)議。協(xié)議中提到，后者給前者提供，750MW的推理算力，持續(xù)到2028或2029年。未來(lái)可能還將擴(kuò)展到2GW。

5月，Cerebras在納斯達(dá)克IPO，估值一度沖到230億美元以上。

英偉達(dá)和AMD做GPU，底層邏輯是把很多小芯片用高速網(wǎng)絡(luò)連起來(lái)組成集群。這是因?yàn)樯a(chǎn)這些芯片的光刻機(jī)，它的單次最大曝光面積約858mm2（光罩固定尺寸）。而H100裸片已經(jīng)達(dá)到了814mm2，如果強(qiáng)行做更大單片，需要多次拼接曝光，光刻缺陷、對(duì)位誤差暴增，流片工藝基本不可行。

然而Cerebras不一樣，它是直接造一顆跟整片硅晶圓一樣大的芯片。WSE-3，4萬(wàn)億個(gè)晶體管，90萬(wàn)個(gè)計(jì)算核心，44GB片上SRAM。一塊芯片的內(nèi)存帶寬是英偉達(dá)B200的2625倍。

這么做的好處在于降低通信成本。在傳統(tǒng)的GPU集群里，數(shù)據(jù)傳輸要在芯片之間、節(jié)點(diǎn)之間跳來(lái)跳去，通信成本非常大。

Cerebras把所有東西放在一塊晶圓上，省掉了絕大部分通信延遲。結(jié)果就是推理速度可以比GPU方案快15倍。GPT-5.3-Codex-Spark在Cerebras上跑到了超過(guò)1000 tokens/秒。

目前，Cerebras CEO確認(rèn)，GPT-5.4已經(jīng)可以在Cerebras硬件上跑起來(lái)了，在未來(lái)，GPT-5.5也會(huì)運(yùn)行在Cerebras的硬件上面。

而且不只是OpenAI，AWS在6月宣布和Cerebras合作搞“推理分解”（inference disaggregation），把推理拆成prefill和decode兩個(gè)階段。prefill是計(jì)算密集的，用AWS的Trainium；decode是內(nèi)存帶寬密集的，用Cerebras的CS-3。

如今的OpenAI就是在兩條腿走路，從硬件方面先壓推理成本，然后再?gòu)能浖矫鎵骸W特曼口口聲聲說(shuō)不著急上市，并且外媒也表示，受SpaceX上市后股價(jià)不穩(wěn)的影響，OpenAI傾向于推遲到2027年再上市。

OpenAI在6月中旬泄露的財(cái)務(wù)數(shù)據(jù)顯示，OpenAI2025年全年收入為130.7億美元，總成本和費(fèi)用卻高達(dá)340億，運(yùn)營(yíng)虧損209億。光付給微軟的云計(jì)算賬單就超過(guò)172億。

2026年預(yù)計(jì)燒在推理和訓(xùn)練方面燒掉141億。唯一的好消息是毛利率提高了，2026年Q1，OpenAI的API業(yè)務(wù)毛利率達(dá)到了39%，目標(biāo)是年底沖到52%。

不過(guò)這只是皮毛而已，大家心里都清楚，再不控制成本，OpenAI可能就再也控制不住成本了。