DSpark推理速度提升80%后，OpenAI宣布新方法將推理成本降低了一半

OpenAI 上市前，提高軟件效率的價值可能與構(gòu)建更強的 AI 模型不相上下。

作者丨張進

編輯丨馬曉寧

近日，《The Information》獨家消息稱， 六月早些時候，OpenAI 工程師開發(fā)了一種優(yōu)化技術(shù)，將應用該優(yōu)化技術(shù)的模型的推理成本降低了一半。

據(jù)說，當工程師們將這項新技術(shù)應用于為未登錄訪客提供 ChatGPT 服務時，它在某個時刻將所需的英偉達 GPU 數(shù)量降至僅僅幾百塊。這是一個驚人的低數(shù)字，不過 OpenAI 從這類用戶那里得到的 ChatGPT 使用量可能不大，因為公司限制了這些用戶使用 chatbot 的額度。

這很重要，因為推理而非訓練現(xiàn)在依然是前沿 AI 實驗室和每個 AI 公司最大的持續(xù)開支，每條提示、每個 API 調(diào)用和每個 AI agent 操作都要經(jīng)過推理。

如果將這項推理技術(shù)擴大應用于登錄用戶的請求流量范圍，影響將是巨大的，意味著 OpenAI 能因此擁有更高的利潤率、運營成本降低以及減少對 GPU 的依賴，對于用戶來說更多的免費使用或者更便宜的 API。

對于一家正在推動上市的公司而言，提高軟件效率的價值可能與構(gòu)建更強大的 AI 模型不相上下。

01

只是量化？

不過，OpenAI 并未公開優(yōu)化方案的具體技術(shù)細節(jié)，業(yè)內(nèi)猜測可能是基于一些公開的研究成果，例如推測性解碼、 FlashAttention、vLLM 的 PagedAttention 等方案。

對于 OpenAI 這種不公開細節(jié)的“宣傳”方式，有網(wǎng)友認為只不過是一次模型量化，一種常見的優(yōu)化手段。

量化是降低模型推理成本最直接有效的方法，幾乎所有高效推理引擎都內(nèi)置了量化支持。模型量化就是把模型的權(quán)重從高精度（比如FP32）壓縮到低精度（比如INT8），目的是縮小模型體積、降低計算需求和能耗。

例如模型大小減少 75%（從 280GB 變成 70GB），顯存占用更小；GPU 讀取權(quán)重的速度快了，因為數(shù)據(jù)量少了 4 倍，同樣的帶寬能更快傳輸；硬件層面 INT8 整數(shù)乘法比 FP32 浮點乘法快得多，現(xiàn)代 GPU 有專門的 INT8 計算單元。綜合這三個效果，單個 token 的生成速度能提升 2-4 倍，推理成本可以降低 50-70%。

除模型量化外，常見的優(yōu)化手段還有鍵值緩存、請求批量處理、調(diào)度請求至低功耗輕量化模型或模型子模塊來完成應答等，分別作用于模型推理流程的不同階段。

還有人猜測他們使用的很可能是基于公開的研究成果，例如投機解碼、FlashAttention、vLLM 的 PagedAttention，這幾種方法都可以顯著提高推理效率。

投機解碼是用更小/更快的模型生成多個候選 tokens，再用大模型驗證，而不是逐個生成，可以實現(xiàn) 2 倍以上的速度提升，特別是對長序列生成，以此減少大模型的推理次數(shù)。

FlashAttention 的原理是重新設計注意力機制的計算流程，減少 GPU 內(nèi)存訪問，將注意力計算的時間復雜度從 O(N2) 優(yōu)化，速度快 2-4 倍，使得模型有更高的 GPU 利用率，也能讓硬件能處理更多請求。

vLLM 的 PagedAttention 則是將 KV 緩存按"頁"管理，類似操作系統(tǒng)的虛擬內(nèi)存，避免內(nèi)存碎片浪費，有效降低每個請求的 GPU 成本，顯著提高了 GPU 利用率。

相對于 OpenAI 這種“欲說還休”的姿態(tài)，DeepSeek 則早于 OpenAI 幾天推出了一種全新的投機解碼方法 DSpark，實現(xiàn)了 V4 模型每位用戶推理速度 60%-85% 的提升，且無需重新訓練任何模型權(quán)重。

02

如何提高推理效率，是 AI 公司必須解決的問題

這項研究由 DeepSeek 和北京大學共同完成，論文標題為《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》（DSpark：基于置信度調(diào)度的投機解碼與半自回歸生產(chǎn)）。

這是一種在不改變輸出結(jié)果的前提下提升生成速度的標準方法，其原理是通過篩選“無需驗證”的內(nèi)容來加速 LLM 推理。 提升投機解碼（speculative decoding）速度有三個關(guān)鍵因素：加快草稿生產(chǎn)速度、提高接受率或降低驗證成本。DSpark 優(yōu)化了后兩個。

具體流程是，構(gòu)建一個輕量級的草稿模型（draft model）預先預測出后續(xù)的若干個 token，隨后完整模型（full model）一次性驗證這些預測結(jié)果，并保留其中匹配的最長序列。由于該驗證過程采用了拒絕采樣（rejection sampling），最終生成的文本與大模型獨立生成的結(jié)果完全一致。

DSpark 真正的作用并不是用一個“更快的草稿模型”先隨便生成答案/猜測，而是在眾多可能猜測中，判斷哪些猜測值得后續(xù)去驗證。因此，整個過程關(guān)鍵的兩點是生成的草稿質(zhì)量和更智能的驗證。

該成果于 2026 年 6 月 27 日發(fā)布，適用于 V4 Flash 和 Pro 模型。已在 MIT 許可證下開源，DeepSeek 還展示了 DSpark 在 Gemma 和 Qwen 等其他模型上的良好表現(xiàn)。

在 DSpark 實現(xiàn)了 V4 模型每位用戶推理速度 60%-85% 的提升的同時，DeepSeek 宣布 V4 正式版發(fā)布后，將同步調(diào)整 API 定價策略，引入峰谷定價機制。

根據(jù)公布的價格方案，API 高峰時段價格將為平時價格的 2 倍，而高峰時代幾乎覆蓋了上班時間。相比一刀切的漲價或者限流定價策略，DeepSeek 引入的峰谷定價機制本質(zhì)上是用價格杠桿替代容量約束，在保留用戶的前提下優(yōu)化資源利用率，是一種提升利潤率的精細化商業(yè)策略。

半個月前，DeepSeek 完成了首輪外部融資，融資金額 510 億元，同月發(fā)布開源推理加速框架 DSpark，引入峰谷定價機制。結(jié)合一系列動作來看，DeepSeek 在傳遞一個清晰的行業(yè)信號：AI 的低價時代，正在謝幕。

從 ChatGPT 爆發(fā)以來，AI 改變了世界的一部分。而訓練一個頂級模型的成本動輒上億美元，后續(xù)的推理費用也不便宜，一個用戶每個月享受到的服務，可能遠超付出的價格。

今天，無論是 OpenAI，還是 DeepSeek，探索更有效的降低推理成本方法，依然是中美頭部模型公司共同努力的方向。

幾天前，OpenAI 宣布與 Broadcom博通聯(lián)合研發(fā) AI 推理芯 Jalape?o，OpenAI 是繼 Google、Meta、微軟等主流 AI 廠商中有一個布局自研 AI 芯片的公司。

這反映了 OpenAI 對未來 AI 的判斷，幾年來，整個行業(yè)都把重點放在訓練更強的大模型上，GPU 也成為最大的受益者，但隨著模型能力不斷提升，真正持續(xù)消耗算力的是模型部署后的推理階段。未來無論是企業(yè) API還是 AI agent，只要用戶持續(xù)使用，就需要不斷進行推理。

因此，如何提高推理效率、降低功耗，是 AI 公司未來必須解決的問題。

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術(shù)新星訪談

未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標注來源并插入本公眾號名片。