都在說缺算力，90% 的 AI 芯片卻被「浪費」了？

全球最昂貴的浪費，正發生在最聰明的公司里。

作者｜宇航猿

編輯｜靖宇

當你正 Vibe Coding 嗨到不行，或者跑著的項目突然停擺，打開 CLI 工具一看，「你的額度已用完」字樣出現時，心態不崩是不可能的。

你還別問，問 AI 公司就是「缺算力」。

但事情真的如此嗎？

Epoch AI 的分析師估算，到 2025 年底，OpenAI 等效擁有的算力約相當于 170 萬塊 H100。這個數字在 2023 年是 10 萬塊，2024 年是 40 萬塊——兩年暴增 17 倍。英偉達市值突破 3 萬億美元，全球科技巨頭每個季度砸下數百億美元搶購芯片。一切看起來都指向同一個敘事：算力就是 AI 的石油，誰囤得多，誰就贏。

每家 AI 公司都在砸重金囤卡囤算力，怎么可能差我那點額度？！

在播客 Latent Space 的一期節目里，AI 基礎設施公司 AMP 的創始人 Anjney Midha 說：「像 xAI 這樣的前沿實驗室，GPU 利用率可能不到 10%——這只是真正問題的冰山一角。」

我做了一次簡單的換算。MFU（Model Flops Utilization，模型浮點運算利用率）是衡量 GPU 算力真正用于模型計算的指標。如果你花 5 億美元買了一個 GPU 集群，MFU 只有 10%，意味著你實際獲得的有效算力相當于只花了 5000 萬美元。剩下 4.5 億美元的算力，在空轉。

說不通的地方在于，這些是全世界最聰明的工程團隊，花著全世界最昂貴的預算，建造全世界最先進的計算集群——然后讓 90%的算力閑著。

這不是某家小公司的管理失誤，這是一個結構性的行業秘密。

01

巨量采購，巨量浪費

讓我把這個反差拆解得更具體一些。

Epoch AI 的分析師 Josh You 在一份被廣泛引用的報告中寫道：「前沿實驗室尚未使用大部分 AI 算力。」他追蹤了主要實驗室的算力增長曲線，發現一個令人不安的模式——算力的采購速度遠遠超過了算力的消耗速度。大量計算資源處于「儲備」或「閑置」狀態，像是被囤積的戰略物資，而非正在燃燒的燃料。

這不是前沿實驗室獨有的問題。

Fujitsu 在其 2024 年發布的《AI 基礎設施狀態報告》中引用了一組更刺眼的數據：超過 75%的企業在峰值負載下，GPU 利用率仍低于 70%。注意，這是「峰值」——也就是說，在最忙的時候，四分之三的企業連七成算力都用不滿。

VentureBeat 基于類似數據做了一個更激進的判斷：「95%的 AI 基礎設施開支被浪費了。」

我試著把這些數字轉化為具體的金錢損失。一塊 H100 的云實例每小時收費 30 到 50 美元。假設一個企業運行著 20 塊 GPU 的小型集群，利用率只有 20%——這在行業中已經算不錯了——那么每年因閑置而浪費的計算成本約為 20 萬美元。對于擁有數萬塊 GPU 的前沿實驗室來說，這個數字要乘以幾個數量級。

這讓我想起了一段被遺忘的歷史。

1990 年代末，美國電信行業經歷了一場瘋狂的光纖鋪設熱潮。WorldCom、Global Crossing、Level 3 等公司在地下埋設了數百萬英里的光纖電纜，投入了超過千億美元。但到了 2001 年泡沫破裂時，行業發現一個驚人的事實：鋪設的光纖中，超過 95%是所謂的「暗光纖」（dark fiber）——從未被點亮，從未承載過任何數據。它們安靜地躺在地下，像是埋葬了一個時代的雄心。

這和今天 AI 行業買了 GPU 卻讓它們空轉，是不是同一個故事的不同版本？

但這里有一個關鍵的區別。暗光纖的問題主要是需求側的——當時根本沒有那么多數據需要傳輸。而 GPU 閑置的問題更復雜，因為算力需求明明就在那里。每家實驗室都在抱怨算力不夠用，每個研究者都在排隊等 GPU。

供給和需求都存在，中間到底卡在了哪里？

02

GPU 65% 的時間在等待

我曾經天真地以為，GPU 利用率低是因為工作負載不夠。后來我去讀了一些基礎設施層面的技術分析，才意識到問題完全不是這樣。

GPU 不是一頭只要喂食就會干活的野獸。它更像一位挑剔的米其林大廚——食材的品質、上菜的節奏、廚房的動線，任何一個環節出問題，它都會停下來等。

aixenergy 的一項研究揭示了一個令我吃驚的數字：在 AI 訓練過程中，GPU 有 30%到 65%的時間處于閑置狀態。不是因為沒有任務分配給它，而是因為數據還沒準備好。

這就是所謂的「數據饑餓」問題。

訓練一個大模型需要海量數據，這些數據需要經過清洗、標注、分詞、打包等一系列預處理步驟，然后從存儲系統加載到 GPU 的顯存中。GPU 的計算速度是以每秒萬億次浮點運算（TFLOPS）來衡量的，但存儲系統的 IO 速度遠遠跟不上這個節奏。結果就像一條高速公路上，收費站的吞吐量決定了實際車流量——不管你把公路修到幾十車道寬，收費站一次只能過兩輛車，后面全在堵。

但故事還沒完。我在 arXiv 上找到一篇關于 GPU 能耗的論文，它揭示了一個更隱蔽的問題：即使 GPU 進入了所謂的「深層空閑狀態」（deep idle），它仍然在大量耗電。Epoch AI 的數據顯示，GPU 數據中心的總功耗中，約 40%直接來自 GPU 本身。這意味著那些等待數據的 GPU 不僅沒在干活，還在燒電，而且燒的是不小的量。

這就像一輛法拉利堵在早高峰的環路上：引擎空轉，油在燒，但車沒動。而你還在為這輛車支付每小時 50 美元的租金。

還有一個更微妙的陷阱。那篇 arXiv 論文指出，目前行業通用的監控指標「集群級 SM 利用率」，其實并不能有效反映真實能效。SM（Streaming Multiprocessor，流式多處理器）是 GPU 內部的計算單元。即便監控面板顯示 SM 利用率看起來正常，實際上很多計算周期在做「假工作」——數據搬運、內存同步、等待通信，而非真正的模型計算。

這解釋了一個我之前困惑的現象：為什么有些團隊報告「GPU 利用率 70%」，但訓練速度卻遠低于預期。因為那 70%里面，可能只有一半在做有效計算，剩下的在做后勤。峰值負載利用率就像公司的「最佳季度營收」——它是真的，但它不代表常態。用它來衡量效率，就像用你跑得最快的那一次百米成績，來評估你的日常通勤速度。

當問題出在結構而非規模上時，堆量不僅不能解決問題，反而會讓浪費等比放大。

03

當「用好算力」變成一門新學科

如果問題是結構性的，那解法也必須是結構性的。這正是 Anjney Midha 在那期播客中提出的核心命題。他用了一個詞：「outputmaxxing」——產出最大化。

這個詞初聽像硅谷的又一個流行語，但 Midha 給出的基準線讓我意識到，它指向的是一個嚴肅的工程問題。他說：「我認為目前最佳實踐者的 MFU，大概在 60%到 70%之間。」

60%到 70%。這是全世界最頂尖的團隊、最優化的代碼、最精心調校的基礎設施所能達到的上限。而行業均值連這個數字的零頭都不到。

這個差距意味著什么？意味著對于大多數 AI 公司來說，如果能把利用率從 10%提升到 60%，等同于在不多花一分錢的情況下，把有效算力擴大了 6 倍。不需要搶購更多 GPU，不需要建更多數據中心，不需要和英偉達打價格戰——只需要把已經買來的東西真正用起來。

這和云計算行業走過的一條幾乎一模一樣的路。2000 年代初期，企業的物理服務器平均利用率只有 10%到 15%。每臺服務器運行一個應用，剩余的算力全部閑置。然后 VMware 帶來了虛擬化技術，把多個虛擬機塞進同一臺物理服務器里。再后來 Docker 帶來了容器化，進一步壓縮了資源開銷。

到今天，云服務器的利用率普遍達到 60%到 70%。

從 10-15%到 60-70%。這個躍遷花了大約 15 年，催生了一個萬億美元的云計算產業，徹底改變了軟件的構建和部署方式。AI 算力現在站在的位置，看起來就是 2005 年的服務器市場——知道問題在哪里，但系統性的解決方案還在醞釀中。

商業模式的變遷，正在加速這個轉型。早期的 AI 基礎設施市場流行「固定費用許可」和「捆綁 Token」模式——企業預付一大筆錢，買下一定量的算力配額，用不完也不退。這種模式天然鼓勵浪費，因為邊際成本為零，沒有人有動力去優化利用率。

VentureBeat 的分析指出，隨著行業逐漸轉向按使用量計費，閑置基礎設施的成本壓力，正在從「被忽略的背景噪音」變成「生產階段的緊急事項」。

當每一個空轉的 GPU 周期，都直接對應著賬單上的一個數字時，「產出最大化」就不再是一個技術理想，而是一個財務命令。

與此同時，環境成本也在倒逼效率革命。

Towards Data Science 的分析指出，多數 GPU 的閑置意味著全球 AI 計算的碳排放中，有相當一部分是「無效排放」——它們沒有產出任何智能，只是把電變成了熱。GPU 數據中心 40%的功耗來自 GPU 本身，而其中大量消耗在空轉和深層空閑狀態上。這不僅僅是錢的問題，更是資源和環境的問題。

Fujitsu 在 2024 年發布了一份技術白皮書，標題直截了當：「最大化 GPU 利用率」。DevZero、Prodia、Mirantis 等一批基礎設施公司也紛紛發文探討「為何 80%的 GPU 閑置」以及各自的優化策略。這種行業范圍內的集體焦慮，本身就是一個信號——問題已經大到沒人能繼續假裝看不見了。

人們忽略了一件重要的事，在 AI 競賽的敘事中，「規模」一直是唯一的主角。誰擁有最多的 GPU、誰訓練了最大的模型、誰花了最多的錢——這些是頭條新聞的素材。但效率從來不是頭條。沒有人會寫「某公司把 GPU 利用率從 15%提升到 50%」的新聞，盡管從實際產出來看，這可能比多買 10 萬塊 GPU 更有價值。

Midha 的「產出最大化」之所以值得認真對待，是因為它暗示了一個范式轉移：

AI 競賽的護城河正在從「誰能買到更多算力」轉向「誰能從同樣的算力中榨取更多智能」。前者是一場資本的消耗戰，后者是一場工程的精密戰。前者的上限取決于你的銀行賬戶和英偉達的產能，后者的上限取決于你對計算物理學、分布式系統和數據工程的理解深度。

這不是一個漸進式的優化問題，也是一門新學科的誕生。

每一次基礎設施革命似乎都遵循相同的劇本：先是瘋狂建設，然后發現大部分產能在浪費，接著一批新的公司和技術出現，專門解決「如何用好已經建好的東西」。鐵路時代如此，電力時代如此，互聯網時代如此，云計算時代如此。AI 算力走到了這條弧線的拐點上。

但這一次有一個有意思的不同。之前每一次效率革命，優化的對象都是相對「笨」的資源——蒸汽、電力、帶寬、服務器周期。而這一次，我們試圖優化的資源本身，正在被用來創造某種形式的智能。當你把一塊 GPU 從空轉狀態「喚醒」，讓它真正參與模型訓練時，你增加的不僅僅是利用率百分比——你增加的是這個世界上正在思考的硅基大腦的數量。

也許，AI 時代最重要的問題從來不是「我們能制造多少算力」，而是「我們已經擁有的算力中，有多少真正在思考」。

*頭圖來源：Tatum.io

本文為極客公園原創文章，轉載請聯系極客君微信 geekparkGO

極客一問

你認為 AI 的下一個突破，
靠的是更多芯片，
還是更高的利用率？