Generative AI Is an Engineering Disaster
一項令人震驚的低效萬億美元項目
作者:亞歷克斯·賴斯納
![]()
加利福尼亞州弗農市正在建設中的三層數據中心。(馬里奧·塔馬/蓋蒂)
2026年7月14日
在爭相確保自身系統持續在線之際,人工智能公司正讓其他人的生活成本大幅上升。像ChatGPT和Claude這樣的大型語言模型對資源的消耗極為巨大,以至于科技公司可能已買下了全球高端電腦內存供應量的70%,從而引發短缺。結果,電腦內存和存儲設備的價格飛漲:兩年前我為報道購買的硬盤,當時每塊僅350美元,兩周前我查看時價格已漲至800美元,如今更是已經斷貨。一些筆記本電腦的價格漲幅甚至高達50%,而低價位電腦受到的沖擊尤為嚴重。據一項預測稱,價格實惠的入門級電腦可能“到2028年就會徹底消失”。預計內存短缺的局面還將持續多年。
這些內存正被部署到數據中心,而科技公司正以驚人的速度擴建數據中心。它們計劃在未來幾年內將美國數據中心的總容量擴大八倍。這些數據中心的電力需求已十分巨大,以至于一些公司甚至開始改造噴氣發動機為它們提供動力。
問題并不只是在于人工智能的部署如此廣泛或迅速。其他計算機技術也曾經歷同樣迅猛的增長,卻并未引發如此巨大的電力消耗激增或計算機零部件短缺:如今,視頻和音樂在全球范圍內進行流媒體播放,每天產生的互聯網流量高達數太字節;智能手機的熱潮促使數十億臺設備投入生產,這些設備正源源不斷地傳輸著海量數據;數十億個家用設備也已接入物聯網;甚至整個行業都已將其業務遷移到云端軟件——而這些云端軟件并非“漂浮”在空中,而是實實在在地托管于數據中心之中。
按照業內術語,生成式人工智能的問題在于它無法實現規模化。從一千名用戶增長到一百萬名用戶所涉及的成本,是風險投資家在評估初創企業時重點考察的一個關鍵因素。他們希望看到,隨著新用戶的不斷增加,每新增一名用戶的成本能夠逐步降低,從而確保公司能夠支撐數百萬用戶并持續提升盈利水平。這一目標的實現,部分得益于對計算機系統的精心設計,使這些系統能高效地應對越來越多希望發布照片、叫車或在線聽音樂的用戶需求。
借助生成式人工智能,構建高效、可擴展系統的任務尚未完成。而這一問題因生成式AI模型規模日益龐大而愈發嚴重:據獨立估算,這些模型的參數量已從2020年的1750億個增長到如今超過1萬億個(實際用于Claude和ChatGPT等產品的模型規模則屬商業機密)。大模型本身本不該成為賣點。然而,業界普遍認為,更大的模型往往能取得更好的效果,這種認知催生了一種近乎圖騰般的“縮放定律”信仰——仿佛只要把模型做得更大,就能解決任何問題。“或許,只需10吉瓦的算力,人工智能就能找到治愈癌癥的方法,”OpenAI首席執行官山姆·阿爾特曼9月在其博客中寫道。
然而,回報正在遞減。人工智能模型越大,每增加一個參數所帶來的改進就越少,因此為了維持穩步進展,必須以更快的速度將模型做得更大。我問了幾位人工智能研究人員,能否舉出其他任何一種現實世界軟件的規模擴展表現得如此糟糕。他們無一例外都答不上來。即使放眼軟件領域之外,也很難找到類似的例子——畢竟,規模經濟正是讓燈泡、汽車和服裝變得如此廉價的根本原因。從經濟和工程的角度來看,生成式人工智能或許是有史以來部署過的最糟糕的技術。
然而,由于當前這種過度膨脹的模式背后有著巨額投資,人們可能并不太愿意做出改變。OpenAI聯合創始人兼前首席科學家伊利亞·蘇茨克弗在11月的一次采訪中表示,企業之所以采取這種“蠻力”方法,是因為它能以極低的風險投入資源。他指出,要投資于那些能夠徹底改造現有、市值已達數萬億美元產品的研究,難度要大得多。那些懷疑我們正身處一場由人工智能驅動的泡沫經濟中的人士指出,這些公司的盈利能力仍是個懸而未決的問題,這在很大程度上歸因于該技術成本高昂且效率低下。
效率是計算機科學的核心原則之一。本科生最早學到的一點就是:編寫一個能對50個單詞的列表進行排序的程序很容易。但如果你給這個程序處理5000萬個單詞,它很可能會耗盡內存,或者需要數小時才能完成。計算機科學的很大一部分內容,就是學習那些巧妙的編碼技巧,以避免上述情況的發生。許多這類技巧都利用了數據中反復出現的模式,這樣一來,隨著程序接收越來越多的輸入,處理每個額外數據所需的時間和內存都會越來越少。正是這種高效性,使得現代智能手機和電腦既功能強大又價格親民。這種現象被稱為logarithmic scaling,當你將其繪制成圖表時,會呈現出如下形狀:
![]()
大型語言模型并非呈對數級擴展。當它們需要處理的詞量增加時,速度會變慢,內存占用也會增多——隨著輸入規模增大,所需時間和資源的增長速度遠快于線性增長。從技術角度來說,大型語言模型的擴展呈二次方增長。任何計算機科學專業的學生都知道,這種擴展方式非常糟糕。
Epoch AI是一家致力于評估人工智能模型運行成本的機構,去年發布了一張圖表,經授權在此轉載。該圖表展示了使用多個公開人工智能模型時,為服務更多“標記”——即用戶輸入給聊天機器人的文字——所導致的成本呈指數級增長的情況。
![]()
人工智能并不一定要以這種方式構建。傳統上,人工智能的目標是通過模擬人類的思維過程來解決問題。研究人員觀察自身的思考方式,并試圖將這些思維習慣轉化為代碼。這種方法如今已基本被摒棄,部分原因在于難以準確識別并清晰表述人類思維的規律;不過,這種做法確實具有一個優勢——它所消耗的資源和數據要少得多。
當今的人工智能方法并不試圖描述人類思維的規律;相反,它向計算機提供數以百萬計的示例,讓計算機加以模仿。正是由于示例數量龐大,大型模型在生成語言、圖像和音樂時才能表現得優于小型模型——它們擁有更豐富的素材可供借鑒。一些研究人員希望回歸那種更高效的傳統方法,并將其與現代方法相結合,但迄今為止,這些項目獲得的關注和資金遠不及驅動聊天機器人的那些模型。
聊天機器人公司深知其產品效率低下。一些公司已找到提升性能的技巧,但這些技巧并未帶來顯著成效。偶爾,有公司聲稱取得了突破——Anthropic首席執行官達里奧·阿莫迪將其稱為“計算倍增器”——但這些突破通常描述得含糊不清,且并無證據表明根本性的二次擴展問題和模型規模爆炸性增長的難題已被攻克。(當我聯系Anthropic詢問此事時,該公司拒絕公開置評。)
一些研究人員正在研發極其小型的模型,這類模型所需的數據量更少,計算能力也更低。我與微軟的AI研究員阿萊克西婭·若利科-馬蒂諾交談,她獨立設計了其中一種小型模型,并就業界這種“蠻力”式的研究方法向她請教。“這有點瘋狂,”她告訴我,“到了某個階段,你總得學會更高效一點。”
去年,若利克-馬蒂諾憑借一篇關于“微型遞歸模型”的論文贏得了5萬美元獎金。這種模型無需消耗大量計算資源。“認為要想在困難任務上取得成功,就必須依賴于某些大型企業耗資數百萬美元訓練而成的巨型基礎模型,這是一種誤區,”她寫道。她的模型并非大型語言模型的替代品——它旨在解決生物學和電氣工程等領域中的邏輯問題,而非生成語言——但它卻能完成目前許多超大規模人工智能模型所承擔的部分任務。
然而,我們似乎已被LLM所困,或許正因它們的營銷攻勢過于猛烈。如今,無論你是否需要,這些大語言模型都被一股腦地塞進了各種產品中。2024年和2025年,它們甚至被整合進了Windows和macOS系統,這意味著運行一臺基本個人電腦所需的計算能力如今更高了。此外,智能手機也紛紛搭載了升級后的硬件,因為各大廠商正期待著新的人工智能功能的推出。就連Adobe Photoshop和Microsoft Word等常用軟件,也開始引入效率低下的AI功能,這使得電腦必須具備更強的處理能力才能順暢運行這些軟件。
這一切尤其糟糕,因為計算機的性能提升速度已不再像過去那樣迅猛。自20世紀50年代以來,制造商們不斷研發出速度更快、體積更小、成本更低的微芯片,這一趨勢俗稱“摩爾定律”。然而,近幾年來,元件已經小到極限,制造商們在進一步縮小元件尺寸時遇到了分子層面的物理限制,這使得技術進步明顯放緩。
與縮小元件尺寸不同,制造商們一直致力于開發專為人工智能量身定制的新硬件。這帶來了一些偶爾的性能小幅提升,但沒有任何一項技術能真正跟上人工智能需求呈指數級增長的步伐。
歸根結底,對于那些堅信自己正在復制智能本身的科技從業者而言,效率低下或許根本無關緊要。在硅谷的許多人中,甚至有種近乎宗教般的信念:大語言模型——本質上不過是一套統計型的語言生成軟件——終將催生出某種類似心智的東西。盡管這些軟件連最基本的事實都記不住,缺乏常識,與生物大腦更是毫無相似之處。就連人工智能界的“教父”之一Yann LeCun最近也對《紐約時報》表示:“大語言模型并非通向超級智能乃至人類水平智能的路徑。” 然而,人工智能所具有的神話般吸引力太過強大,以至于許多工程師堅信,沒有任何障礙能夠阻擋他們前進的腳步——甚至連編寫高效軟件這一基本任務也不例外。
本文作者:Alex Reisner是《大西洋月刊》的特約撰稿人。
說明:本號刊發來自各方的文章,是為了獲得更全面的信息,不代表本號支持文章中的觀點。由于微信公眾號每天只能推送一次,本站目前在騰訊新聞發布最新的文章,每天24小時不間斷更新,請在騰訊新聞中搜索“邸鈔”,或在瀏覽器中點擊:
https://news.qq.com/omn/author/8QIf3nxc64AYuDfe4wc%3D
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.