叫板HBM，高通的HBC，是什么？

公眾號記得加星標??，第一時間看推送不會錯過。

半個世紀以來，計算機領域的進步一直被描述為處理器發展的故事。然而，如今定義整個行業的工作負載——現代人工智能背后的大型生成模型——已經悄然改寫了規則。它們的性能不再取決于芯片的計算速度，而是取決于數據能夠以多快的速度和多低的成本傳輸到計算中。

這就是內存墻：計算需求與內存供給能力之間的差距日益擴大。每一代加速器都以遠超內存系統處理操作數的速度提升算力——因此，越來越多的工作負載所消耗的時間、能源和成本并非用于計算本身，而是用于數據傳輸。

這篇博文提出了一個簡單的論點：未來十年最重要的進步并非來自提升處理器速度，而是來自計算發生位置的結構性變革——將計算更靠近內存本身，從而使數據密集型操作在數據本身所在的位置執行。我們將這種理念稱為近內存計算，并用“高帶寬計算”（HBC）一詞來指代將計算靠近內存以打破內存壁壘的各類技術。

瓶頸已經轉移。下一代性能的成敗將取決于內存或其附近區域，而不是處理器。

問題：新的瓶頸

現代人工智能模型的推理過程極其消耗內存。生成響應的每個新詞元都需要從內存中讀取大量的模型參數和累積的上下文信息。運算本身的成本相對較低；真正的挑戰在于如何足夠快地提供操作數，以確保計算引擎能夠持續運行。

隨著硬件的不斷迭代，原始計算能力飛速提升。然而，內存帶寬（即數據傳輸到計算單元的速率）和存儲容量的增長速度卻遠不及此。事實上，據估計，過去十年間，Transformer 模型的大小每兩年增長 240 倍，而 AI 硬件內存僅增長了 2 倍。其結果導致了結構性分化：處理器越來越多的性能處于閑置狀態，等待數據處理。

為什么傳統的內存擴展方式正接近其極限

業界通常的做法是通過相同的基本架構來提升帶寬：將內存和計算作為獨立的組件，然后拓寬它們之間的通道。但這種方法正面臨著物理和經濟上的雙重限制：

接口收益遞減。擴大內存和處理器之間的連接意味著需要越來越多的物理線路和信號引腳——這種方法每一步都變得更加昂貴和復雜，而收益卻越來越少。

距離的桎梏。數據在不同的內存和計算組件之間傳輸的每一個比特都需要消耗能量和時間。在如今的規模下，這種傳輸——而非計算本身——才是功耗預算的主要來源。

高級封裝成本高昂。最先進的內存集成技術價格昂貴且供應有限，使得許多部署方案無法實現最高性能。

簡而言之，傳統的高帶寬內存（HBM）+ XPU 架構要求數據先傳輸到計算單元。當數據傳輸成為瓶頸時，這種設計方向恰恰是錯誤的。其他方法，例如在 XPU 中嵌入大量 SRAM，也面臨著能耗、內存容量和成本方面的挑戰。敬請期待我們后續深入探討這些主題的博文。

物理學：數據傳輸的隱性成本

人們很容易將內存視為被動存儲，而將計算視為主動操作。但在現代人工智能的規模下，數據傳輸本身就是整個系統中最大的能耗環節之一。跨芯片邊界傳輸操作數所消耗的能量，可能遠遠超過數據到達后執行的算術運算所消耗的能量。

這重新定義了整個設計問題。如果大部分成本在于數據傳輸過程，那么最有效的措施就是縮短數據傳輸過程——在數據附近、內存包內部執行數據密集型操作，然后只發送精簡后的結果。

將計算能力移到數據所在位置，而不是將數據移到計算能力所在位置。

理念：近內存計算助力新的勞動分工

近內存計算基于一個看似簡單的前提：將計算直接置于內存附近，讓內存處理那些受限于數據移動而非算術復雜度的操作。我們將這種方法以及基于此構建的架構稱為高帶寬計算 (HBC)。內存的內部帶寬，而非狹窄的外部接口，成為可用于計算的有效內存帶寬。我們創新的近內存計算實現方案是高通 HBC。

至關重要的是，這并非要取代處理器，而是要實現更智能的分工。主處理器，例如高通 Dragonfly AI 加速器，繼續發揮其優勢——處理復雜、靈活且需要大量協調的工作。HBC 則負責執行其設計上最擅長且運行成本極高的操作。兩者各司其職，各司其職。HBC 中的計算芯片可以設計成提供一系列解決方案，從固定功能的加速到完整的處理器功能。

為什么現在是最佳時機

三種因素使得這種方法不僅具有吸引力，而且非常及時：

工作負載要求如此。生成式人工智能推理嚴重受限于內存。占據主導地位的操作恰恰是那些最適合就地執行的操作。

從經濟角度來看，內存計算更具優勢。它無需使用復雜且供應有限的封裝，從而能夠以更優的成本和效率實現高性能。

生態系統為此提供了支持。成熟的大容量存儲技術奠定了基礎，無需重新發明，即可逐步演進——這是一條務實的規模化路徑。同樣重要的是，使近內存計算成為現實的堆疊技術本身也已成熟：3D集成技術的進步，特別是將DRAM直接鍵合到邏輯電路上的能力，正從實驗室走向大規模生產。這些構建模塊不再是推測性的——它們已經準備就緒。

收益：同時在所有維度上進行擴展

傳統設計迫使人們做出艱難的權衡：更大的容量往往以犧牲帶寬為代價；更大的帶寬則意味著更高的成本或功耗。近內存計算放寬了這些限制，因為可用于計算的有效帶寬就是內存內部的帶寬——遠遠大于任何可通過外部接口輸出的帶寬。

這些實際后果會在整個系統中疊加：

同樣重要的是，這些性能提升遵循可擴展的路線圖。容量、帶寬和計算能力可以在后續幾代產品中同步提升，從而將一次性的架構優勢轉化為持續改進的軌跡。例如，采用第一代高通HBC技術的Dragonfly AI250 ，其有效內存帶寬比采用LPDDR5X的Dragonfly AI200提升了18倍；而采用第二代高通HBC技術的Dragonfly AI300，其有效內存帶寬則比Dragonfly AI200提升了54倍。

當計算任務靠近內存時，迫使人們做出艱難權衡的約束條件開始瓦解。

展望：這對行業意味著什么

如果計算繼續向數據遷移，那么對于任何構建或購買人工智能基礎設施的人來說，都將面臨諸多變化。

績效指標正在重新定義

相比之下，系統能否持續高效地運行并滿足這些計算需求，其性能指標的重要性要低得多。買家越來越傾向于根據實際內存密集型工作負載下的性能表現，以及每瓦和每美元的性能，而不是峰值理論吞吐量來評估平臺。

效率成為競爭的戰場

隨著部署規模擴大至龐大的集群，能源既是主要的運營成本，也是制約其發展的物理瓶頸。能夠最大限度減少數據傳輸的架構將具有結構性優勢，并且這種優勢會隨著規模的擴大而增強。

記憶成為積極的參與者

長期以來“數據存儲位置”和“數據處理位置”之間的界限將變得模糊。內存將不再被視為被動的存儲介質，而是計算的積極參與者——這種轉變的影響將波及從芯片設計到數據中心經濟等各個方面。

范式轉變

幾十年來，處理器一直是計算機發展史上的主角。但人工智能時代面臨的關鍵挑戰已然不同。稀缺資源不再是計算能力，而是如何及時、經濟地將數據送到需要的地方。

那些能夠認識到這種轉變并據此進行設計的組織，將引領下一代人工智能的發展。決定性的問題不再是處理器能運行多快，而是系統如何以智能的方式限制數據傳輸。

高通HBC近內存計算技術正是這一原則最清晰的體現之一：以結構性方案解決結構性問題。瓶頸已經轉移——我們的思維方式也必須隨之改變。

（來源：編譯自高通 ）

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4467內容，歡迎關注。

加星標??第一時間看推送

求推薦