WAIC現場直擊：端側算力競賽爆發，聆思手握下一代AI終端落地關鍵籌碼

智東西
作者 程茜
編輯 漠影

智東西7月21日報道，剛剛落幕的世界人工智能大會（WAIC 2026）上，掀起了一場終端智能硬件的集中爆發浪潮。

縱觀整場大會，行業賽道最直觀的轉向清晰可見：AI賽道的焦點正在從扎堆云端超算集群、以參數規模和云端算力論高下，向手機、AI PC、人形機器人、智能座艙、全屋中控等泛終端硬件轉移。

AI的落地形態也隨之革新。它不再局限于網頁、App里的靜態對話窗口，而是開始進入具備感知、理解、交互和執行能力的真實設備，與物理世界連接得更緊密。

交互場景的變化，也決定了未來智能硬件的底層邏輯：它們不只是硬件終端，更會成為搭載本地AI能力的算力載體。

這也把產業競爭的關鍵分水嶺，推向了更底層的位置——能否在低功耗、小型化、低成本約束下，實現高效、穩定、可規模化的大模型本地推理；能否搭建可適配多類終端場景的芯片平臺。

雖然終端形態千變萬化，但底層算力芯片是統一剛需。因此，具備端側AI推理芯片自研能力、并能把芯片真正導入終端產品的廠商，才更有機會拿到這一輪端側AI爆發的入場券。

透過這次WAIC集中爆發的端側AI浪潮可以明確，未來AI產業發展的核心，正在從云端能力展示走向端側場景落地，從軟件體驗競爭進一步走向芯片底座競爭。端側AI芯片，將成為串聯全品類物理智能終端、支撐全域智能化落地的關鍵基礎設施。

這也是聆思科技在WAIC 2026后值得被重新觀察的原因。

作為一家長期深耕端側AI芯片的企業，聆思計劃于今年年底發布Nebula系列端側大模型AI推理芯片，瞄準的正是這一輪終端智能硬件爆發背后的底層算力需求。

一、端側AI全面崛起，底層算力商迎來全新技術大考

在WAIC大會上，端側AI的爆發趨勢已然成為行業共識，這場由終端場景驅動的算力革命，正倒逼芯片產業迎來變革。變革直指一個關鍵問題：端側大模型發展到今天，傳統芯片路線為什么不夠用了？

答案就藏在端側AI的應用進階與場景剛需之中。

當前，端側大模型的發展已從最初“能不能跑”的可行性驗證，正式邁入“能不能實時、穩定、低功耗地跑”的實用性落地階段。

這不僅是技術層面的升級，更是終端場景的需求迭代。AI PC、機器人、智能座艙、全屋智能等端側場景，AI的需求遠非簡單將大模型移植到設備中就能滿足，而是需要芯片支撐起持續運行、多模態交互、低時延響應、低功耗消耗的本地推理能力。

這是對芯片的全方位考驗。

要理解傳統芯片路線的困境，首先要認清真實終端場景的約束。

不可否認，云端AI具備強大的算力儲備，能夠支撐大規模模型訓練與復雜運算。但在終端物理場景中，時延、聯網穩定性、數據隱私、帶寬成本以及并發調用壓力，都是繞不開的硬傷。

尤其是機器人、智能座艙、家庭中控這類直面物理世界的入口，大量安全與控制類關鍵決策必須實現毫秒級響應、實時落地，無法長期依賴云端網絡交互。一旦出現網絡延遲或中斷，就可能影響體驗，甚至帶來安全風險。

這種現實需求，直接放大了端側本地推理的應用價值，也讓傳統芯片路線的短板暴露出來。

以往，端側芯片競爭往往集中在峰值算力參數上，卻容易忽略真實終端場景的核心訴求。但隨著端側大模型進入規模化落地階段，行業競爭邏輯已經發生轉變：從以往單純的TOPS峰值算力競爭，轉向全維度的系統效率競爭。

這一評判標準的變化，也讓端側大模型芯片的競爭本質愈發清晰：表面上看是算力的比拼，實則是面向Transformer推理數據流的系統架構競爭。

具體而言，真正決定芯片實用性的，是一系列綜合指標：實際tokens/s處理速度、首token延遲、運行功耗、內存帶寬、模型兼容性、板級面積、BOM成本以及配套的軟件工具鏈。

這些指標，恰恰是傳統端側AI芯片的短板所在。

過去的端側AI芯片，在設計之初主要面向語音喚醒、圖像識別、目標檢測等任務，更多服務于CNN、RNN等傳統模型。它們跑傳統感知任務可以勝任，但面對Transformer類生成式大模型時，就容易在推理時延、帶寬、功耗控制等方面出現局限，難以兼顧綜合體系的平衡。

聆思科技市場副總裁韓超陽在WAIC 2026期間提到，當下端側大模型AI推理的最大瓶頸在于，市面上專為大模型推理算法原生設計的端側AI芯片仍然稀缺。

▲聆思科技市場副總裁韓超陽

專用端側大模型AI推理芯片的技術路線，背后橫亙著極高的技術門檻。芯片廠商不僅要實現大模型、算法、硬件架構的深度協同，還需要完成長期跨領域技術積累。

只有深度吃透大模型架構與底層算法特征、圍繞大模型開展原生設計的端側推理芯片，才可能真正匹配端側模型部署，在算力利用率、內存帶寬、功耗控制、硬件成本、推理時延以及系統體積等多個維度達成綜合最優。

二、首款原生端側推理芯片年底亮相，面向真實場景優化四大硬指標

可行路線明確了，下一道擺在眼前的關鍵行業議題就是：適配大模型的專用端側大模型AI推理芯片，究竟應該具備怎樣的特質？

Transformer架構下，大模型推理并不是一個穩定均勻的計算過程。Prefill階段需要批量處理輸入，算力需求集中；Decode生成階段逐字輸出、算力需求零散。這兩段推理任務的資源需求差異大，整個推理流程并非均勻穩定的計算負載，算力、訪存壓力會出現劇烈波動。

這就帶來第一個問題：算力利用率。

如果芯片只追求紙面峰值算力，卻不能適配大模型推理的動態負載，計算單元就會等待數據，硬件資源就會閑置。最后落到終端體驗上，就是響應慢、發熱高、續航差。

聆思計劃今年年底發布的Nebula系列芯片，首先瞄準的就是這一問題。

按照聆思方面披露，Nebula不是簡單放大傳統NPU，而是面向Transformer類大模型推理原生設計AI NPU，從大模型算法特性反向定義計算架構，讓芯片更適配端側推理負載。基于這一設計，Nebula系列芯片預計可實現10倍計算加速性能提升，推理速度超過100 tokens/s。

100 tokens/s的意義，不只是參數好看。

在AI PC、機器人、智能座艙這些場景里，端側大模型要進入真實交互，就必須做到低延遲、連續生成和穩定響應。如果推理速度不夠，終端大模型就很容易停留在“能跑”，而不是“好用”。

第二個問題，是內存帶寬。

大模型推理不是只要算得快就行。模型參數、中間狀態、上下文信息都要反復讀取和搬運，如果數據供給跟不上，算力再高也會被卡住。尤其在逐token生成階段，內存帶寬會直接影響生成速度和能效表現。

云端可以用HBM和多卡系統解決帶寬問題，但終端設備不能無限堆內存、堆板卡、堆散熱。因此，端側大模型芯片必須在有限封裝體積內解決帶寬問題。

Nebula的技術路徑是3D-DRAM堆疊。韓超陽透露，基于這一方案，芯片內存帶寬可以達到傳統LPDDR的5-10倍。

這背后對應的是端側芯片架構的一次變化：不能再沿用傳統“計算芯片+外掛內存”的粗放思路，而要盡可能縮短存儲和計算之間的數據通路。帶寬提升后，芯片才能減少因訪存不足造成的算力閑置，在更小體積內支撐更大參數規模的模型運行

第三個問題，是不同終端對模型規模的需求并不一致。

AI PC、機器人、智能座艙、智慧家庭，不會使用同一種參數規模、同一種響應速度、同一種功耗預算的模型。端側大模型芯片如果只能適配單一規格，就很難支撐多場景規模化落地。

聆思方面預計，Nebula系列芯片可實現10倍模型參數規模支持。同時，其芯片設計支持搭配不同容量堆疊內存，以適配不同規格大小的模型加載需求；在更高算力需求場景中，也可通過芯片級聯技術實現算力彈性擴展。

第四個問題，是工程化落地。

終端設備內部空間有限，多芯片組合會增加板卡面積、散熱壓力和系統成本，也會拉長客戶開發周期。端側大模型芯片能不能規模化，不僅取決于單點性能，也取決于工具鏈、SDK、參考設計和模型適配能力。

因此，Nebula不只是硬件芯片，也會配套工具鏈、SDK和參考設計，幫助客戶完成模型移植和適配，降低端側大模型從樣機走向量產的門檻。

從這個角度看，Nebula的關鍵不只是10倍加速、100 tokens/s或5-10倍內存帶寬，而是這些參數背后對應的行業變化：端側大模型芯片的競爭，正在從紙面算力競爭，轉向有效算力、存儲架構、模型適配和工程落地能力的綜合競爭。

三、從語音、視覺到大模型，聆思的端側路徑不是突然轉向

技術路線對了，還要看誰能真正把芯片做進終端。

端側大模型推理芯片不是實驗室生意。它最終要進入AI PC、機器人、智能座艙、智慧家庭這些產品，面對的是成本、功耗、體積、穩定性、交付周期和客戶適配能力。

這恰恰是聆思過去幾年一直在做的事。

先看出貨量。聆思累計芯片出貨量已經超過億顆級別，在端側NPU芯片行業，能跑到這個量級的公司并不多。

再看它跑出來的場景，有語音、視覺兩個方向。

第一是語音方向，核心是讓設備“聽懂人話”。這是聆思最早站穩的賽道，在藍牙交互領域，快速進入了海爾、美的等白電龍頭的供應鏈。

單價不高但出貨體量大的家電行業，但在成本、功耗、可靠性與供貨交付上標準頗高，因此，能長期立足家電市場、站穩腳跟，恰恰證明了聆思能造芯片，還能做出適配行業、可大規模交付的成熟產品。

第二是視覺方向，聆思選擇的是把視覺AI能力帶到教育硬件、消費電子、智能家居等新興終端場景，這也成為其近幾年成果打造的第二增長曲線。

通過聆思的方案，本地視覺AI能力進入了掃讀筆、手持云臺、運動相機、智能門鎖、掃地機等設備后，能實現離線人臉識別、手勢控制、人體追蹤等。與語音方向類似，聆思的應用方案進入了這一賽道多家頭部品牌。

▲聆思科技合作伙伴

時至今日，Nebula要做的，是在前面的布局上再往前走一步：讓終端設備具備本地理解和推理能力。

值得注意的是，端側感知模型推理芯片與認知大模型推理芯片并不是替代關系，而是協同發展關系。

韓超陽認為，未來端側小模型推理與端側大模型推理將相輔相成：小模型感知芯片負責低功耗實時感知和前置信號處理，大模型認知芯片則承擔復雜語義理解、內容生成和推理決策等高階任務，二者共同支撐端側AI體驗升級。

這也讓聆思的路徑更清晰。

過去語音和視覺芯片解決的是終端設備的感知入口，Nebula面向的是感知之后的理解、生成和推理。它不是對既有產品線的替代，而是在原有端側AI能力基礎上的升級和延展。

圍繞AI PC、機器人、智慧家庭、智能座艙四大方向，聆思科技目前已聯合聯想、聆動機器人、海爾、美的、面壁等企業啟動聯合預研，推動端側大模型AI推理芯片在真實終端場景中的產業化落地。

這條路徑和聆思過去的發展邏輯是一致的：不是先做一顆參數看起來很強的芯片，再去找應用，而是從真實終端需求出發，圍繞客戶場景倒推芯片架構、工具鏈和產品形態。

從語音到視覺，再到端側大模型推理，聆思的能力邊界正在從感知智能延伸到認知智能。

結語：不止一顆端側芯片！端側AI浪潮到來，聆思錨定AI物理世界入口

這屆規模空前的WAIC上，端側智能已然成為貫穿所有展館的主旋律之一：人形機器人自主完成多模態任務、智能座艙離線流暢跑通輕量級大模型、AI PC本地實時生成圖文、全屋中控脫離云端自主感知調度……

展臺前絡繹不絕的觀眾直觀印證端側大模型已是AI終端不可逆的升級方向，而高性能端側大模型AI推理芯片，正是通用人工智能走進物理世界不可或缺的底層基石。

▲圖片由AI生成

這一背景下，聆思科技的目標清晰，其不止打造一款端側大模型AI推理芯片，而是要搭建面向智能設備時代完整的端側大模型推理基礎設施。

通用人工智能想要真正走出實驗室、走進現實物理世界，不能只靠云端算力兜底，依托完整端側推理基礎設施實現本地自主智能，才是打通落地的最后一公里。