WAIC現(xiàn)場(chǎng)直擊：端側(cè)算力競(jìng)賽爆發(fā)，聆思手握下一代AI終端落地關(guān)鍵籌碼

智東西
作者 程茜
編輯 漠影

智東西7月21日?qǐng)?bào)道，剛剛落幕的世界人工智能大會(huì)（WAIC 2026）上，掀起了一場(chǎng)終端智能硬件的集中爆發(fā)浪潮。

縱觀整場(chǎng)大會(huì)，行業(yè)賽道最直觀的轉(zhuǎn)向清晰可見：AI賽道的焦點(diǎn)正在從扎堆云端超算集群、以參數(shù)規(guī)模和云端算力論高下，向手機(jī)、AI PC、人形機(jī)器人、智能座艙、全屋中控等泛終端硬件轉(zhuǎn)移。

AI的落地形態(tài)也隨之革新。它不再局限于網(wǎng)頁、App里的靜態(tài)對(duì)話窗口，而是開始進(jìn)入具備感知、理解、交互和執(zhí)行能力的真實(shí)設(shè)備，與物理世界連接得更緊密。

交互場(chǎng)景的變化，也決定了未來智能硬件的底層邏輯：它們不只是硬件終端，更會(huì)成為搭載本地AI能力的算力載體。

這也把產(chǎn)業(yè)競(jìng)爭(zhēng)的關(guān)鍵分水嶺，推向了更底層的位置——能否在低功耗、小型化、低成本約束下，實(shí)現(xiàn)高效、穩(wěn)定、可規(guī)模化的大模型本地推理；能否搭建可適配多類終端場(chǎng)景的芯片平臺(tái)。

雖然終端形態(tài)千變?nèi)f化，但底層算力芯片是統(tǒng)一剛需。因此，具備端側(cè)AI推理芯片自研能力、并能把芯片真正導(dǎo)入終端產(chǎn)品的廠商，才更有機(jī)會(huì)拿到這一輪端側(cè)AI爆發(fā)的入場(chǎng)券。

透過這次WAIC集中爆發(fā)的端側(cè)AI浪潮可以明確，未來AI產(chǎn)業(yè)發(fā)展的核心，正在從云端能力展示走向端側(cè)場(chǎng)景落地，從軟件體驗(yàn)競(jìng)爭(zhēng)進(jìn)一步走向芯片底座競(jìng)爭(zhēng)。端側(cè)AI芯片，將成為串聯(lián)全品類物理智能終端、支撐全域智能化落地的關(guān)鍵基礎(chǔ)設(shè)施。

這也是聆思科技在WAIC 2026后值得被重新觀察的原因。

作為一家長(zhǎng)期深耕端側(cè)AI芯片的企業(yè)，聆思計(jì)劃于今年年底發(fā)布Nebula系列端側(cè)大模型AI推理芯片，瞄準(zhǔn)的正是這一輪終端智能硬件爆發(fā)背后的底層算力需求。

一、端側(cè)AI全面崛起，底層算力商迎來全新技術(shù)大考

在WAIC大會(huì)上，端側(cè)AI的爆發(fā)趨勢(shì)已然成為行業(yè)共識(shí)，這場(chǎng)由終端場(chǎng)景驅(qū)動(dòng)的算力革命，正倒逼芯片產(chǎn)業(yè)迎來變革。變革直指一個(gè)關(guān)鍵問題：端側(cè)大模型發(fā)展到今天，傳統(tǒng)芯片路線為什么不夠用了？

答案就藏在端側(cè)AI的應(yīng)用進(jìn)階與場(chǎng)景剛需之中。

當(dāng)前，端側(cè)大模型的發(fā)展已從最初“能不能跑”的可行性驗(yàn)證，正式邁入“能不能實(shí)時(shí)、穩(wěn)定、低功耗地跑”的實(shí)用性落地階段。

這不僅是技術(shù)層面的升級(jí)，更是終端場(chǎng)景的需求迭代。AI PC、機(jī)器人、智能座艙、全屋智能等端側(cè)場(chǎng)景，AI的需求遠(yuǎn)非簡(jiǎn)單將大模型移植到設(shè)備中就能滿足，而是需要芯片支撐起持續(xù)運(yùn)行、多模態(tài)交互、低時(shí)延響應(yīng)、低功耗消耗的本地推理能力。

這是對(duì)芯片的全方位考驗(yàn)。

要理解傳統(tǒng)芯片路線的困境，首先要認(rèn)清真實(shí)終端場(chǎng)景的約束。

不可否認(rèn)，云端AI具備強(qiáng)大的算力儲(chǔ)備，能夠支撐大規(guī)模模型訓(xùn)練與復(fù)雜運(yùn)算。但在終端物理場(chǎng)景中，時(shí)延、聯(lián)網(wǎng)穩(wěn)定性、數(shù)據(jù)隱私、帶寬成本以及并發(fā)調(diào)用壓力，都是繞不開的硬傷。

尤其是機(jī)器人、智能座艙、家庭中控這類直面物理世界的入口，大量安全與控制類關(guān)鍵決策必須實(shí)現(xiàn)毫秒級(jí)響應(yīng)、實(shí)時(shí)落地，無法長(zhǎng)期依賴云端網(wǎng)絡(luò)交互。一旦出現(xiàn)網(wǎng)絡(luò)延遲或中斷，就可能影響體驗(yàn)，甚至帶來安全風(fēng)險(xiǎn)。

這種現(xiàn)實(shí)需求，直接放大了端側(cè)本地推理的應(yīng)用價(jià)值，也讓傳統(tǒng)芯片路線的短板暴露出來。

以往，端側(cè)芯片競(jìng)爭(zhēng)往往集中在峰值算力參數(shù)上，卻容易忽略真實(shí)終端場(chǎng)景的核心訴求。但隨著端側(cè)大模型進(jìn)入規(guī)模化落地階段，行業(yè)競(jìng)爭(zhēng)邏輯已經(jīng)發(fā)生轉(zhuǎn)變：從以往單純的TOPS峰值算力競(jìng)爭(zhēng)，轉(zhuǎn)向全維度的系統(tǒng)效率競(jìng)爭(zhēng)。

這一評(píng)判標(biāo)準(zhǔn)的變化，也讓端側(cè)大模型芯片的競(jìng)爭(zhēng)本質(zhì)愈發(fā)清晰：表面上看是算力的比拼，實(shí)則是面向Transformer推理數(shù)據(jù)流的系統(tǒng)架構(gòu)競(jìng)爭(zhēng)。

具體而言，真正決定芯片實(shí)用性的，是一系列綜合指標(biāo)：實(shí)際tokens/s處理速度、首token延遲、運(yùn)行功耗、內(nèi)存帶寬、模型兼容性、板級(jí)面積、BOM成本以及配套的軟件工具鏈。

這些指標(biāo)，恰恰是傳統(tǒng)端側(cè)AI芯片的短板所在。

過去的端側(cè)AI芯片，在設(shè)計(jì)之初主要面向語音喚醒、圖像識(shí)別、目標(biāo)檢測(cè)等任務(wù)，更多服務(wù)于CNN、RNN等傳統(tǒng)模型。它們跑傳統(tǒng)感知任務(wù)可以勝任，但面對(duì)Transformer類生成式大模型時(shí)，就容易在推理時(shí)延、帶寬、功耗控制等方面出現(xiàn)局限，難以兼顧綜合體系的平衡。

聆思科技市場(chǎng)副總裁韓超陽在WAIC 2026期間提到，當(dāng)下端側(cè)大模型AI推理的最大瓶頸在于，市面上專為大模型推理算法原生設(shè)計(jì)的端側(cè)AI芯片仍然稀缺。

▲聆思科技市場(chǎng)副總裁韓超陽

專用端側(cè)大模型AI推理芯片的技術(shù)路線，背后橫亙著極高的技術(shù)門檻。芯片廠商不僅要實(shí)現(xiàn)大模型、算法、硬件架構(gòu)的深度協(xié)同，還需要完成長(zhǎng)期跨領(lǐng)域技術(shù)積累。

只有深度吃透大模型架構(gòu)與底層算法特征、圍繞大模型開展原生設(shè)計(jì)的端側(cè)推理芯片，才可能真正匹配端側(cè)模型部署，在算力利用率、內(nèi)存帶寬、功耗控制、硬件成本、推理時(shí)延以及系統(tǒng)體積等多個(gè)維度達(dá)成綜合最優(yōu)。

二、首款原生端側(cè)推理芯片年底亮相，面向真實(shí)場(chǎng)景優(yōu)化四大硬指標(biāo)

可行路線明確了，下一道擺在眼前的關(guān)鍵行業(yè)議題就是：適配大模型的專用端側(cè)大模型AI推理芯片，究竟應(yīng)該具備怎樣的特質(zhì)？

Transformer架構(gòu)下，大模型推理并不是一個(gè)穩(wěn)定均勻的計(jì)算過程。Prefill階段需要批量處理輸入，算力需求集中；Decode生成階段逐字輸出、算力需求零散。這兩段推理任務(wù)的資源需求差異大，整個(gè)推理流程并非均勻穩(wěn)定的計(jì)算負(fù)載，算力、訪存壓力會(huì)出現(xiàn)劇烈波動(dòng)。

這就帶來第一個(gè)問題：算力利用率。

如果芯片只追求紙面峰值算力，卻不能適配大模型推理的動(dòng)態(tài)負(fù)載，計(jì)算單元就會(huì)等待數(shù)據(jù)，硬件資源就會(huì)閑置。最后落到終端體驗(yàn)上，就是響應(yīng)慢、發(fā)熱高、續(xù)航差。

聆思計(jì)劃今年年底發(fā)布的Nebula系列芯片，首先瞄準(zhǔn)的就是這一問題。

按照聆思方面披露，Nebula不是簡(jiǎn)單放大傳統(tǒng)NPU，而是面向Transformer類大模型推理原生設(shè)計(jì)AI NPU，從大模型算法特性反向定義計(jì)算架構(gòu)，讓芯片更適配端側(cè)推理負(fù)載。基于這一設(shè)計(jì)，Nebula系列芯片預(yù)計(jì)可實(shí)現(xiàn)10倍計(jì)算加速性能提升，推理速度超過100 tokens/s。

100 tokens/s的意義，不只是參數(shù)好看。

在AI PC、機(jī)器人、智能座艙這些場(chǎng)景里，端側(cè)大模型要進(jìn)入真實(shí)交互，就必須做到低延遲、連續(xù)生成和穩(wěn)定響應(yīng)。如果推理速度不夠，終端大模型就很容易停留在“能跑”，而不是“好用”。

第二個(gè)問題，是內(nèi)存帶寬。

大模型推理不是只要算得快就行。模型參數(shù)、中間狀態(tài)、上下文信息都要反復(fù)讀取和搬運(yùn)，如果數(shù)據(jù)供給跟不上，算力再高也會(huì)被卡住。尤其在逐token生成階段，內(nèi)存帶寬會(huì)直接影響生成速度和能效表現(xiàn)。

云端可以用HBM和多卡系統(tǒng)解決帶寬問題，但終端設(shè)備不能無限堆內(nèi)存、堆板卡、堆散熱。因此，端側(cè)大模型芯片必須在有限封裝體積內(nèi)解決帶寬問題。

Nebula的技術(shù)路徑是3D-DRAM堆疊。韓超陽透露，基于這一方案，芯片內(nèi)存帶寬可以達(dá)到傳統(tǒng)LPDDR的5-10倍。

這背后對(duì)應(yīng)的是端側(cè)芯片架構(gòu)的一次變化：不能再沿用傳統(tǒng)“計(jì)算芯片+外掛內(nèi)存”的粗放思路，而要盡可能縮短存儲(chǔ)和計(jì)算之間的數(shù)據(jù)通路。帶寬提升后，芯片才能減少因訪存不足造成的算力閑置，在更小體積內(nèi)支撐更大參數(shù)規(guī)模的模型運(yùn)行

第三個(gè)問題，是不同終端對(duì)模型規(guī)模的需求并不一致。

AI PC、機(jī)器人、智能座艙、智慧家庭，不會(huì)使用同一種參數(shù)規(guī)模、同一種響應(yīng)速度、同一種功耗預(yù)算的模型。端側(cè)大模型芯片如果只能適配單一規(guī)格，就很難支撐多場(chǎng)景規(guī)模化落地。

聆思方面預(yù)計(jì)，Nebula系列芯片可實(shí)現(xiàn)10倍模型參數(shù)規(guī)模支持。同時(shí)，其芯片設(shè)計(jì)支持搭配不同容量堆疊內(nèi)存，以適配不同規(guī)格大小的模型加載需求；在更高算力需求場(chǎng)景中，也可通過芯片級(jí)聯(lián)技術(shù)實(shí)現(xiàn)算力彈性擴(kuò)展。

第四個(gè)問題，是工程化落地。

終端設(shè)備內(nèi)部空間有限，多芯片組合會(huì)增加板卡面積、散熱壓力和系統(tǒng)成本，也會(huì)拉長(zhǎng)客戶開發(fā)周期。端側(cè)大模型芯片能不能規(guī)模化，不僅取決于單點(diǎn)性能，也取決于工具鏈、SDK、參考設(shè)計(jì)和模型適配能力。

因此，Nebula不只是硬件芯片，也會(huì)配套工具鏈、SDK和參考設(shè)計(jì)，幫助客戶完成模型移植和適配，降低端側(cè)大模型從樣機(jī)走向量產(chǎn)的門檻。

從這個(gè)角度看，Nebula的關(guān)鍵不只是10倍加速、100 tokens/s或5-10倍內(nèi)存帶寬，而是這些參數(shù)背后對(duì)應(yīng)的行業(yè)變化：端側(cè)大模型芯片的競(jìng)爭(zhēng)，正在從紙面算力競(jìng)爭(zhēng)，轉(zhuǎn)向有效算力、存儲(chǔ)架構(gòu)、模型適配和工程落地能力的綜合競(jìng)爭(zhēng)。

三、從語音、視覺到大模型，聆思的端側(cè)路徑不是突然轉(zhuǎn)向

技術(shù)路線對(duì)了，還要看誰能真正把芯片做進(jìn)終端。

端側(cè)大模型推理芯片不是實(shí)驗(yàn)室生意。它最終要進(jìn)入AI PC、機(jī)器人、智能座艙、智慧家庭這些產(chǎn)品，面對(duì)的是成本、功耗、體積、穩(wěn)定性、交付周期和客戶適配能力。

這恰恰是聆思過去幾年一直在做的事。

先看出貨量。聆思累計(jì)芯片出貨量已經(jīng)超過億顆級(jí)別，在端側(cè)NPU芯片行業(yè)，能跑到這個(gè)量級(jí)的公司并不多。

再看它跑出來的場(chǎng)景，有語音、視覺兩個(gè)方向。

第一是語音方向，核心是讓設(shè)備“聽懂人話”。這是聆思最早站穩(wěn)的賽道，在藍(lán)牙交互領(lǐng)域，快速進(jìn)入了海爾、美的等白電龍頭的供應(yīng)鏈。

單價(jià)不高但出貨體量大的家電行業(yè)，但在成本、功耗、可靠性與供貨交付上標(biāo)準(zhǔn)頗高，因此，能長(zhǎng)期立足家電市場(chǎng)、站穩(wěn)腳跟，恰恰證明了聆思能造芯片，還能做出適配行業(yè)、可大規(guī)模交付的成熟產(chǎn)品。

第二是視覺方向，聆思選擇的是把視覺AI能力帶到教育硬件、消費(fèi)電子、智能家居等新興終端場(chǎng)景，這也成為其近幾年成果打造的第二增長(zhǎng)曲線。

通過聆思的方案，本地視覺AI能力進(jìn)入了掃讀筆、手持云臺(tái)、運(yùn)動(dòng)相機(jī)、智能門鎖、掃地機(jī)等設(shè)備后，能實(shí)現(xiàn)離線人臉識(shí)別、手勢(shì)控制、人體追蹤等。與語音方向類似，聆思的應(yīng)用方案進(jìn)入了這一賽道多家頭部品牌。

▲聆思科技合作伙伴

時(shí)至今日，Nebula要做的，是在前面的布局上再往前走一步：讓終端設(shè)備具備本地理解和推理能力。

值得注意的是，端側(cè)感知模型推理芯片與認(rèn)知大模型推理芯片并不是替代關(guān)系，而是協(xié)同發(fā)展關(guān)系。

韓超陽認(rèn)為，未來端側(cè)小模型推理與端側(cè)大模型推理將相輔相成：小模型感知芯片負(fù)責(zé)低功耗實(shí)時(shí)感知和前置信號(hào)處理，大模型認(rèn)知芯片則承擔(dān)復(fù)雜語義理解、內(nèi)容生成和推理決策等高階任務(wù)，二者共同支撐端側(cè)AI體驗(yàn)升級(jí)。

這也讓聆思的路徑更清晰。

過去語音和視覺芯片解決的是終端設(shè)備的感知入口，Nebula面向的是感知之后的理解、生成和推理。它不是對(duì)既有產(chǎn)品線的替代，而是在原有端側(cè)AI能力基礎(chǔ)上的升級(jí)和延展。

圍繞AI PC、機(jī)器人、智慧家庭、智能座艙四大方向，聆思科技目前已聯(lián)合聯(lián)想、聆動(dòng)機(jī)器人、海爾、美的、面壁等企業(yè)啟動(dòng)聯(lián)合預(yù)研，推動(dòng)端側(cè)大模型AI推理芯片在真實(shí)終端場(chǎng)景中的產(chǎn)業(yè)化落地。

這條路徑和聆思過去的發(fā)展邏輯是一致的：不是先做一顆參數(shù)看起來很強(qiáng)的芯片，再去找應(yīng)用，而是從真實(shí)終端需求出發(fā)，圍繞客戶場(chǎng)景倒推芯片架構(gòu)、工具鏈和產(chǎn)品形態(tài)。

從語音到視覺，再到端側(cè)大模型推理，聆思的能力邊界正在從感知智能延伸到認(rèn)知智能。

結(jié)語：不止一顆端側(cè)芯片！端側(cè)AI浪潮到來，聆思錨定AI物理世界入口

這屆規(guī)模空前的WAIC上，端側(cè)智能已然成為貫穿所有展館的主旋律之一：人形機(jī)器人自主完成多模態(tài)任務(wù)、智能座艙離線流暢跑通輕量級(jí)大模型、AI PC本地實(shí)時(shí)生成圖文、全屋中控脫離云端自主感知調(diào)度……

展臺(tái)前絡(luò)繹不絕的觀眾直觀印證端側(cè)大模型已是AI終端不可逆的升級(jí)方向，而高性能端側(cè)大模型AI推理芯片，正是通用人工智能走進(jìn)物理世界不可或缺的底層基石。

▲圖片由AI生成

這一背景下，聆思科技的目標(biāo)清晰，其不止打造一款端側(cè)大模型AI推理芯片，而是要搭建面向智能設(shè)備時(shí)代完整的端側(cè)大模型推理基礎(chǔ)設(shè)施。

通用人工智能想要真正走出實(shí)驗(yàn)室、走進(jìn)現(xiàn)實(shí)物理世界，不能只靠云端算力兜底，依托完整端側(cè)推理基礎(chǔ)設(shè)施實(shí)現(xiàn)本地自主智能，才是打通落地的最后一公里。