大模型降價之后，HPC路線怎么打Token成本戰(zhàn)？

出品 | 虎嗅科技組

作者 | 梁卡爾

編輯 | 苗正卿

頭圖 | 太初元碁提供

這是虎嗅WAIC“追蹤Token商業(yè)新范式”系列文章第【10】期。

2026年一季度的公有云Token調(diào)用量，已經(jīng)追平了2025年全年的總和。

中國信通院日前公布的這組指數(shù)級爆發(fā)的數(shù)據(jù)背后，大模型行業(yè)正在發(fā)生質(zhì)變。Token不再是一個單純的技術(shù)名詞，而是像水電煤一樣，成為AI服務(wù)的計價單位。信通院人工智能研究所所長魏凱表示，業(yè)界對Token服務(wù)的關(guān)注視角已從“調(diào)用量”向“高質(zhì)量”轉(zhuǎn)變。

然而，在這場變化中，前端模型API單價持續(xù)下降，用戶調(diào)用成本越來越低，后端的AI芯片、HBM內(nèi)存、電力和運維的物理賬單卻依舊沉重。大模型行業(yè)正在進(jìn)入一個新的算賬周期。

這種價格戰(zhàn)把降本從前臺的模型廠商直接傳導(dǎo)到了更底層的算力系統(tǒng)。這也是為什么今年越來越多客戶不再只問“這張卡算力是多少”，更開始關(guān)心同一個模型在不同的系統(tǒng)上，每生產(chǎn)一個Token需要付出多少綜合成本。

在太初（杭州）集成電路有限公司（以下簡稱“太初元碁”）首席產(chǎn)品官、高級副總裁洪源看來，Token正在成為推理時代最直觀的成本載體。

對用戶來說，關(guān)心的是Token用了多少，解決了多少問題，對算力側(cè)來說，在什么樣的人工、能源和硬件成本下，能達(dá)到怎樣的Token生產(chǎn)效率。因此單個Token的生產(chǎn)成本，對供需雙方而言是一個橫向比較的標(biāo)尺。

這意味著，國產(chǎn)AI芯片的競爭方向變了，從跑得“動”大模型到跑得“起”大模型。

單卡跑分不夠了

過去兩年，國產(chǎn)AI芯片公司最常被追問的是單卡指標(biāo)。但在推理需求爆發(fā)之后，客戶的關(guān)注點開始變化。

洪源觀察到，以前客戶會糾結(jié)單卡算力參數(shù)，今年更多人開始問模型適配、單位Token生產(chǎn)成本和工程效率。

這背后有一個行業(yè)倒逼機制：大模型廠商在前臺降價，DeepSeek等公司也通過算法和工程創(chuàng)新拉低推理成本，如果底層的芯片、存儲和網(wǎng)絡(luò)無法在物理上提供更高的能效比，軟件層省出來的利潤，最終仍會被硬件、能耗和集群效率重新定價。模型側(cè)創(chuàng)新越快，底層算力系統(tǒng)的短板也越容易被放大。

所以，對底層芯片和系統(tǒng)廠商來說，真正要解決的問題是讓客戶在更低綜合成本下持續(xù)生產(chǎn)Token。

相比單卡跑分，太初元碁更重視集群效率。洪源提到，大模型公司找他們聊，最關(guān)心的指標(biāo)是千卡、五千卡甚至更大規(guī)模集群下，運行特定模型推理時，整個系統(tǒng)的有效Token生產(chǎn)效率。

“單卡性能只是個參考的基本情況，”洪源說，“在萬卡集群的實際運行中，如果底層的網(wǎng)絡(luò)互聯(lián)帶寬跟不上、通信效率沒解決，卡堆得再多也只會在整個系統(tǒng)里造成巨大的內(nèi)耗。”

這也是太初元碁強調(diào)128、256卡等大規(guī)模芯片間高速互聯(lián)PC Link、萬卡集群和軟硬件協(xié)同的原因。AI芯片競爭正在從單卡參數(shù)表競爭，轉(zhuǎn)向集群系統(tǒng)效率競爭。單卡性能固然是基礎(chǔ)底座，但決定萬卡能否發(fā)揮出性能的，是整個系統(tǒng)的通信和調(diào)度。

HPC路線切入Token成本戰(zhàn)

太初元碁的特殊性在于，它不是從傳統(tǒng)GPGPU路線切入，而是從HPC和異構(gòu)眾核的基礎(chǔ)進(jìn)入AI芯片市場。這給了它區(qū)別于其他國產(chǎn)GPU路線的商業(yè)機會，但也帶來了軟件生態(tài)的解釋成本。

正如英偉達(dá)近年來不斷模糊“顯卡”概念、將整個機柜包裝成一臺“巨型超算”一樣，至少在推理場景里，大模型已經(jīng)越來越不像單卡表演，而更像一項系統(tǒng)工程。相比單卡性能敘事，HPC出身團(tuán)隊更愿意從集群并行效率、通信開銷和任務(wù)調(diào)度理解AI推理。

在前兩年國產(chǎn)算力瘋狂堆量階段，不少智算中心堆出萬卡集群，卻因為卡間通信和調(diào)度拉胯，導(dǎo)致算力嚴(yán)重?fù)p耗、頻繁中斷。這證明了萬卡不是一萬張單卡的簡單相加。到了大模型推理市場上，超算經(jīng)驗?zāi)芊駧椭蛻魷p少推理成本，尤其是面對API價格戰(zhàn)時，仍需要被驗證。

洪源稱，太初元碁內(nèi)部對“效率”的理解概括為能效比，而不是單純堆卡。

“低端算力堆上去，卡時是多了，但算上能源成本和硬件折舊，整體Token生產(chǎn)成本未必劃算。我們不只看速度，而是看單位Token的綜合生成成本。”

國產(chǎn)AI芯片下一階段的核心戰(zhàn)場，是誰能幫客戶把每百萬Token的綜合成本降下來，而且，節(jié)省的收益要覆蓋遷移、適配和運維成本。

真正的門檻是持續(xù)適配

當(dāng)然，異構(gòu)路線也有自己的硬仗，就是面對CUDA生態(tài)。

英偉達(dá)的真正優(yōu)勢是圍繞CUDA形成的開發(fā)者習(xí)慣和工具鏈。任何國產(chǎn)芯片要進(jìn)入生產(chǎn)環(huán)境，都必須解決遷移成本由誰來承擔(dān)的問題。太初元碁的做法分為三層：軟件接口上兼容轉(zhuǎn)譯，提供自研的Agent遷移工具，以及原廠對主流模型進(jìn)行預(yù)先適配。洪源稱，目前太初元碁已經(jīng)完成了40多個主流模型的深度適配。

但能運行起來只是第一步。在大模型行業(yè)，模型幾乎以“周”為單位迭代，而硬件更新卻以“年”為單位。芯片公司面臨的最大考驗，早已不是一次性的 Demo 適配，而是如何跟上模型層持續(xù)適配。

洪源認(rèn)為，短期內(nèi)大模型還沒逃出Transformer的大框架，只要底座不變，硬件就不需要頻繁調(diào)整。面對周級的小版本更新，太初元碁的策略是先用Transformer底座確保跑通，再針對核心算子做極致優(yōu)化。

這種能力應(yīng)對突發(fā)的新型架構(gòu)尤為關(guān)鍵。DeepSeek等模型帶來的MLA、MoE等工程變化，正在改變推理階段對顯存、帶寬和算子的需求。對芯片公司來說，這類變化意味著底層算子庫和推理框架必須快速跟進(jìn)，否則模型側(cè)的創(chuàng)新會直接變成硬件側(cè)的適配壓力。

面對這種模型層帶來的新算子和新訪存需求，太初元碁此前布局的“PD分離”架構(gòu)，能夠把大計算量的Prefill（預(yù)填充）階段和高IO吞吐的Decode（解碼生成）階段拆分開，用芯片內(nèi)不同核組去匹配不同任務(wù)，集中資源對新算子做定向優(yōu)化。

這種適配能力決定的是國產(chǎn)芯片在面對下一個“DeepSeek式?jīng)_擊”時，能否讓客戶在不折騰硬件的前提下，用最快的速度將算法創(chuàng)新的紅利轉(zhuǎn)化為市場競爭力。

國產(chǎn)芯片競爭開始分層

國產(chǎn)AI芯片的競爭，不能再被簡單地理解為誰能替代英偉達(dá)。隨著產(chǎn)業(yè)分層，各家廠商開始在不同客戶場景里尋找自己的位置。

華為昇騰走的是大平臺路線，優(yōu)勢在供應(yīng)鏈和生態(tài)整合；百度昆侖芯、阿里平頭哥背靠大廠，有云和模型場景；國產(chǎn)GPU公司試圖用更接近英偉達(dá)的路線降低遷移門檻；而太初元碁這類HPC+AI的異構(gòu)路線，則在押注集群能效比的同時，保持著自己獨特的“獨立第三方”身份。這意味著，客戶需要綜合考慮后作出權(quán)衡。

對于中立性的價值，洪源表示，模型公司在選擇芯片時，面臨一個很現(xiàn)實的問題，他們需要把模型的權(quán)重和參數(shù)全部開放出來做深度適配。換而言之，如果芯片廠自己也做大模型，既當(dāng)裁判員又當(dāng)運動員，大模型客戶心里天然會打個問號，必須要通盤考慮是否存在潛在的競爭關(guān)系。

身份中立給太初元碁提供了一個差異化的機會。不過，這也是一把雙刃劍，它雖然消除了客戶的防備心，但也意味著太初元碁無法像平頭哥或昆侖芯那樣，可以利用集團(tuán)內(nèi)部自用業(yè)務(wù)算力池里旱澇保收。

沒有大廠的自留地，意味著其必須在市場上競爭。這也解釋了為什么太初元碁要走開源開放的生態(tài)路線，并且原廠要在第一時間把40多個主流大模型全部適配好。最終客戶關(guān)注的仍然是遷移成本、適配速度，穩(wěn)定性和總成本。

智算中心不能只買卡

這場Token成本戰(zhàn)的戰(zhàn)火，終究會蔓延到算力基礎(chǔ)設(shè)施的下游智算中心身上。

前兩年，各地智算中心的建設(shè)大潮洶涌，但買了一堆卡在機房吃灰的現(xiàn)象頻頻出現(xiàn)。當(dāng)資本的狂熱退去，算力從“軍備競賽”走向“精細(xì)化運營”時，洪源給出的建議很直接：先找到最終的應(yīng)用場景。

“你必須知道為什么建，建了之后給誰用。技術(shù)規(guī)律在變，但到底幫用戶解決了什么真實問題，這個商業(yè)底層邏輯沒有變。”

這也是Token工廠能否成立的關(guān)鍵，衡量一個智算中心的價值，不再是機房里擺了多少個機柜、堆了多少張顯卡，而是集群能不能穩(wěn)定、持續(xù)地生產(chǎn)足夠低成本的Token。

站在當(dāng)下，洪源認(rèn)為中國大模型生態(tài)正在印證兩個關(guān)鍵詞：融合與場景落地。前者意味著模型與芯片廠商正走向更深度的協(xié)同，不再是簡單的買賣關(guān)系，后者意味著行業(yè)必須找到更多真正解決問題、且讓人“用得起”的閉環(huán)場景。

以視頻生成、多模態(tài)應(yīng)用為例，能力已經(jīng)被證明，但大規(guī)模普及仍卡在成本上。未來產(chǎn)業(yè)的破局點，未必只在模型參數(shù)繼續(xù)變大，而在于底層算力、模型架構(gòu)和應(yīng)用場景能否共同把推理成本打下來。

太初元碁押注的異構(gòu)路線，正是在爭奪這條成本曲線上的位置。但能否成功，還要看客戶是否愿意用遷移成本換取更低的Token生產(chǎn)成本。

以下為虎嗅訪談精選：

談背景與行業(yè)轉(zhuǎn)變

虎嗅：從您在芯片和算法領(lǐng)域這么多年的觀察來看，為什么今年全行業(yè)都在談“Token生產(chǎn)效率”和“算賬”？

洪源：它的過渡核心還是圍繞著用戶側(cè)的需求。今年以來，大模型的能力有了比較大的躍遷，用戶發(fā)現(xiàn)它能真實解決問題了。對用戶而言，Token是它的使用形態(tài)；但對我們算力側(cè)而言，Token是一個可衡量的最直觀的成本載體。通過Token，用戶知道自己花了多少錢、解決了多少問題，我們供需雙方都有了一個橫向?qū)Ρ鹊臉?biāo)尺。

虎嗅：太初元碁內(nèi)部是怎么看待“效率”這兩個字的？

洪源：我們更愿意去看“能效比”。單純?nèi)ザ训投怂懔Α⒍芽ǎm然卡時堆上去了，但算上能源成本和硬件制造折舊，整體的Token生產(chǎn)成本是劃不來的。我們不單看純粹的速度，我們要看單位Token的綜合生成成本。

談競爭格局

虎嗅：大模型廠商在瘋狂打價格戰(zhàn)，上層的降價會怎么傳導(dǎo)到底層的系統(tǒng)商身上？

洪源：最直接的感受是，以前客戶找到我們，會糾結(jié)你單卡單位算力的指標(biāo)。但今年，大家更關(guān)注模型的適配情況、對應(yīng)的單位Token生產(chǎn)成本，以及工程效率。 但這里面有一個行業(yè)悖論：大家看到市場上Token價格在降，那是大模型廠商在搶客戶的市場行為，以及DeepSeek等公司在算法工程上的創(chuàng)新。但實際上，底層的硬件制造和存儲內(nèi)存成本是在上升的。 所以大模型廠商承載了極大的成本壓力，這反而倒逼他們更看重我們國產(chǎn)硬件的性價比。

虎嗅：太初元碁一直強調(diào)128甚至256或者更多卡芯片間高速互聯(lián)（PC Link）和萬卡集群，為什么不把單卡跑分作為核心宣傳點？

洪源：太初元碁從來不單獨去提單卡的優(yōu)勢，我們的核心優(yōu)勢是集群的軟硬件協(xié)同優(yōu)化。卡時單卡效率只能作為參考。大模型公司找我們聊，最關(guān)心的也是千卡、五千卡甚至更高規(guī)模集群下，跑特定模型推理時的Token生產(chǎn)效率。如果卡與卡之間的“高速公路”沒修好，單卡跑分再高，到了集群里也是嚴(yán)重空轉(zhuǎn)。

虎嗅：您怎么看待市場上幾家國產(chǎn)芯片同行的競爭？

洪源：首先，中國AI產(chǎn)業(yè)市場非常廣闊，有很多應(yīng)用落地場景作為芯片廠商的發(fā)力空間。換而言之，國產(chǎn)芯片逐漸被認(rèn)可，空白的市場蛋糕足夠大，關(guān)鍵在于找到自身的差異點。太初元碁的技術(shù)路線的特殊性是，在高性能計算加人工智能領(lǐng)域，我們擁有天然基因。模型公司需要把核心的模型權(quán)重和參數(shù)開放給芯片廠去做深度適配，太初元碁作為中立、獨立的第三方，反而是大模型廠商和運營商更放心的選擇。

談技術(shù)性能

虎嗅：英偉達(dá)有CUDA生態(tài)，太初元碁是怎么讓客戶在遷移到國產(chǎn)卡時做到“無感、絲滑”的？

洪源：我們主要做三層工作：第一，雖然我們不走GPGPU路線，但我們在自研軟件里兼容和轉(zhuǎn)譯了CUDA的命名接口規(guī)范和編程習(xí)慣，方便程序員直接上手。第二，我們提供了一套好用的遷移工具，里面包含能自動生成算子的智能體，用低代碼的方式幫客戶快速遷移。第三，也是最核心的，在頭部大模型廠商發(fā)版時，我們原廠就已經(jīng)幫客戶把前40多個主流模型深度適配好了，他們拿過去直接就能跑。

虎嗅：大模型現(xiàn)在基本是“周更”節(jié)奏。你們怎么能跟上？

洪源：大版本更新上，目前不管純文本還是多模態(tài)，都還沒脫離Transformer和注意力機制的底層框架。只要大框架不動，硬件底層架構(gòu)就不用傷筋動骨。 針對周級的小版本更新，不同的模型大廠保持了極高頻的溝通。在他們設(shè)計模型之初，我們的下一代芯片就會做提前準(zhǔn)備。當(dāng)新模型發(fā)布后，我們先在Transformer的基礎(chǔ)底座上確保“能跑通”，然后再根據(jù)用戶反饋，集中精力投入研發(fā)，把它的核心算子拿出來做針對性的微觀極致優(yōu)化，這是一個疊加和漸進(jìn)的過程。

虎嗅：在四十多個模型的深度適配中，太初元碁是怎么在底層“摳性能”，壓榨每一瓦功耗的？

洪源：我們會分析到最微觀的算子層。比如現(xiàn)在的模型廠商非常看重TTFT（首字延遲，即產(chǎn)出第一個Token的時間）和后續(xù)的生成速率。我們會做PD分離（Prefill與Decode分離），把大計算量的Prefill階段和高IO吞吐的Decode階段拆開，用我們芯片內(nèi)不同的核組去對號入座。遇到DeepSeek等有工程創(chuàng)新的新算子，我們就專門集中人員把大錘砸下去，把這個算子的時間消耗徹底打下來。

談預(yù)判與建議

虎嗅：現(xiàn)在的智算中心建設(shè)非常熱，但也出現(xiàn)了“買了一堆卡卻在機房吃灰”的現(xiàn)象。您對這些著急建中心、買卡的企業(yè)有什么忠告？

洪源：核心的建議只有一條：先找到具體最終的應(yīng)用場景。 你必須知道你為什么建，建了之后給誰用。不管是當(dāng)下的互聯(lián)網(wǎng)客戶還是大模型客戶，技術(shù)的規(guī)律在變，但“到底幫用戶解決了什么真實問題”這個商業(yè)底層邏輯是一直沒變的。

虎嗅：如果請您對2026年下半年的中國大模型生態(tài)給出兩個預(yù)測或關(guān)鍵詞，會是什么？

洪源：第一個是“融合”。未來模型廠商跟芯片廠商之間的向下深度融合會越來越多，大家不再是簡單的買賣關(guān)系。 第二個是“場景落地”。除了Coding之外，全行業(yè)必須找到更多能真正解決真實問題、且“用得起”的閉環(huán)場景。比如視頻生成、多模態(tài)應(yīng)用，大家都知道好用，但目前最大的障礙是成本太高、用不起。未來的突破方向，就是怎么把多模態(tài)、視頻生成的成本和功耗，通過軟硬協(xié)同真正打下來。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4875457.html?f=wyxwapp