優(yōu)化AI架構(gòu)提升token產(chǎn)出率的四個(gè)方向

Token消耗是當(dāng)下AI 行業(yè)的最核心議題，甚至關(guān)系到對(duì) AI產(chǎn)業(yè)的價(jià)值評(píng)估。

Glean主營(yíng)企業(yè)AI token成本、RAG上下文架構(gòu)的優(yōu)化，年?duì)I收3億美元。公司創(chuàng)始人&CEO Arvind Jain首創(chuàng)token產(chǎn)出率(token yield)行業(yè)分析框架，是企業(yè)落地大模型成本管控領(lǐng)域的代表人物。

以下是他今天最新推出的專文：

《你的token開銷本質(zhì)是AI架構(gòu)問(wèn)題，而非單純模型問(wèn)題》

企業(yè)級(jí)AI的token開銷正在快速攀升，尤其隨著技術(shù)從簡(jiǎn)易對(duì)話助手轉(zhuǎn)向代碼智能體、AI協(xié)作助手與長(zhǎng)周期運(yùn)行工作流。

這類系統(tǒng)單次任務(wù)的運(yùn)算量大幅提升，對(duì)應(yīng)的token消耗量也水漲船高。這給企業(yè)帶來(lái)全新運(yùn)營(yíng)約束：?jiǎn)栴}不再是AI有沒(méi)有實(shí)用價(jià)值，而是其產(chǎn)出的有效收益能否覆蓋投入成本。

各項(xiàng)開銷數(shù)據(jù)已不容忽視。德勤2025年科技價(jià)值調(diào)研顯示，超半數(shù)受訪企業(yè)將21%至50%的數(shù)字化項(xiàng)目預(yù)算投向AI，平均占比36%。

Ramp近期披露，月度AI開銷同比暴漲4倍；《財(cái)富》報(bào)道稱，Uber僅用四個(gè)月就耗盡了2026全年AI代碼工具預(yù)算。

在我和眾多企業(yè)負(fù)責(zé)人的交流中普遍發(fā)現(xiàn)：token消耗增速持續(xù)走高，但業(yè)務(wù)價(jià)值沒(méi)能同步增長(zhǎng)。

正因如此，企業(yè)需要跳出原始token用量指標(biāo)，選用更科學(xué)的核算標(biāo)準(zhǔn)。關(guān)鍵不在于系統(tǒng)耗用了多少token，而是每消耗單位token能產(chǎn)出多少有效落地成果，簡(jiǎn)言之：token產(chǎn)出率。

從AI投入產(chǎn)出邏輯來(lái)看，該衡量方式更合理，因?yàn)閠oken消耗很少只由模型本身決定，而是受整套配套系統(tǒng)影響：上下文檢索邏輯、工具調(diào)用方式、任務(wù)拆分規(guī)則、模型調(diào)度策略、過(guò)往執(zhí)行結(jié)果復(fù)用機(jī)制。

一旦架構(gòu)設(shè)計(jì)低效，即便最終輸出質(zhì)量沒(méi)有提升，token開銷依舊會(huì)持續(xù)上漲。

token不單單是提示詞里的文本內(nèi)容

一句簡(jiǎn)短的用戶指令，就可能催生高額token賬單。

舉例提示詞：“分析這些賬戶流失風(fēng)險(xiǎn)并生成跟進(jìn)任務(wù)”。肉眼可見的提示詞篇幅很短，但實(shí)際token負(fù)載往往包含系統(tǒng)預(yù)置指令、工具參數(shù)定義、檢索獲取的文檔、中間推理內(nèi)容、運(yùn)行日志與記憶數(shù)據(jù)。

多數(shù)企業(yè)級(jí)AI系統(tǒng)里，絕大部分token并非由用戶手動(dòng)輸入，而是任務(wù)配套框架自動(dòng)生成。

這時(shí)架構(gòu)設(shè)計(jì)的重要性便凸顯出來(lái)：若系統(tǒng)無(wú)差別拉取過(guò)量上下文、頻繁調(diào)用冗余工具、重復(fù)執(zhí)行已完成運(yùn)算、把常規(guī)任務(wù)交由成本高昂的前沿大模型處理，token成本上升的同時(shí)，產(chǎn)出質(zhì)量卻毫無(wú)改善。

資源浪費(fèi)不在單條提示詞，而在頂層系統(tǒng)架構(gòu)設(shè)計(jì)。

所以token產(chǎn)出率歸根結(jié)底是架構(gòu)層面的問(wèn)題。

四項(xiàng)決定token使用效率的架構(gòu)優(yōu)化方向

1. 上下文質(zhì)量

多數(shù)企業(yè)AI落地失利，根源都出在上下文環(huán)節(jié)。

模型無(wú)法自主甄別有效上下文信息，只會(huì)全盤處理傳入數(shù)據(jù)；上下文體量越大，模型解析信息產(chǎn)生的開銷越高。若檢索數(shù)據(jù)源雜亂冗余，模型會(huì)耗費(fèi)token在無(wú)關(guān)、矛盾信息上梳理，無(wú)法聚焦有效信息落地任務(wù)。

優(yōu)化思路不是往提示詞里堆砌更多數(shù)據(jù)，而是優(yōu)化檢索精度。

這也是上下文層架構(gòu)至關(guān)重要的原因。在對(duì)標(biāo)Claude Cowork類任務(wù)的基準(zhǔn)測(cè)試中，@glean自研中心索引方案的選用頻次約是通用MCP工具的2.5倍，而通用MCP工具的token消耗量高出約30%。

更關(guān)鍵的是：即便通用工具輸出結(jié)果達(dá)標(biāo)，也要耗用約83k tokens，Glean僅需43k tokens。

簡(jiǎn)言之，檢索能力薄弱會(huì)迫使系統(tǒng)通過(guò)增加工具調(diào)用次數(shù)、反復(fù)推理、過(guò)量拉取數(shù)據(jù)彌補(bǔ)短板，這就是劣質(zhì)上下文架構(gòu)暗藏的隱性成本。

成熟的上下文層設(shè)計(jì)恰好相反：提前給模型精準(zhǔn)、規(guī)整的有效信息，讓token全部用在解決業(yè)務(wù)問(wèn)題，而非拼湊原始素材。

2. 模型調(diào)度

智能體工作流里，并非所有步驟都需要調(diào)用前沿高階模型做深度推理。

企業(yè)AI大量工作屬于常規(guī)運(yùn)維類：信息檢索、檢索方案規(guī)劃、工具選型、結(jié)果校驗(yàn)、流程管控。這類環(huán)節(jié)不可或缺，但沒(méi)必要全線啟用成本最高的前沿模型。

多模型混合架構(gòu)的價(jià)值正在于此：不是所有場(chǎng)景都一刀切使用輕量化模型，而是按需匹配算力層級(jí)適配任務(wù)難度。

業(yè)務(wù)規(guī)模化后，該選型邏輯愈發(fā)關(guān)鍵。倘若系統(tǒng)默認(rèn)所有步驟都路由至高價(jià)前沿模型，企業(yè)等于為標(biāo)準(zhǔn)化常規(guī)工作支付頂配算力費(fèi)用。

按需匹配模型規(guī)格是提升token產(chǎn)出率最直接的手段：高價(jià)值差異化任務(wù)保留前沿模型推理，重復(fù)標(biāo)準(zhǔn)化業(yè)務(wù)選用專用輕量化模型。

3. 持續(xù)迭代學(xué)習(xí)

企業(yè)AI系統(tǒng)不應(yīng)每次處理同類問(wèn)題都從零推演。

每一輪任務(wù)執(zhí)行都會(huì)沉淀優(yōu)化線索：哪些工具適配場(chǎng)景、哪條檢索鏈路最優(yōu)、哪些步驟屬于冗余操作、哪些輸出真正幫用戶完成業(yè)務(wù)。

人類工作正是這套邏輯：優(yōu)質(zhì)成果會(huì)留存歸檔，避免重復(fù)造輪子，企業(yè)AI系統(tǒng)也應(yīng)遵循該邏輯。日積月累的運(yùn)行日志，能幫系統(tǒng)規(guī)避重復(fù)試錯(cuò)，高效處理同類需求。

缺少學(xué)習(xí)沉淀的系統(tǒng)，會(huì)不斷為重復(fù)試錯(cuò)持續(xù)買單。

這是AI成本管控里容易被忽略的一環(huán)：能復(fù)用過(guò)往執(zhí)行經(jīng)驗(yàn)的系統(tǒng)，可精簡(jiǎn)無(wú)效推理、舍棄失敗路徑、快速收斂最優(yōu)工作流，不僅優(yōu)化輸出質(zhì)量，還能壓低重復(fù)任務(wù)的token開銷。

優(yōu)質(zhì)企業(yè)級(jí)AI會(huì)形成復(fù)利效應(yīng)：完成一項(xiàng)任務(wù)，就能優(yōu)化后續(xù)同類任務(wù)的投入成本。

4. 運(yùn)行框架設(shè)計(jì)

隨著智能體承接長(zhǎng)鏈路、多步驟復(fù)雜任務(wù)，運(yùn)行框架直接左右最終效果與token成本。

簡(jiǎn)陋的運(yùn)行框架會(huì)無(wú)限制擴(kuò)充有效上下文窗口，每一步迭代都不斷疊加指令、工具定義、運(yùn)行狀態(tài)和中間結(jié)果，任務(wù)越長(zhǎng)開銷越高，輸出穩(wěn)定性同步下滑。

優(yōu)質(zhì)運(yùn)行框架奉行上下文管控思路，而非無(wú)限制累積信息：按需為單步驟限定可用工具、復(fù)雜任務(wù)拆分給多個(gè)專用智能體協(xié)作、中間運(yùn)行數(shù)據(jù)外置存儲(chǔ)而非全留在即時(shí)上下文，每個(gè)模型僅載入當(dāng)前必需的數(shù)據(jù)集。

設(shè)計(jì)目標(biāo)不只是支撐復(fù)雜業(yè)務(wù)，更是在上下文不冗余膨脹的前提下控制成本。

AI真正的核心壁壘，是任務(wù)執(zhí)行效率。