算力服務亂象叢生，如何讓token更高質量流通？｜甲子光年

Token好用才是硬道理。

作者｜王博

“今年各家token服務商的服務質量，明顯比去年差了。”

這是一位算力服務商負責人的真實感受。

“比如一個請求，本來3秒、5秒就應該返回首token，現在可能30秒才返回，甚至更久。這類情況比例明顯提高。”這位負責人告訴「甲子光年」，“行業里還存在超售現象，尤其是面對中小客戶時，有的算力服務商不太管自己實際能承載多少服務，結果就是客戶需求超過資源池上限，大家一起搶資源，沒搶到就只能排隊。”

去年，模型廠商、云廠商、MaaS平臺輪番降價，每百萬token的價格被不斷打低。那時，行業討論的核心問題是：誰能生產出更多、更便宜的token。

但今年問題變了。

一個普通ChatBot回答一次問題，可能只是一次調用；一個Agent完成一次任務，卻可能要拆解目標、讀取文件、調用工具、生成代碼、反復校驗，每一步都在消耗token。Token不再只是模型公司的計費單位，而開始變成企業智能系統的運行單位。

根據國家數據局發布的數據，2025年，全國日均token調用量從年初的超萬億增長到年末的100萬億；而到了2026年，全國日均token調用量已突破140萬億。

制圖：甲子光年智庫

Agent火起來之后，token開始“堵車”了。

這不是一個簡單的體驗問題。對一個在線業務來說，幾十秒甚至上百秒延遲，意味著用戶體驗下降、任務鏈路中斷，甚至業務不可用。

當token像車流一樣開始擁堵，AI Infra就不僅僅意味著要有更多道路，還需要一套更智能的導航系統。

它有點像地圖軟件：實時判斷路況，選擇更優路徑；也有點像精品會員超市：先做嚴選，再把更可靠的服務擺到用戶面前；還有點像點評軟件：用持續評測降低信息不對稱，讓用戶知道哪家服務更穩定、哪條路徑更適合。

「甲子光年」認為，Agent時代的競爭，不只是生產token，更需要關注誰能讓token更高質量流通。

簡單來說就是，如何讓大模型調用更快、更穩、更省錢？

1.Token不再只是便宜就夠了

Token服務的復雜性在于，它對很多用戶來說仍然是一個黑盒。

用戶有的時候并不知道背后到底是什么模型、什么服務商、什么算力，也不知道服務質量是否縮水。一個套餐可能標著好看的名字，但具體用什么模型，穩定性如何，是否經過激進量化，外部很難判斷。

「甲子光年」了解到，有些算力服務商為了覆蓋成本，會做非常激進的量化。原版模型可能是精度更高的FP8，但實際部署時用了精度更低的INT4，這相當于把模型“壓縮”得更狠。價格看起來更便宜，但復雜任務上的效果可能下降。用戶看到的是同一個模型名字，卻很難判斷背后到底是不是同樣的服務質量。

懂行的用戶會在采購前測試服務質量、壓測能力和模型精度，但大部分用戶并不具備這樣的判斷能力。

這也是token服務市場開始變得復雜的原因。

在消費互聯網時代，用戶買一件商品，可以看品牌、配料表、產地、評價；但在AI服務里，token的“配料表”還沒有完全透明。用戶買到的是一個結果，卻很難知道這個結果是由哪條鏈路生產出來的。

所以，Agent時代的token問題，價格只是一方面，更重要的是“穩定、透明、可調度”。

過去，行業里在AI Infra層面討論更多的是如何生產token。現在，新的問題開始浮現：當token被生產出來之后，誰來判斷它的質量，誰來選擇它的路徑，誰來保證它穩定抵達業務現場？

2.Token調度甚至要比生產更重要

如果把token看成AI時代的基礎流量，它從生產出來到進入業務，大致要經過三層：生產層、中轉層、調度層。

第一層是生產層，解決token從哪里來。

這一層包括算力、模型、推理引擎、云廠商、MaaS服務商、智算中心等。它們關心的是：如何用更少的算力、更低的成本、更高的效率，生產更多token。

英偉達創始人、CEO黃仁勛在今年的GTC上就自稱“Token王（Token King）”，并表示：“我們的token成本是全球最低的。”暗示英偉達是當之無愧的“Token王”。

第二層是中轉層，解決token怎么被接入。

這一層更像模型API網關或模型超市。它降低了開發者調用不同模型的門檻，讓用戶可以通過統一入口調用不同模型和服務商。在海外備受關注的OpenRouter更接近這一層：它證明了當模型供給足夠豐富，模型和應用之間會自然長出統一接入層。

但統一接入解決的是“連得上”，還沒有完全解決“走哪條路”。

第三層是調度層，解決token應該怎么走。

如果把token請求看作車流，把模型API和算力服務看作道路，那么生產層負責造車和修路，中轉層負責把路連起來，調度層則要判斷：哪條路現在不堵，哪條路更便宜，哪條路更穩定，哪條路更適合當前任務，哪條路出問題后應該怎么繞行。

這不是一個簡單的地圖軟件邏輯，而更像是幾種能力的組合：既要像地圖一樣看見實時路況，也要像嚴選平臺一樣篩選供給，還要像點評系統一樣持續積累服務質量數據。

在調度層，清華系創企、人工智能系統服務商清程極智一直在致力于“讓token更高質量流通”，他們的核心產品之一就是token路由調度平臺AI Ping。

AI Ping并不是突然出現的新產品。早在2025年9月，清華大學與中國軟件評測中心在GOSIM2025發布《2025大模型服務性能排行榜》時，AI Ping就已經作為評測工具和數據展示平臺出現，覆蓋20多家廠商的230多項模型服務，并支持7×24小時性能監測。

2026年初，清程極智將AI Ping進一步推到臺前，并正式將其定義為“一站式AI評測與API服務智能路由平臺”，覆蓋“評測—接入—路由—優化”環節。

“我們認為，在大模型應用場景中，最關鍵的AI Infra的核心需求是智能路由。”清程極智CEO湯雄超說，“通過智能路由，我們可以為海量的業務請求找到最好、最快、最穩定、最便宜的Token服務。”

AI Ping不是簡單把請求轉發出去，而是基于評測和路由，做實時路徑規劃。

清程極智聯合創始人、產品副總裁師天麾告訴「甲子光年」，上游服務商的數量和水平決定平臺上限，路由能力決定平臺能多大程度逼近這個上限。服務商越多，理論上調度空間越大；但只有選擇多還不夠，關鍵是知道每一個選擇在當前時刻的真實狀態。

AI Ping做的第一件事是，接入更多服務商。

國內比較知名、比較大的token服務商，清程極智基本希望應接盡接。選擇越多，調度上限越高。目前，AI Ping已接入國內29個token服務商。

圖片來源：AI Ping

第二件事是，持續評測。

AI Ping 7×24小時不間斷做評測，既有固定測試請求，也把真實業務請求納入評測體系。評測不是為了做榜單，而是為了知道每條“路”此刻的真實路況。

“測試是調度的基石，測得準才能調度得好。”師天麾說。

第三件事是，動態路由。

AI Ping的路由邏輯，并不是簡單把請求導向價格最低的一家，而是在價格、延遲、吞吐、可靠性、模型效果、Cache命中率等多個指標之間做動態權衡。

普通API中轉解決的是連接問題，而智能路由解決的是信任問題。

這背后其實存在一種價值判斷。比如，內部知識問答可能更看重成本和響應速度，代碼生成可能更看重模型能力和上下文穩定性，在線客服更看重低延遲和高可用，金融、能源等關鍵場景則更看重可靠性和結果一致性。不同任務需要的不是同一種token，而是不同質量、不同成本、不同穩定性的Token服務。

師天麾舉了一個例子：很多企業采購模型服務時只比較單價，但真實成本不只由單價決定。Cache命中率就是一個容易被忽視的變量。一旦命中Cache，成本可能只有原來的10%或20%；如果命中不了，即便單價更低，最終總成本也可能更高。

但成本只是其中一環。更重要的是，當某條路徑延遲上升、可靠性下降，或者某個服務商出現擁堵時，AI Ping可以根據實時評測結果，把請求切換到更高性能、更高可靠性的模型和服務商上。

第四件事是，異常兜底。

當某個服務商長時間不返回、輸出中斷或出現異常時，AI Ping可以自動切換服務節點或服務商，而不是讓用戶自己重試。對企業來說，這種兜底能力的價值，往往高于簡單的價格差。

以上這四個方面就是清程極智AI Ping區別于普通API中轉站的地方，他們解決了“每一次token請求，最應該流向哪里”這樣一個核心問題。

而這也是用戶更期待的能力。

3.Token好用才是硬道理

調度層為什么會變得重要？因為企業真正買的不是模型，而是結果。

在C端場景里，用戶可能會因為品牌認知使用DeepSeek、豆包或Kimi。但在B端或專業開發者領域，邏輯更直接：誰在業務和項目里效果最好，就用誰；誰更穩定、更便宜、更快，就用誰。

「甲子光年」調研發現，很多企業選模型，不會因為誰有名氣就用誰，而是會把相關模型都試一遍，誰在業務上效果最好，就用誰。

原因也很簡單：模型接口足夠標準，遷移成本相對低。一個業務原本用模型A，新出了模型B，測試發現更好用，只要適配沒有大問題，很快就可以切過去。

這意味著，模型品牌本身不是絕對護城河。企業真正買的是效果、穩定、成本和速度。

但模型越多，選擇成本反而越高。企業不只是要選模型，還要選服務商、部署方式、價格策略、穩定性保障和合規路徑。這對很多企業，尤其是一些傳統企業來說，不是一件容易的事情。

這就是AI Ping的企業價值：為企業用戶提供更多選擇權，降低試錯成本和穩定性風險。

更進一步，這套調度能力還有可能改變國產算力的使用方式。

過去，國產算力推廣常常遇到一個現實問題：地方政府和國產化智算中心希望企業使用國產算力，但實際上，企業不會因為“國產”兩個字就遷移業務。

雖然國產芯片廠商在不斷縮小和英偉達、AMD之間的差距，但國產算力要被真正用起來，不能只靠被推薦、被要求、被采購，而是要進入真實調用鏈，在一次次token請求中證明自己可用、好用、劃算。

智能路由提供了一種更柔性的路徑。

它不要求企業一次性把業務全部遷移到國產算力上，而是把適合國產算力承載的任務、模型和token請求，先調度過去。如果這些請求在真實業務中跑通，國產算力的價值就不再只是政策口號，而會變成企業能感知到的成本、效率和穩定性收益。

不管黑貓、白貓，能捉老鼠的就是好貓。

由此，我們可以進一步理解清程極智三款核心產品之間的關系：赤兔解決的是推理部署和Token生產效率問題，AI Ping解決的是模型服務評測與智能路由問題，而八卦爐則更像一套面向應用落地的智能軟件棧。

八卦爐產品架構圖，圖片來源：清程極智

八卦爐并不只是模型訓練工具，而是覆蓋業務應用、Agent服務、AI Model Service、算力資源編排和底層算力適配的一套完整體系。它一方面向上承接大模型訓練、工業控制、數字人、AI圖像視頻、在線教育、AI4S、AI Coding、醫療健康等業務場景；另一方面向下連接推理、訓練/微調、模型量化、服務部署、數據準備、模型評測等基礎能力，并通過分布式計算引擎、算力資源編排器和多元算力底座，為應用提供支撐。

這意味著，清程極智并不是只在某一個環節上討論token。赤兔讓token更高效地被生產出來，八卦爐讓token能夠進入具體應用和業務流程，而AI Ping則站在兩者之間，回答了一個更關鍵的問題：當模型、服務商、算力和應用都變得足夠復雜之后，每一次token請求，應該流向哪里。

也正是在這個意義上，AI Ping更像是清程極智整個AI Infra體系里的調度中樞：向下理解不同算力和模型服務的真實狀態，向上理解不同應用場景對成本、速度、效果和可靠性的不同要求。

Agent時代，光生產出來token還不夠，還要把token送到業務現場。

生產能力決定token供給的底座，應用能力決定token最終釋放價值的場景，而調度能力決定token能否在兩者之間高質量流動。

這不容忽視。

（封面圖來源：AI生成）