Token去哪了？大量用戶質(zhì)疑智譜GLM：存在詞元泄露和緩存計(jì)費(fèi)問題

近期，大量用戶集中反饋稱GLM系列模型在長(zhǎng)上下文、高并發(fā)調(diào)用場(chǎng)景下，可能出現(xiàn)了異常緩存命中、上下文混雜以及計(jì)費(fèi)不透明等問題。一些開發(fā)者甚至懷疑，系統(tǒng)可能存在詞元（Token）串?dāng)_現(xiàn)象，即某個(gè)用戶的上下文內(nèi)容被錯(cuò)誤混入另一個(gè)用戶的推理過程當(dāng)中。

這場(chǎng)爭(zhēng)議其實(shí)最早并不是從計(jì)費(fèi)問題開始的。

今年以來，部分開發(fā)者在使用GLM-5進(jìn)行編程任務(wù)時(shí)發(fā)現(xiàn)，模型偶爾會(huì)輸出大量無意義字符、重復(fù)內(nèi)容，甚至突然插入與當(dāng)前任務(wù)毫無關(guān)系的代碼片段和思維鏈內(nèi)容。有用戶反饋，在上下文長(zhǎng)度超過數(shù)萬Token之后，這種現(xiàn)象出現(xiàn)的概率明顯增加。

隨著討論不斷發(fā)酵，一些開發(fā)者開始懷疑問題可能并非單純的模型幻覺，而是推理系統(tǒng)底層緩存機(jī)制出現(xiàn)異常。有用戶表示，在模型輸出的內(nèi)容中，看到了明顯屬于其他開發(fā)項(xiàng)目的代碼片段、文件路徑、函數(shù)名稱以及與當(dāng)前任務(wù)完全無關(guān)的技術(shù)討論內(nèi)容，因此推測(cè)不同用戶之間的數(shù)據(jù)可能在推理過程中發(fā)生了混雜。

相關(guān)討論迅速引發(fā)關(guān)注，因?yàn)楝F(xiàn)代大模型為了提高推理效率，普遍會(huì)采用KV Cache（鍵值緩存）技術(shù)。簡(jiǎn)單來說，當(dāng)用戶輸入大量上下文后，系統(tǒng)會(huì)把已經(jīng)計(jì)算過的內(nèi)容緩存起來，后續(xù)推理時(shí)無需重復(fù)計(jì)算，從而降低GPU負(fù)載并減少響應(yīng)時(shí)間。

與此同時(shí)，許多AI平臺(tái)還推出了“緩存計(jì)費(fèi)”機(jī)制。當(dāng)系統(tǒng)發(fā)現(xiàn)新請(qǐng)求與之前緩存內(nèi)容高度一致時(shí)，會(huì)按照遠(yuǎn)低于正常輸入Token的價(jià)格收費(fèi)。對(duì)于開發(fā)者而言，這意味著可以大幅降低API成本。

而問題恰恰出在這里。

部分開發(fā)者發(fā)現(xiàn)，自己明明沒有重復(fù)提交大量?jī)?nèi)容，卻在賬單中出現(xiàn)了異常高的緩存命中率；也有人反映，相同請(qǐng)求在不同時(shí)間調(diào)用時(shí)，緩存Token數(shù)量變化極大，難以解釋具體計(jì)算邏輯。因此有人開始質(zhì)疑，緩存統(tǒng)計(jì)機(jī)制是否準(zhǔn)確，以及用戶是否真正享受到了官方宣稱的緩存優(yōu)惠。

還有開發(fā)者進(jìn)一步提出一種猜測(cè)：如果緩存系統(tǒng)在高并發(fā)環(huán)境下出現(xiàn)錯(cuò)誤，理論上不僅可能影響模型輸出，也可能影響緩存計(jì)費(fèi)結(jié)果。換句話說，如果系統(tǒng)錯(cuò)誤地把某些內(nèi)容認(rèn)定為緩存命中，那么用戶最終支付的費(fèi)用和實(shí)際消耗之間就可能出現(xiàn)偏差。

不過截至目前，這些說法主要來自開發(fā)者社區(qū)討論，并沒有公開證據(jù)能夠證明Z.AI存在系統(tǒng)性錯(cuò)誤收費(fèi)行為。

值得注意的是，今年4月，Z.AI曾發(fā)布一份技術(shù)復(fù)盤，承認(rèn)GLM-5在高并發(fā)生產(chǎn)環(huán)境中出現(xiàn)過異常輸出問題。根據(jù)官方披露的信息，問題最終被定位到推理系統(tǒng)中的KV Cache競(jìng)態(tài)條件以及緩存同步錯(cuò)誤，而并非模型本身訓(xùn)練質(zhì)量導(dǎo)致。官方表示，在極端負(fù)載情況下，緩存數(shù)據(jù)可能出現(xiàn)讀取順序異常，從而產(chǎn)生亂碼、重復(fù)輸出以及錯(cuò)誤內(nèi)容等現(xiàn)象，相關(guān)問題已經(jīng)完成修復(fù)。

這份官方說明雖然沒有承認(rèn)用戶數(shù)據(jù)泄露，但卻從側(cè)面證明，緩存系統(tǒng)確實(shí)曾經(jīng)發(fā)生過影響模型輸出的底層故障。

與此同時(shí)，Z.AI官方文檔對(duì)于緩存機(jī)制的描述也較為謹(jǐn)慎。文檔顯示，目前緩存功能仍處于開放測(cè)試階段，具體命中規(guī)則、緩存保留時(shí)間以及觸發(fā)條件并未完全公開。官方僅表示，當(dāng)請(qǐng)求命中緩存時(shí)，費(fèi)用會(huì)按照正常價(jià)格的五分之一計(jì)算。

正因?yàn)榈讓訖C(jī)制并不透明，開發(fā)者很難獨(dú)立驗(yàn)證每一次緩存命中是否準(zhǔn)確，這也成為此次爭(zhēng)議持續(xù)發(fā)酵的重要原因。

真正的“數(shù)據(jù)泄露”和“緩存故障”其實(shí)是兩件不同的事情。如果只是緩存同步錯(cuò)誤導(dǎo)致模型出現(xiàn)亂碼或上下文混雜，那么問題屬于推理基礎(chǔ)設(shè)施故障；如果能夠證明一個(gè)用戶的私有內(nèi)容被完整暴露給另一個(gè)用戶，那就屬于更加嚴(yán)重的數(shù)據(jù)安全事件。目前公開討論中，后者尚未獲得確鑿證據(jù)支持。

隨著大模型上下文越來越長(zhǎng)，緩存優(yōu)化越來越復(fù)雜，推理系統(tǒng)實(shí)際上已經(jīng)成為決定產(chǎn)品穩(wěn)定性的關(guān)鍵環(huán)節(jié)。很多用戶關(guān)注模型參數(shù)規(guī)模、排行榜成績(jī)和推理能力，卻容易忽視底層緩存、調(diào)度系統(tǒng)和計(jì)費(fèi)系統(tǒng)同樣可能成為風(fēng)險(xiǎn)來源。

截至目前，關(guān)于“詞元泄露”和“緩存計(jì)費(fèi)異常”的爭(zhēng)議仍在持續(xù)發(fā)酵，社區(qū)討論遠(yuǎn)未結(jié)束。

對(duì)于智譜而言，僅僅修復(fù)技術(shù)問題或許還不夠，如何提升緩存機(jī)制透明度、提供更詳細(xì)的計(jì)費(fèi)解釋以及增強(qiáng)開發(fā)者信任，可能才是這場(chǎng)風(fēng)波真正需要解決的問題。
【延伸閱讀】

智譜GLM-5被質(zhì)疑蒸餾美國大模型，自我介紹自稱“Claude”，網(wǎng)友：真不要臉

實(shí)測(cè)翻車？GLM-5基準(zhǔn)接近頂級(jí)，但真實(shí)編程任務(wù)僅完成75項(xiàng)引質(zhì)疑