北京
AI網(wǎng)關(guān)聽起來像個路由器：選擇模型，在某個模型宕機時切換到備用，然后退到一邊。這恰恰是網(wǎng)關(guān)最不值一提的功能。
它真正要做的是治理——成本控制、安全、審計。路由只是清單上的一項，遠非頭號任務。這篇文章會展開這四個方面，并給出每個控制點背后的具體配置。
設(shè)想一家公司，有五個服務直接調(diào)用大語言模型：一個客服機器人、一個RAG管線、一個內(nèi)部LangGraph智能體、一個夜間批量摘要程序，還有一套面向客戶的聊天功能。沒有網(wǎng)關(guān)，每個服務各自對接模型供應商。
這意味著：每個服務都保存著自己那份供應商API密鑰，批量摘要程序泄露一次，就是整個預算的泄露。限流和重試策略全看各團隊心情，通常意味著“零”直到第一次事故出現(xiàn)。沒人能實時看到花費，財務發(fā)現(xiàn)某個失控的智能體時，已經(jīng)是收到賬單的節(jié)點，而非凌晨兩點它開始狂燒token的那一刻。PII掃描靠各團隊的土規(guī)矩，有的團隊會清理，有的不做，而且沒人對什么是敏感數(shù)據(jù)達成過共識。日志記錄至少存在五種格式，如果確實有記錄的話。
這不是同一個問題重復了五次，而是五個都有問題、都只做了一半的殘缺版本。拿到審計人員面前，沒有一個經(jīng)得起檢查。
把這些混亂壓縮到一個控制平面。一個網(wǎng)關(guān)，讓所有服務通過OpenAI兼容接口與它對話，所有規(guī)則在請求抵達供應商之前就在這一個盒子里強制執(zhí)行。下面四個控制全部內(nèi)置其中。我用LiteLLM作為代理，貫穿所有控制點的主題是：不要重復建設(shè)平臺已經(jīng)擅長的能力，只需正確接線并讓它生效。
第一個控制點是真正以token而不是請求次數(shù)來計量成本的治理。普通的API網(wǎng)關(guān)只會數(shù)請求量。對大語言模型來說，這是用錯了單位，而且錯得代價高昂。一個十個單詞的提示和一趟燒掉上萬token的智能體操作，都登記為“一次請求”，花費卻天差地別。要控制開支，就要追蹤token。
而且不能只盯著一個全局數(shù)字，要按身份統(tǒng)計：每個API密鑰、每個團隊、每個客戶。一個全局計數(shù)器只能告訴你船在下沉，卻說不清哪個艙室進水。
所以設(shè)計是層級預算：團隊預算是真正執(zhí)行限制的單位，每個用戶都隸屬一個團隊。團隊之上匯總到組織/客戶預算。請求在觸碰供應商之前，如果任一層級超支，就會被拒絕。用戶作為身份依然存在，支出會歸屬到具體個人（控制點4的審計鏈條需要它），但用戶層級沒有預算強制，這是有意為之。LiteLLM只會在用戶不屬于任何團隊時才執(zhí)行用戶自己的預算，因此對于任何有團隊的用戶，用戶層級預算形同虛設(shè)。真正起約束作用的層級是團隊，然后是組織。用戶只負責歸屬。
預算按固定窗口重置，具體的配置可以在代理中以極簡方式定義。通過這種設(shè)計，平臺不再只是被動轉(zhuǎn)發(fā)請求，而是變成了一個能夠主動截斷異常開支的治理層，讓成本管控不再依賴事后對賬單的恐慌。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
