北京
2026年7月的一個普通周三，你剛剛把智能體推上生產環境。測試套件全綠，回歸通過，CI門禁順利放行。三周后，客服渠道涌入大量反饋：用戶反復收到相同的回答，智能體在后臺循環了十二次才停下來，還有一條投訴說它把內部系統提示詞直接貼給了終端客戶。這些故障，你提前寫的評估一個都沒抓到。
這就是Paul Twist在最新文章里定義的“評估債務”（Evaluation Debt）。在Voker發布的《YC AI Agents 2026狀態》調查中，38%的人工智能團隊將維持評估的時效性列為當前最大的阻礙。不是模型能力，不是框架缺失，而是評估本身正在沉默地累積債務——離線的測試集衡量著過去，生產環境卻在每一秒產生全新的分布。
【正方立場】 支持現有離線評估體系的團隊認為，只要測試集覆蓋足夠多的場景，就能捕捉到大部分回歸問題。LangSmith、Braintrust、Phoenix、DeepEval、Arize、OpenAI Evals這些工具的核心邏輯并無不同：用一組人工組裝的保留數據集給智能體打分，通過分數門控持續集成。在他們看來，框架并不差，只是需要不斷地把新發現的失敗案例標注再喂回數據集，形成一輪又一輪的迭代。Voker調查里也提到，絕大多數團隊認同這種做法：不斷更新測試是日常，就像寫單元測試一樣自然。對他們而言，評估債務并非結構性的，而是一種可以通過勤奮還清的“技術債”。
【反方觀點】 但另一個聲音卻尖銳得多。Twist指出，這種勤奮恰恰掩蓋了一個無法回避的事實：離線評估永遠追不上在線漂移。你上周標注的快照，在真實流量變化的那一瞬間就已經過時了。一旦用戶輸入帶上模糊意圖、拼寫錯誤、上下文的殘缺，或者某個工具調用意外失敗，智能體就會走進一條測試用例從未覆蓋的路徑。此時，離線評估只能事后測量你已知的行為，而那些尚未被標記的故障模式——比如智能體在回答前默默循環、調用錯誤工具后悄無聲息地恢復、距離下一個嚴重故障僅剩下三次交互——都完全處在盲區之中。
更令反方感到不安的是多智能體系統。單個智能體的軌跡尚且包含推理、工具調用、重試等變化；五個智能體互相協同，執行路徑的復雜度就是2到5倍的爆炸；如果增加到十個，便會出現難以預測的涌現行為：智能體A拿到的是幾秒前的陳舊數據，卻依然正常地調用智能體B；智能體C本不該升級，但因為某條異常工具返回值觸發了隱藏規則而自行決策。在這些系統面前，離線評估連故障如何發生都無法還原，更不用說提前預防。
【我的判斷】 把兩方的論證攤開看，離線評估在框架層面并沒有缺陷——它確實能量化“回答是否正確”“是否回歸”“CI能否卡住”。問題在于，這類測量從設計上就是被動的，它評估的是系統改變之后的行為，而非在線的未知轉折。Voker調查里那個令人痛苦的洞察直指要害：真正有價值的信號全在生產線里，在你還沒有見過的轉折點上；離線框架拿到這個信號，往往已經是你標注、整合數據后數周的事情。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
