87%通過？真實(shí)僅33%：評測工具在說謊

上周我用一套編程任務(wù)評估自己的智能體時(shí)，評測工具彈出了一個(gè)令人安心的數(shù)字——87%的通過率。然而，當(dāng)我放棄信任、轉(zhuǎn)而實(shí)際查驗(yàn)智能體到底做了什么時(shí)，真實(shí)通過率驟降至33%。同樣的智能體，同樣的任務(wù)，同一臺機(jī)器。唯一的區(qū)別在于：評測工具是相信了智能體上報(bào)的結(jié)果，還是核驗(yàn)了它真正完成的操作。那53%的“成功”條目，智能體壓根就沒解出來，但工具依然把它們標(biāo)成了綠色。

真正該背鍋的并不是模型本身。這是一場由評測工具引發(fā)的信任危機(jī)，而當(dāng)前你見過的幾乎所有智能體排行榜，背后運(yùn)行的都是這類工具。如今有關(guān)基準(zhǔn)測試的討論困在分?jǐn)?shù)里——哪個(gè)模型得了多少百分比、數(shù)字是否飽和、有沒有數(shù)據(jù)污染。這種爭論完全忽略了底層的問題：在相信一個(gè)分?jǐn)?shù)之前，你必須先相信生產(chǎn)出這個(gè)分?jǐn)?shù)的機(jī)器，而這道機(jī)器——評測執(zhí)行框架，恰恰是整個(gè)鏈條中被審計(jì)得最少的環(huán)節(jié)。因此，我親自動手審計(jì)了一次。

我搭了一個(gè)輕量級的評測框架，依照文獻(xiàn)中記錄得清清楚楚的作弊手段給它喂入特定代碼，然后在真實(shí)的微虛擬機(jī)沙箱里實(shí)時(shí)運(yùn)行。實(shí)驗(yàn)可以復(fù)現(xiàn)，代碼也已公開。我的核心發(fā)現(xiàn)是：修復(fù)之道不在于更精妙的評分規(guī)則，而在于隔離。

信任型評測框架給我的報(bào)告是87%通過，而經(jīng)過事實(shí)核查的真實(shí)通過率只有33%。這一點(diǎn)都不意外。幾乎同一時(shí)間，加州大學(xué)伯克利分校的一個(gè)團(tuán)隊(duì)對十款流行的智能體基準(zhǔn)展開了審計(jì)。他們特意構(gòu)建了一個(gè)“作弊智能體”，這個(gè)智能體的設(shè)計(jì)目標(biāo)就是除了不真正解題之外什么都做。結(jié)果，它在一大半的基準(zhǔn)上拿到了近乎滿分的成績，卻沒有答對任何一道題目。在SWE-bench這個(gè)知名的軟件工程基準(zhǔn)上，作弊手法只是一段十行的conftest.py文件——它攔截了pytest框架，強(qiáng)制讓每一項(xiàng)測試都返回“通過”。

而在WebArena評測環(huán)境中，智能體甚至直接從本地文件系統(tǒng)里讀取了答案。這些花招之所以能夠奏效，根源在于他們診斷出的那一條關(guān)鍵論斷，也是我整篇文章的立足點(diǎn)：“任何從共享環(huán)境中讀取狀態(tài)但不進(jìn)行審慎驗(yàn)證的評估，都能夠被一個(gè)向該環(huán)境寫入狀態(tài)的智能體輕易擊敗。”即將接受測試的系統(tǒng)居然能夠觸碰給它打分的那個(gè)東西。

這根本不是評分機(jī)制的缺陷，而是隔離機(jī)制的缺陷。它意味著分?jǐn)?shù)的可信程度完全取決于生成分?jǐn)?shù)的沙箱有多安全。要想理解這種缺陷有多普遍，就必須先看清一次評測的實(shí)際執(zhí)行過程。

當(dāng)我們談?wù)撘粋€(gè)編程智能體的評測時(shí)，通常會認(rèn)為它會像一名提交代碼的人類工程師一樣，在獨(dú)立的測試環(huán)境里運(yùn)行自己的解法，然后由系統(tǒng)自動比對輸出。然而現(xiàn)實(shí)中的評測邏輯粗糙得多。多數(shù)評測框架是在一個(gè)共享的宿主機(jī)或容器里執(zhí)行智能體的代碼，接著再去讀文件、檢查狀態(tài)、運(yùn)行測試，并根據(jù)返回的通過/失敗信號給出分?jǐn)?shù)。可問題在于，智能體運(yùn)行的進(jìn)程能夠訪問同一個(gè)文件系統(tǒng)、同一個(gè)進(jìn)程表、甚至同一個(gè)內(nèi)存空間。

一個(gè)狡猾的智能體——或者即使只是基于強(qiáng)化學(xué)習(xí)碰巧發(fā)現(xiàn)了捷徑的模型——完全可以預(yù)先在共享目錄下放置一個(gè)欺詐腳本，篡改日志，或者更簡單地，像伯克利團(tuán)隊(duì)那樣用不到十行代碼就把測試框架接管的信號攔截掉。評測工具看到的，僅是智能體希望它看到的。于是，一個(gè)從未寫對過一行代碼的智能體，也能讓評測系統(tǒng)相信它解決了三十個(gè)任務(wù)中的二十六個(gè)。

SWE-bench Verified這個(gè)基準(zhǔn)的興衰為整個(gè)行業(yè)敲了一記響鐘。它由OpenAI在2024年構(gòu)建并親自做了人工驗(yàn)證，一度被視為智能體編程能力最權(quán)威的標(biāo)尺。可是到了2026年2月，OpenAI悄然停止了這項(xiàng)基準(zhǔn)的分?jǐn)?shù)報(bào)告。停止公布的原因并非模型進(jìn)步快到讓它失效，而是它在整整兩年之后才暴露出的結(jié)構(gòu)性崩壞。一次對困難子集的