GAIR Paper 104｜Agent 真的能自我進化嗎？我們造了一把它騙不過去的尺子

我們用 GDPevo，衡量出 AI 自進化的真實價值。

作者丨PrismShadow AI

編輯丨岑峰

01

為什么“自進化”突然成了所有人都在搶的賽道？

想象一下，你有一個新入職的員工。他一開始什么都不會，需要你手把手教。但幾周后，他開始自己總結經驗、優化工作流程，甚至能獨立應對從未見過的新問題。

如果把這個場景里的員工換成AI，這就是眼下人工智能領域最前沿、也最令人興奮的方向：自進化Agent（Self-evolving Agent）。

先說一句這兩年在 AI 圈被反復驗證的“鐵律”：在 AI 時代，一件事一旦能被清晰地評估、又能被自動化地去做，那它離被做到極致就不遠了。圍棋是這樣，寫代碼是這樣，做數學題也是這樣——只要有一把靠譜的尺子，模型就能順著這把尺子一路爬到頂。自進化Agent做的，就是這樣的事情。

那么下一個被這把尺子盯上的，是什么？

越來越多人把答案押在了自進化（Self-evolution）上。所謂自進化，說白了就是 Agent 能像人一樣“越干越熟練”：做完一批任務，它會自己總結經驗、更新內部狀態，下次遇到相似的活兒，干得更準、更快、更省。學術上和它沾親帶故的概念還有持續學習（Continual Learning）和遞歸自我改進（Recursive Self-Improvement，RSI）。

這件事為什么現在這么火？因為它戳中了當前 Agent 最別扭的一個點：今天的 Agent 大多是“一次性”的——這一單做得再漂亮，經驗也帶不到下一單去，每次都從零開始。而自進化想做的，是讓 Agent 真正“長記性”。資本已經先一步用腳投票了：圍繞 AI 自進化的創業公司，比如 [NeoCognition](https://neocognition.io/)、[Recursive](https://www.recursive.com/) 等，在 2026 年募到了數十億美元的資金。

但這里有個被很多人跳過的前提：想優化自進化，你得先能測量自進化。回到開頭那條鐵律——如果連“這個 Agent 到底有沒有進化、進化了多少”都說不清，那后面所有“更強的進化策略”都是空中樓閣。這正是我們想動手解決的地方。

02

痛點：真實的企業活兒，幾乎沒人能給“進化能力”打分

評估聽起來簡單，真到了企業場景就處處是坑。發票審核、展會事務、保險合規、信貸審批……這些“值錢的活兒”（和 GDP 直接掛鉤）有幾個共同特點：規則又多又碎、藏在一堆上下文里、還經常需要把好幾條規則揉在一起判斷。偏偏就是這類任務，幾乎沒有專門的基準能評估 Agent 的自進化能力，更別提自動化地評估了。

更要命的是評估自進化時一個繞不開的陷阱：在測試集上訓練。如果你拿去“喂經驗”的訓練樣本和最后考核的測試樣本長得太像，那 Agent 只要把答案背下來就能拿高分——這壓根不是進化，是作弊。一把會被輕易糊弄的尺子，比沒有尺子還危險。

于是我們做了GDPevo。據我們所知，這是第一個在具有真實經濟價值（GDP 相關）的任務上、專門評估 Agent 自進化能力的基準。

它有兩個身份：既是一套自動化的基準構建流程，又是這套流程跑出來的產物——一份開箱即用的基準。目前它覆蓋客戶關系管理（CRM）、企業資源計劃（ERP）和金融（Finance）三大場景，一共120 個真實企業任務。每個任務都纏著好幾條復雜規則，Agent 必須先從過往樣本里“學到東西、改進自己”，才有可能答得讓人滿意。

03

這套基準是怎么“自己長出來”的

構建一個企業級的自進化基準，我們主要跟兩個硬骨頭死磕。

難點一：讓 AI 來造題，跑贏“數據泄露”

第一個想法是——構建過程必須能端到端全自動。人只負責設計一遍流程，剩下沒完沒了地跑流程、出題、批改，全交給 AI（這套思路和 [Loop Engineering](https://addyosmani.com/blog/loop-engineering/) 是一脈相承的）。

這么做有兩個實打實的好處。其一，能跑贏數據泄露：基準這東西最怕被模型“背”過去，但只要我們出新題的速度比模型記住泄露答案的速度快，基準就永遠領先半步、永遠有效。其二，可擴展（Scalable）：基準的大小不再被人力卡脖子，它能自己往大里長。

GDPevo 數據流水線：從種子場景 → 多 Agent 任務工廠 → 質量審核 → 發布

具體怎么跑（見上圖）：人設計流程，Agent 持續不斷地執行。我們先從公開的真實業務基準里取種子場景——[GDPval](https://arxiv.org/abs/2510.04374)、[SOP-Bench](https://arxiv.org/abs/2506.08119)、[JobBench](https://arxiv.org/abs/2605.26329)，再批量生成候選任務組。每個任務組會搭一個共享環境，配5 個訓練樣本 + 5 個測試樣本，每個樣本都自帶一份基于規則的評分腳本。接著，一個專門的 Agent 來校準難度，確?！斑M化后”的表現明顯高于“進化前”——把那些根本測不出進化能力的樣本篩掉，讓基準聚焦在真正需要跨任務自我進化的活兒上。

最后，6 個互相獨立的 Reviewer Agent端到端審計每一組數據，至少拿到5 票通過才會被采用。這些 Reviewer 的存在就是為了防止造題的 Agent 偷懶——檢查文件結構全不全、該藏的規則有沒有真的埋進去。一路篩下來，最終12 個任務組、120 個任務通過了考驗，組成了今天的這套基準。

難點二：用“規則雜交”逼出真本事，而不是死記硬背

第二個硬骨頭，就是前面提到的“在測試集上訓練”陷阱。訓練集和測試集得有關聯，但又不能太像——理想狀態是：Agent 能把訓練集里的規則泛化到測試集，而不是把訓練集背下來。

我們的解法叫規則雜交，靈感來自遺傳算法里的交叉進化。做法分兩步：

第一步，把規則拆碎、藏進訓練集。我們先把復雜的業務邏輯拆成一條條“元規則”，再分散藏到訓練樣本里。比如在 CRM 里，我們會埋下“贊助商身份的優先級”和“黑名單策略”；在 ERP 里，則藏進“供應商風控規則”和對應的應對措施。關鍵在于——這些規則被打散到 5 個訓練樣本中，每個樣本只露出一部分。

第二步，把規則重新組合成測試題。5 個測試樣本被設計成這些規則的組合，比如讓“優先級”和“黑名單”同時觸發。這樣一來：沒有自進化能力的 Agent，只能看到一地散落的碎規則、拼不出全貌；而真正會自進化的 Agent，能把這些碎片歸納成規律、再遷移到全新的任務上。一道題，就把“背答案”和“學規則”分得清清楚楚。

04

我們怎么給 Agent 打分

評估環節，我們守兩條規矩：分數必須可復現；成本和準確率，一樣重要。

規矩一：規則打分，不用 LLM-as-a-Judge

GDPevo 用的是確定性的規則打分器，而不是讓一個大模型來當裁判（LLM-as-a-Judge）。每個分數都由多個具體的打分點（rubrics）拼成。這帶來兩個好處：第一，分數是可復現的——同一份答案跑十遍，得分都一樣；第二，每一次失敗都是可追溯的——你看到的不是一句含糊的“總體還行”，而是清清楚楚地告訴你哪條規則沒過、扣了幾分。

這種可追溯性，直接把基準變成了一個Agent 診斷工具。你可以反過來讀 Agent 的操作記錄，定位它到底栽在哪一步，再拿這些短板當作下一輪優化的靶子。

規矩二：成本和準確率，同等重要

一個好的自進化策略，不該只是“越來越準”，還得“越來越省”——就像一個人活兒越干越熟，時間更短、效果更好。所以每次測試，我們都會同時記錄總 Token 消耗和任務準確率兩筆賬。詳細的過程日志還能幫我們復盤 Agent 的行為、定位問題，反哺策略優化。

極高易用性：一句話就能跑評估，不用學任何框架

整個評估不依賴任何評估 SDK，是純自然語言驅動的。你用 Claude Code 或 Codex 打開一個評估工作區（其實就是個裝著 Markdown 指南和說明的文件夾），然后用自然語言描述一句“我要跑什么實驗、想要什么樣的圖”，整套評估流程就能自動跑完、直接吐出結果報告和圖表——全程不用寫一行適配代碼，也不用啃任何框架文檔。

05

結果：今天的 Agent，已經會“無師自通”了

我們在 12 個任務組、共 120 個任務上，測了三個不同的 Agent。每個任務跑 3 遍取平均，對比三種方案：

• base（不進化）：Agent 不碰訓練集，直接上手做測試題。

• fewshot（少樣本進化，類似 SFT）：Agent 先把訓練集的題目和標準答案過一遍、歸納經驗，再去做測試題。

• reflect（反思進化，類似 RL）：Agent 先不看答案、自己硬做訓練題，然后被告知對錯，借此反思總結出規則，再去做測試題。

三個 Agent 給出了高度一致的結論：自進化能把測試集準確率提升約 17–22%，而且其中兩個 Agent（Claude Code 和 Codex）連Token 消耗都更低了——又準又省，魚和熊掌兼得。

幾個亮眼的單點，拿“運營建模（operational financial modeling）”這個場景舉例：Codex 從42.76% 飆到 92.47%，花的 token 還比基線少；Claude Code 的 fewshot 直接干到100%（起點是 51.76%）；Panofy 的 reflect 也沖到了92.47%（起點 62.39%）。

三個 Agent 的整體表現（12 個任務組均值）大致如下：

說白了，這組數據傳遞了一個挺鼓舞人的信號：當前的 Agent 已經具備了一定的自進化能力——它們真的能從過往經驗里學到東西，并把這份本事遷移到全新的任務上。這個發現，和已有的一些工作（[1](https://trinkle23897.github.io/learning-beyond-gradients/)、[2](https://www.recursive.com/articles/first-steps-toward-automated-ai-research)）也是不謀而合的。

06

GDPevo 是一顆種子，不是一個結果

這個項目里完整的流程、產物和結果，全部對外開放。我們特別歡迎你帶上自己的 Agent、或者自己的業務場景，來一起玩。

我們的目標從來不是再搞一個排行榜，而是給“自進化 Agent”這件事添一把柴。我們真心希望，能借這個項目讓 Agent 的自進化真正實現規?；?/strong>，最終把人從重復勞動里解放出來。

GitHub開源項目：https://github.com/Prism-Shadow/GDPevo

博客鏈接：https://prism-shadow.github.io/GDPevo/blog.html

雷峰網正在策劃自進化 Agent相關主題的圓桌討論。如果你對自進化 Agent的技術實現或者安全把控等有一定心得且愿意分享，歡迎添加微信：MS_Yahei（備注：自進化 Agent）

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。