翁荔長文談Harness自進化：Agent越用越強，評測難點怎么破？

近日，翁荔發布長文 《Harness Engineering for Self-Improvement》，系統梳理了 harness engineering 在 AI 自我改進中的作用。她指出，原始模型與真實世界任務之間的 harness layer 正在變得和模型本身一樣重要：它決定模型如何規劃、調用工具、管理上下文、保存狀態、評估結果，并在長期任務中持續迭代。

這也揭示了當下 LLM Agent 研究中的一個關鍵轉向：Agent 的能力提升不再只來自模型參數更新，也越來越來自模型外部系統的演化。Prompt、memory、tools、workflow、middleware、permission control、runtime state 等組件共同構成 agent harness，而這些組件正在成為自進化系統的核心優化對象。

但隨之而來的問題是：如果 Agent 會不斷修改自己的 harness，我們應該如何評測這種「自我改進」？

現有 Agent benchmark 大多仍然面向靜態系統：給定一個固定 Agent，在一組獨立任務上運行，然后報告最終成功率。這種評測方式無法回答 harness evolution 中更關鍵的問題：一次更新到底改進了什么？提升是否能遷移到未見任務？是否只是過擬合近期反饋？是否遺忘了舊能力？是否引入了更高成本或運行時不穩定？

針對這一評測空白，清華大學團隊提出了 SEAGym: An Evaluation Environment for Self-Evolving LLM Agents。

如果說 harness engineering 正在成為自進化 Agent 的重要技術路線，那么 SEAGym 關注的就是這條路線的評測基礎設施：不只評估 Agent 最終得了多少分，而是評估它在更新過程中如何變強、何時退化、是否泛化、是否遺忘，以及付出了什么成本。

• 論文標題：SEAGym: An Evaluation Environment for Self-Evolving LLM Agents
• 論文地址：https://arxiv.org/abs/2606.17546
• 代碼地址：https://github.com/antropy-research/SEAGym

從靜態 benchmark 到動態自進化環境

這里，SEAGym 并不規定具體的更新算法。不同自進化方法可以保留自己的 native update rule，只需要通過統一的 rollout /update interface 接入即可。

這種設計使得 SEAGym 可以在同一套協議下比較不同類型的自進化方法，例如：

• ACE：主要積累 prompt-visible skillbook 或過程經驗；
• TF-GRPO：利用 grouped rollout evidence 更新 experience/context store；
• AHE：直接編輯更廣義的 agent harness，包括 prompts、tools、middleware 和 runtime 行為。

另外，通過將 agent 自進化過程與強化學習算法訓練過程對齊，SEAGym 能夠將靜態的 benchmark 通過 train batch 組織為自進化過程中的某個任務，并且利用 harbor 實現了對不同類型的 benchmark 的適配兼容，將復雜的 agent 自進化過程統一用簡潔清晰的超參數控制，為后續自進化 agent 研究提供了統一的訓練評測協議。

多視角評測：不只問「有沒有變強」，還問「怎樣變強」

SEAGym 的關鍵設計是將傳統數據 split 與評測 view 區分開來。訓練任務只用于產生更新證據，評測視角則被拆分為多個部分：

• Train batch：提供 Agent 更新所需的軌跡和反饋；
• Update-validation：凍結中間 snapshot，觀察更新過程是否帶來階段性提升；
• ID transfer：測試更新是否能遷移到同分布但未見過的任務；
• OOD transfer：測試更新是否能遷移到分布外任務；
• Replay：回放舊任務，檢查是否出現遺忘或回歸；
• Cost records：記錄 token、工具調用、運行時間和更新成本。

這使得研究者可以看到自進化過程中的細粒度動態。例如，一個 snapshot 可能在 validation 上提升，但在 OOD 上下降；一個中間版本可能短暫變強，之后因為錯誤的 middleware 修改而崩潰；一個最終版本可能整體得分更高，但同時遺忘了一部分原本能解決的任務。

SEAGym 不只是輸出一個 leaderboard 分數，而是保存每個階段的 snapshot、trajectory、public feedback、update summary、harness diff 和 metric records，用于后續診斷。

實驗設置：Terminal-Bench 2.0 + HLE

論文在兩個互補任務源上實例化 SEAGym：

• Terminal-Bench 2.0：偏 execution-heavy，包含命令行、軟件工程和環境交互任務；
• HLE：偏 reasoning-heavy，論文使用其中 text-only Math / Physics 作為 source task，并使用 CS/AI 與 Engineering 作為 OOD transfer task。

論文比較了 ACE、TF-GRPO 和 AHE 三類自進化方法，并進一步做了 batch size、source diversity 和 cross-model transfer 等分析。

主要結果一：validation 提升不等于穩定泛化

在主實驗中，三種方法呈現出明顯不同的更新動態。

AHE 在 validation、ID 和 OOD 三個視角上都取得了提升：

• validation：40.0 → 57.1，提升 17.1 個百分點；
• ID test：40.0 → 49.1，提升 9.1 個百分點；
• OOD test：22.5 → 28.8，提升 6.3 個百分點。

ACE 的提升更溫和：

• validation 提升 2.9 個百分點；
• ID 提升 3.6 個百分點；
• OOD 提升 2.5 個百分點。

TF-GRPO 則展現出另一種現象：它在 validation 上提升明顯，達到 +17.1 個百分點，但 OOD 下降 2.5 個百分點。這說明 grouped rollout evidence 可以強化 source distribution 上的行為，卻不一定帶來穩定的分布外遷移。

論文據此指出：只看 validation curve 很容易高估自進化方法的真實泛化能力。

主要結果二：自進化可能引入中間崩潰，final score 會掩蓋這一點

SEAGym 的 replay diagnostics 揭示了一個非常關鍵的現象：自進化過程并不總是單調變好。

在 AHE 的 train replay 實驗中，初始 Agent 可以解決 34/80 個訓練回放任務，最終 Agent 可以解決 43/80 個任務，看起來是一個正向提升。但如果觀察中間 snapshot，會發現第 4 個 epoch 后 replay performance 一度跌到 6/80，并產生大量 rollout errors。

進一步分析發現，這不是普通意義上的 “模型忘記了怎么做題”，而是 harness evolution 修改了 middleware /runtime contract，導致 message construction 出現系統性錯誤。之后的更新修復了該路徑，性能又恢復上來。

這說明，對于 self-evolving Agent，遺忘和退化不一定表現為知識能力下降，也可能表現為：

• 工具調用路徑被破壞；
• middleware contract 被破壞；
• completion protocol 被錯誤修改；
• validation 或 artifact 檢查邏輯變得過度約束；
• runtime 行為發生系統性回歸。

如果只報告初始分數和最終分數，這種中間崩潰完全不可見。而 SEAGym 通過 snapshot-level replay 和 task-level churn，將這類過程風險暴露出來。

主要結果三：batch size 影響 harness 更新穩定性，且不是越大越好

論文進一步研究了 AHE 在不同 batch size 下的表現：10、20、40、80。

結果呈現明顯的非單調關系：

• batch 10：validation 從 37.1 降到 22.9，ID 從 38.2 降到 23.6；
• batch 20：validation 從 40.0 升到 57.1，ID 從 40.0 升到 49.1；
• batch 40：validation 從 37.1 升到 40.0，ID 從 41.8 升到 43.6；
• batch 80：validation 從 42.9 降到 25.7，ID 從 41.8 降到 25.5。

這說明，對于 harness-level evolution，batch size 不是簡單的統計效率問題。batch 太小會導致更新證據不足、更新頻率過高，從而增加 runtime regression 的機會；batch 太大則會讓單次更新需要分析過多軌跡，稀釋每個任務的注意力，誘發粗糙或脆弱的 harness 修改。

在該實驗中，batch 20 是 evidence diversity、per-task analysis depth、update frequency 和 harness stability 之間較平衡的設置。

主要結果四：訓練來源多樣性影響恢復能力

論文比較了 mixed-source training 和 HLE-only training。

mixed-source 設置使用 Terminal-Bench + HLE，而 HLE-only 只使用 HLE Math/Physics。結果顯示，HLE-only run 在中間 snapshot 上也能取得有用提升，但最終 snapshot 出現 collapse：

• HLE-only final validation、ID、OOD 均降到 0；
• 但其 best intermediate snapshot 仍能達到 ID +7.3、OOD +3.8 的提升。

論文認為，單一 benchmark 可能會把 harness 推向 benchmark-specific local optimum。相比之下，Terminal-Bench 提供了工具、環境、執行路徑和 runtime 錯誤方面的多樣信號，HLE 提供 reasoning-heavy 信號，兩者結合可以幫助后續更新從壞狀態中恢復。

主要結果五：harness 更新具有 backend 依賴

論文還考察了 cross-model transfer：用 DeepSeek、GLM 和 GPT-5.4 分別訓練 AHE harness，再交換到不同 rollout model 上評估。

結果顯示，同 backend transfer 通常更穩定：

• DeepSeek-evolved harness 在 DeepSeek 上 ID +9.1；
• GLM-evolved harness 在 GLM 上 ID +3.6；
• GPT-5.4-evolved harness 在 GPT-5.4 上 ID +5.5。

但 cross-backend transfer 明顯不對稱。例如：

• DeepSeek-evolved harness 能讓 GLM ID +7.3，但讓 GPT-5.4 ID -3.6；
• GPT-5.4-evolved harness 能讓 GPT-5.4 ID +5.5，但讓 GLM ID -7.3；
• OOD 結果更不穩定，多個 cross-backend OOD gain 為 0 或負數。

這說明 harness 更新并不是完全模型無關的。不同模型在 rollout 中暴露出的 failure surface 不同：有的更容易暴露工具恢復問題，有的更偏向文本推理失敗，有的更強調 artifact constraints 和 validation sufficiency。因此，一個 backend 上學到的 harness 修改，不一定適合另一個 backend。

這篇工作的意義

自進化目前已成為大家押注的下一代技術范式遷移的主流方向，SEAGym 從更本質的智能體環境構建的角度出發，將自進化過程建模為清晰的強化學習過程，提出了評測自進化 Agent 的統一系統框架和協議。SEAGym 不再只關注智能體任務完成的結果，而是從過程出發去研究智能體的進化機制和規律。

它將研究問題從「最終 Agent 的成功率是多少？」推進到：不同自進化機制到底更新了 Agent 的哪個部分？是否存在 OOD 泛化？是否遺忘了舊能力？性能提升是否伴隨更高成本？

隨著 Agent 被用于軟件工程、數據分析、科研自動化、網頁操作和長期任務執行，這類問題會越來越重要。一個能夠持續修改自身工具、memory 和 middleware 的 Agent，如果沒有過程級評測，很可能在某些任務上表現更強，同時在另一些任務上悄悄引入不可見的風險。

SEAGym 的價值就在于，它讓這些風險變得可觀測、可回放、可診斷。

未來方向

論文也指出，當前 SEAGym 的實驗主要集中在 Terminal-Bench 2.0 和 HLE 兩類任務源上，覆蓋了 execution-heavy 和 reasoning-heavy 場景，但還沒有擴展到 web interaction、desktop interaction、long-horizon software engineering、data-analysis workflows、多智能體協作和 continuous online task streams 等更復雜場景。

此外，SEAGym 的多視角評測帶來了明顯的 cost /coverage tradeoff。保存多個 snapshot，并在 validation、ID、OOD、replay 等視角上重復評測，會消耗大量 token 和時間。未來需要研究更高效的 snapshot selection、adaptive replay 和 budget-aware evaluation。

總體來看，SEAGym 為自進化 LLM Agent 提供了一套更細粒度的評測語言：它不再把 Agent 視為一個固定模型，而是把其 prompt、memory、tools、middleware 和 runtime state 共同構成的 harness 視為會隨經驗變化的對象。對于理解下一代長期運行 Agent 的可靠性、可遷移性和安全性，這是一項基礎設施式的工作。

團隊介紹

SEAGym 由清華大學自動化系團隊提出，作者包括 Congjie Zheng、Chuanyi Xue、Bin Liang、Jun Yang 和 Changshui Zhang。

其中，Congjie Zheng 與 Chuanyi Xue 為共同第一作者，Jun Yang 與 Changshui Zhang 為通訊作者。

團隊長期關注大模型智能體、agent harness、自進化機制和智能體評測基礎設施等方向。