競賽編程Agent進入全球前十！南大、清華新模型CF rating超3500

新智元報道

【新智元導讀】大語言模型在代碼生成上的能力不斷增強，但在復雜算法題，尤其是競賽編程場景中，仍然容易因為算法選擇錯誤、邊界條件遺漏、復雜度判斷失誤或隱藏測試覆蓋不足而失敗。Solvita是一款面向競賽編程的智能體框架，通過四個角色（Planner、Solver、Oracle、Hacker）形成閉環系統，并利用可訓練的圖結構知識網絡積累經驗。

競賽編程并不只是「把題面翻譯成代碼」。一個正確解法往往需要經歷多個復雜環節：理解自然語言題面、抽象出數學結構、選擇合適算法范式、估計復雜度、實現代碼、構造測試、處理多解輸出、排查隱藏邊界條件等。

對于LLM來說，這類任務有幾個典型困難：

1. 算法選擇高度依賴題目結構同樣是圖論、動態規劃或字符串問題，不同約束下可能對應完全不同的算法。如果模型只根據表面相似度檢索樣例，很容易選到「看起來像但本質不對」的套路。2. 樣例測試遠遠不夠

很多錯誤解法可以通過樣例，卻會在隱藏測試中失敗。尤其是邊界條件、復雜度極限、多答案checker、精度問題等，都很難靠普通自測覆蓋。

3. 失敗經驗難以復用

現有很多coding agent失敗后會重新嘗試、重新生成、重新調試，但一次任務結束后，這些失敗經驗通常不會改變后續任務的求解策略。系統并沒有真正學會「下次遇到類似結構要避開什么坑」。

4. 多Agent框架仍然偏靜態

AlphaCodium、MapCoder等方法已經把解題拆成多個階段，但它們更像固定流程。每個階段可以調用模型，卻缺少一個會隨歷史經驗更新的長期記憶與路由機制。

來自南京大學、清華大學等機構的研究者提出了Solvita，這是一個面向競賽編程的Agentic Evolution框架。它不微調底層大模型，而是在Planner、Solver、Oracle、Hacker四類Agent外部構建可訓練的圖結構知識網絡，讓系統能夠從解題、測試、攻擊和修復過程中持續積累經驗。

代碼倉庫：https://github.com/NJU-LINK/Solvita

論文鏈接：https://arxiv.org/pdf/2605.15301

Solvita的出發點正是：人類選手刷題變強，不是因為每道題都從零開始，而是因為會積累「什么題用什么套路」「什么實現容易WA」「什么測試最容易hack掉錯誤程序」這些經驗。

Solvita是如何工作的？

Solvita的核心思想是：把競賽編程求解組織成一個閉環系統，并讓每個環節都具備可訓練的知識網絡。整個系統由四個Agent組成：

1. Planner：負責題目抽象與策略選擇Planner首先把原始題面轉化成更形式化的數學描述，去掉故事背景和無關信息，提取變量、約束、目標和輸入輸出結構。隨后，它會預測可能的算法標簽、實現思路和復雜度。它背后的知識網絡會記錄歷史題目的形式化結構、預測標簽和最終結果。后續遇到新題時，Planner不是簡單靠prompt臨場發揮，而是會參考結構相似問題的歷史經驗。2. Solver：負責生成代碼與局部修復

Solver根據Planner的策略生成C++程序，并在樣例和Oracle生成的測試上進行驗證。與很多「失敗后整段重寫」的方法不同，Solvita強調patch-basedrepair：如果程序失敗，Solver會盡量生成SEARCH/REPLACE形式的局部補丁，而不是完全重新生成整份代碼。這樣做的好處是保留已經正確的部分，集中修改真正出錯的局部，避免每次重寫都破壞前面已經滿足的條件。

3. Oracle：負責構造可靠內部測試

Oracle的任務不是寫最終答案，而是為解法構造「可信監督」。它會生成testlib-basedgenerator、validator、checker和reference solver，并檢查reference solver是否能復現公開樣例輸出，再生成更多測試輸入并進行認證。對于多答案問題，Oracle還需要提供custom checker的證據。只有當測試輸入、期望輸出、認證比例等條件滿足要求時，Oracle生成的測試才會被接受。

4. Hacker：負責主動攻擊候選程序

Hacker更像一個對拍高手。它會分析候選代碼的潛在漏洞，生成結構化vulnerability report，然后選擇semantic、stress、antihash等攻擊路線，嘗試構造能擊穿錯誤程序的輸入。如果某條攻擊路線失敗，系統還會沿著fallback chain 繼續嘗試。成功hack到的bug不只用于當前題修復，還會作為失敗經驗傳播給Planner、Solver、Oracle和Hacker的知識網絡。

可訓練的圖結構知識網絡制

Solvita最重要的設計不是「多了幾個Agent」，而是每個Agent都配有一個可訓練的graph-structured knowledge network。

以Solver為例，它的知識網絡分為三層：

• Q Layer：記錄歷史題目描述和元信息；

• M Layer：記錄解法分解、失敗對比和metacognitive analysis；

• S Layer：記錄可復用算法技能和C++模板。

當新題到來時，系統會先檢索相似的Q節點，再沿著Q→M→S的兩跳路徑激活相關技能。

不同路徑的邊權不是固定的，而是會根據歷史成功與失敗進行更新。成功路徑會被強化，失敗路徑會被削弱或生成新的contrastive節點。這和傳統RAG有本質差異。

傳統RAG更像「找到相似文本塞進prompt」，而Solvita的知識網絡更像「學習什么問題結構應該路由到什么算法技能」。記憶不再只是靜態檢索，而變成了可訓練的策略路由。

Oracle和Hacker

在算法題中，測試本身就是能力的一部分。一個Agent能不能解題，很大程度上取決于它能不能判斷自己的解法是否真的正確。

Solvita將測試能力拆成兩個互補方向：

Oracle關注「可靠監督」。

它更傾向于構造reference solver、generator、validator和checker，目標是生成可以穩定判斷程序正確性的內部測試。

Hacker關注「發現漏洞」。

它更傾向于尋找邊界輸入、復雜度極限、結構性反例或哈希沖突等攻擊樣例，目標是暴露候選代碼中隱藏的錯誤。

二者的功能并不重復。Oracle更保守，能較好保護正確解法不被誤殺；Hacker更激進，更擅長發現隱藏bug。論文實驗也顯示，二者結合后，在錯誤解法檢測、正確解法保留和stronger-test confirmation上都取得了更好的平衡。

實驗結果

論文在CodeContests、APPS、AetherCode以及近期Codeforces rounds上評測了Solvita，并與single-pass、Codex CLI、Claude Code、AlphaCodium、MapCoder等方法進行比較。

主實驗結果顯示，Solvita在15個backbone-benchmark組合中，有14個取得最高pass@1。

以GPT-5.4 backbone為例：

可以看到，Solvita相比single-pass幾乎實現了大幅躍升；相比已有agent framework，也在多個benchmark上保持穩定領先。更重要的是，這種提升并不是靠無限增加token換來的。論文的成本分析顯示，Solvita的平均token消耗與開源agent framework處于相近區間，并沒有接近部分商業CLI agent的更高消耗水平。

消融實驗

論文進一步做了additive ablation，用來區分兩個問題：

第一，Solvita的收益是不是只是因為多 Agent流程更復雜？

第二，可訓練知識網絡是否真的帶來了額外提升？

結果顯示，從single-pass切換到沒有訓練的多Agent框架，本身已經能顯著提升性能。這說明solve–certify–attack–repair的閉環結構確實更適合復雜算法題。

但在此基礎上，加入Solver/Oracle/Hackerknowledge network后，性能還能繼續提升，并且隨著訓練問題數量從1.5k到3k再到4.5k，收益持續增長。

在GPT-5.4上，完整系統最終達到：

這說明三個網絡不是互相替代，而是互補疊加。Solver network主要提升算法技能路由與實現修復；Oracle network提升內部監督質量；Hacker network提升對隱藏漏洞的攻擊能力。完整系統將三類經驗整合起來，最終取得最強表現。

Patch-based Repair：為什么不要每次都重寫？

論文還專門比較了Solver內部的兩種修復方式：full regeneration和patch repair

Full regeneration是每次失敗后重新生成完整代碼；

Patchrepair則只針對診斷出的錯誤位置生成局部補丁。

在相同最大迭代預算下，patch repair不僅通過率更高，而且平均迭代次數更少、token節省更多。

以GPT-5.4為例：

這說明在長鏈路解題中，「推倒重來」并不總是好策略。很多時候，候選解法已經有大部分邏輯正確，真正需要的是精準修補，而不是重新生成一份可能引入新錯誤的代碼。

Codeforces真實比賽評測

除了離線benchmark，論文還在近期Codeforces rounds上進行了更接近真實比賽的評估。

評測選取12場post-cutoff Codeforces rounds，共76道題。每場比賽都在官方時間限制內完成，不允許賽后修改，約束與真實選手一致。結果顯示，使用GPT-5.4、Claude Opus 4.6、DeepSeek V4 Pro作為backbone的Solvita版本，最終都進入Legendary Grandmaster區間；而相同backbone的bare model則停留在較低區間。

這說明Solvita的收益不只是底層模型本身帶來的，而是來自agentic loop、知識網絡和對抗驗證機制的系統性增強。

總結與展望

Solvita是一個面向競賽編程的Agentic Evolution框架。它試圖回答一個重要問題：如何讓代碼Agent不只是「多試幾次」，而是真正從過去的成功和失敗中積累經驗？

該研究的核心貢獻可以概括為三點：

1. 提出solve–certify–attack–repair閉環

Solvita將算法題求解拆解為Planner、Solver、Oracle、Hacker四個角色，讓策略選擇、程序生成、測試認證和對抗攻擊形成閉環。

2. 引入可訓練的圖結構知識網絡

每個Agent都擁有自己的知識網絡，通過pass/fail verdict、測試認證質量和adversarial vulnerability等反饋信號更新邊權，在不微調底層LLM的前提下持續積累經驗。

3. 在競賽編程任務上取得顯著提升

Solvita在CodeContests、APPS、AetherCode和Codeforces真實比賽評測中均展現出強性能，在多數backbone-benchmark組合上超過已有agent framework。

從更大的角度看，Solvita傳達了一個很重要的觀點：

未來更強的coding agent，不一定只來自更大的模型，也可能來自更好的經驗組織方式。

真正可靠的代碼智能體，需要會規劃、會驗證、會攻擊自己的答案，也需要能把失敗轉化為下一次成功的經驗。

對于AI for Code研究而言，Solvita提供了一種新的思路：從一次性代碼生成，走向持續進化的代碼智能體。

參考資料：

https://arxiv.org/pdf/2605.15301

編輯：LRST