同樣一份數據,OpenAI說AGI近了,LeCun說還早。你信誰?在《Slay the Spire 2》這款數字卡牌游戲里,前沿模型連最低難度都贏不了一局——但換一種記憶方式,勝率直接翻倍。問題從來不是模型本身不夠強。
AgenticSTS項目的研究團隊來自Alaya Lab、上海交通大學和其他機構。他們選了一個刁鉆的測試場:牌組構筑類roguelike游戲《Slay the Spire 2》。一輪完整的游戲流程包含數百個決策點——選牌、規劃戰斗、在地圖上挑選路線、購買道具。規則可以完全轉化為文本,隨機性極高,單輪時長極長。據開發者統計,人類玩家在最低難度A0下的勝率是16%。而在AGI-Eval評估中測試的前沿模型,五個不同配置下沒有贏過任何一局。
![]()
這正是研究者想要的:一個足夠困難但又能清晰暴露架構差異的環境。他們發現,典型的語言模型智能體,如ReAct或Reflexion,會把過去的觀察結果、工具調用和自我反思不斷追加到下一輪提示詞里。上下文隨每一步決策膨脹,直到窗口溢出,或者模型的注意力被稀釋。AgenticSTS的做法則完全相反。
每做一次決策,提示詞都會從五個清晰劃分的槽位里重新構建。L1存放固定的協議指令,L2存放狀態模式和當前可用動作,L3存放檢索到的游戲規則,L4存放過往輪次的摘要,L5存放針對特定情境觸發的策略技能。智能體想要把之前的任何信息帶到下一輪決策,必須先寫入這些存儲區之一。無論一輪游戲持續多久,提示詞始終保持簡短。由于每一層單獨尋址,研究者可以精確鎖定哪個組件真正驅動了性能提升。
為了對比效果,團隊在最低難度A0下測試了五種配置,每種跑十輪。沒有任何記憶層的情況下,智能體贏下10局中的3局。一旦開啟L5技能庫——用于存儲應對重復情境的戰術規則——勝率躍升至10局中的6局。不論這些技能是人工手寫的還是通過模板生成的,結果都一樣。研究者自己也承認,每種配置僅跑十輪,這個翻倍可能只是噪聲。L4的情景記憶在A0難度下沒什么幫助,但切換到另一個測試模式時就不同了:智能體每贏一局就嘗試更高一級難度。此時,如果在輪次之間更新記憶,智能體可以推進到A6至A8級別;關掉這項功能,進度就會卡在A2到A4。
這項研究的核心結論很直白:前沿模型在長期決策任務上表現糟糕,根子不在推理能力不足,而在記憶機制不對。把不斷生長的聊天記錄換成結構化的槽位記憶,同一個模型就能從零勝率跳到六成勝率。對于那些正在用語言模型構建復雜智能體系統的工程師來說,這個發現指向一個更務實的方向——與其等待下一個更大參數的模型發布,不如重新設計信息如何在決策之間流轉。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.