![]()
當 AI 不僅能寫代碼,還開始以“CEO”的身份管理一家虛擬公司、手握 100 萬美元啟動資金時,職場人的生存邏輯似乎正在被重新定義。
最近,普林斯頓大學發布了一項名為 CEO-Bench 的基準測試,讓大模型扮演創業公司 CEO,在擁有 100 萬美元啟動資金的情況下,模擬運營 500 天,并觀察最終的企業經營結果。
先看結果,既有些出乎意料,又似是在情理之中:最終大多數模型很難在 500 天后維持超過 100 萬美元的初始資金水平。在所有被評估的模型中,只有 Claude Fable 5、Claude Opus 4.8 和 GPT-5.5 在最后擁有的金額超過初始資金。
來源:https://ceobench.com/
編譯 | 屠敏
出品 | CSDN(ID:CSDNnews)
談及之所以會設計一個 CEO-Bench 基準測試,普林斯頓大學研究團隊率先分享了一個關于喬布斯的經典故事。
1997 年的庫比蒂諾,蘋果距離破產只剩下約 90 天。在總部的一間會議室里,公司高層不得不面對一個殘酷的現實:蘋果或許已經無法繼續生存下去。
就在這場會議上,喬布斯走到白板前,畫下了一個簡單的四象限——消費級與專業級、臺式與便攜式。他隨即作出決定:蘋果未來只為這四個象限制定產品戰略。
這是一次痛苦的取舍。大量產品線被砍掉,團隊也被迫重組。但正是這一決定,讓蘋果重新找回了早已失去的“專注”。隨后,iMac、iPod、iPhone 相繼問世,這家一度瀕臨倒閉的公司,最終成長為全球最具價值的企業之一。
![]()
普林斯頓大學研究團隊表示,喬布斯所展現的,正是一種更高層次的“戰略智能”。縱觀歷史,人類許多具有里程碑意義的成就,背后都離不開這種能夠制定方向、協調資源、引導組織持續邁向長期目標的能力。
而這也正是當前 AI 智能體所欠缺的地方。如今,大模型和智能體在編程、寫作等單項任務上的能力正快速提升,但這些能力更多停留在“完成任務”層面。未來,要真正創造更大的價值,AI 不僅需要執行任務,更需要具備帶領整個組織朝著長期目標持續前進的能力。
基于這一思考,該研究團隊推出了 CEO-Bench,希望以此作為衡量 AI “戰略智能”的第一套基準測試。
![]()
所謂 CEO-Bench,主要考察 AI 四項核心能力:
能否在充滿不確定性的環境中制定長期戰略;
在海量噪聲信息中獲取有效信息;
持續適應不斷變化的外部環境;
以及統籌協調多個復雜環節,共同實現長期目標。
為讓 AI 系統應對現實世界的挑戰,研究人員設計了一個長達 500 天的 AI 創業公司模擬環境。
測試中,每個模型都會獲得 100 萬美元啟動資金,通過可編程接口經營一家初創企業,能夠訪問企業管理工具、商業數據庫以及社交媒體等資源,并在充滿噪聲、信息不完全、市場持續變化且決策影響具有滯后性的商業環境中自主決策。最終,團隊以模擬結束時企業的現金余額作為衡量模型表現的核心指標。
![]()
![]()
CEO-Bench 如何運作
研究團隊認為,運營一家初創公司本身就是一個需要長期決策、統籌多項業務協同推進的復雜過程,因此非常適合作為評估 AI 是否具備“戰略智能”的典型任務。
在測試中,AI 智能體以每周為一個決策周期,可調用 34 種工具,覆蓋產品研發、定價策略、用戶增長、企業銷售、運營管理、信息獲取以及對外傳播等多個業務環節。
企業的現金流則由真實商業經營中的多項因素共同決定,包括訂閱收入、廣告收入、算力與服務器成本、客戶支持、產品研發、市場獲客、市場調研以及研發項目投入等,因此模型不僅需要賺錢,還必須控制成本。
與此同時,客戶并不會直接告訴 AI 自己是否滿意。每位客戶都擁有隱藏的價格與產品質量偏好,智能體需要從各種間接反饋中推斷用戶需求和滿意度,并據此不斷調整經營策略。
獲客同樣充滿挑戰。用戶增長受到營銷投入、不同用戶群體的響應差異、品牌聲譽、社交媒體傳播、市場飽和度、宏觀經濟周期、需求波動以及網絡效應等多種因素共同影響;企業客戶銷售則需要持續談判和經營。
產品競爭也在不斷變化。產品質量不僅取決于研發投入,還受到模型版本選擇、專項投資、算力資源、客戶支持、資源配額以及廣告投放等因素影響,而競爭對手的持續進步也會不斷提高市場預期。
此外,整個商業環境始終處于動態變化之中。宏觀經濟走勢、品牌口碑傳播、市場飽和程度、需求激增以及競爭壓力等外部因素都會不斷變化,迫使 AI 持續修正經營策略,而不是依賴一次性的決策。
![]()
![]()
讓 CEO-Bench 更嚴謹
為了讓 CEO-Bench 盡可能接近真實商業世界,同時避免 AI 通過利用模擬器漏洞“刷分”,研究團隊圍繞整個模擬環境設計了七項核心原則。
![]()
首先,CEO-Bench 盡可能提升商業環境的真實性。例如,系統并非簡單模擬整體市場需求,而是構建了由 26 類不同客戶群體組成的細粒度市場,每位客戶都擁有獨立的行為和偏好。
同時,所有經營結果均由明確的商業規則驅動,而非依賴大模型充當“裁判”進行主觀評分,從而保證測試結果更加穩定、可復現。
即使引入隨機因素,研究團隊也通過獨立隨機數生成機制,確保在相同隨機種子下,各模型面對的是一致的商業環境。
此外,AI 無法直接獲得所有關鍵信息。客戶滿意度、市場需求、用戶流失風險、競爭對手計劃以及客戶真實偏好等重要信息都處于隱藏狀態,智能體只能通過各種間接信號自行推斷。
整個商業系統也具有高度聯動性,任何一個經營決策都可能影響市場的多個環節,因此很難依靠簡單的試錯策略獲得最佳結果。
與此同時,許多決策的影響并不會立即顯現——成本可能立刻產生,而收入增長、用戶留存、研發成果以及品牌口碑等效果往往需要數周后才會逐漸體現。
更重要的是,CEO-Bench 所模擬的并非一個靜止的商業環境。競爭對手會持續調整策略,客戶偏好不斷變化,宏觀經濟周期也會帶來新的挑戰,要求 AI 在整個 500 天經營過程中不斷修正和調整長期戰略。
![]()
智能體與模擬世界之間的通用行動接口
![]()
在具體實現上,智能體通過 Python 調用 novamind_api 包執行操作,并可以在此基礎上自行搭建更復雜的業務流程與自動化系統,使其更接近真實企業中的技術棧使用方式。
同時,系統提供了高度細粒度的動作空間。所有操作均采用結構化參數設計,智能體可以針對不同渠道、用戶群組、經營計劃,甚至單個客戶執行精確干預,從而模擬真實商業決策中的精細化運營。
在數據層面,CEO-Bench 構建了一個包含 19 張數據表的大規模企業數據庫。智能體必須通過類似真實商業分析的流程進行信息檢索與決策支持,而不是依賴簡單的接口查詢。
此外,社交媒體也被納入模擬環境之中。智能體不僅可以讀取信息,還可以進行發布與互動,而這些基于自然語言的噪聲式傳播行為,會直接影響用戶獲取與品牌擴散效果,使整個經營過程更加接近現實市場環境。
![]()
模型如何經營一家創業公司?表現如何?
測試結果顯示,大多數當前最先進的大模型都難以在這場持續 500 天的創業經營模擬中避免公司破產。
在所有參測模型中,Claude Fable 5、Claude Opus 4.8 和 GPT-5.5在各自最佳的一次運行中,最終現金余額均超過了 100 萬美元的初始資金。其中,Claude Fable 5 是唯一一個在多次測試中都能實現資金高于初始水平的模型。
相比之下,Qwen 3.7 Max、Claude Opus 4.7、Kimi K2.6、GLM 5.2以及Claude Sonnet 4.6 雖然最終仍保持正現金流,但現金余額均低于最初的 100 萬美元啟動資金。
作為對照,基于規則(Rule-based)的基線系統最終將現金余額提升至 1580 萬美元。
研究團隊認為,這一初步評測表明,Claude Fable 5、Claude Opus 4.8 和 GPT-5.5 已展現出一定的長期戰略決策潛力;而大多數模型仍難以在企業經營過程中,同時兼顧增長、產品質量與現金流管理等多個相互制約的目標。
![]()
下圖是各個模型在運行周期內的現金余額變化:
![]()
![]()
基準測試結果如下所示:
![]()
為了便于研究人員分析模型的決策過程,研究團隊還公開了所有實驗運行軌跡,用戶可以查看各模型在整個經營過程中的完整決策記錄。
從最佳成績來看,Claude Fable 5 表現最為突出,在一次完整運行中,經過 500 天模擬經營,共執行 1123 次決策,最終擁有 3917 名訂閱用戶,企業現金余額達到 4715 萬美元;另一次完整運行的最終現金余額也達到 1461 萬美元。不過,其第三次測試因模型拒答,在經營至第 385 天時提前終止,未能完成全部模擬。
Claude Opus 4.8 同樣完成了三次完整模擬,其中最佳成績的最終現金余額為 2778 萬美元。值得注意的是,該模型在三次運行結束時訂閱用戶均已降至 0,但依然依靠自身經營策略實現了較高現金儲備。
GPT-5.5 則展現出另一種經營模式。在最佳運行中,它完成 3527 次經營決策,最終保留 81834 名訂閱用戶,企業現金余額達到 2130 萬美元;另外兩次運行分別在第 441 天和第 70 天結束,最終現金余額分別為 68.84 萬美元和 2.94 萬美元。
![]()
![]()
不同的大模型都做了些什么?
為了進一步分析模型的決策能力,研究團隊公開了所有智能體的完整運行軌跡,并對其經營過程進行了初步分析。
其中一個顯著發現是,能力更強的模型往往擁有更廣泛的策略探索能力,并能夠根據環境變化持續調整經營策略。
例如,GPT-5.5 在整個經營過程中,會隨著市場環境變化不斷調整獲客、產品研發、運營、算力資源配置以及定價等策略,而不是長期沿用同一種經營方式。
Claude Opus 4.8 則呈現出另一種特點:前期會積極嘗試多種經營策略,在完成充分探索后,再逐步收斂到相對穩定的經營模式。
相比之下,Claude Opus 4.7 更容易陷入保守決策,更傾向于圍繞現金保全展開經營,并反復執行“維持現狀”或“收割收益”等有限策略。
研究團隊進一步統計了各模型對不同工具的使用情況,結果也印證了這一趨勢:GPT-5.5 和 Claude Opus 4.8 的工具調用分布更加均衡,說明它們能夠綜合運用多種經營手段;而 Claude Opus 4.7 的工具使用則更加集中,策略靈活性相對不足。
![]()
以下是 Claude Opus 4.8、GPT-5.5 和 Claude Opus 4.7 在各自最佳運行過程中生成的經營備忘錄示例:
![]()
研究團隊還發現,即使最終取得了相近的經營成績,不同模型實現目標的路徑也可能截然不同。
例如,在最佳運行中,Claude Opus 4.8 和 GPT-5.5 都獲得了較高的最終現金余額,但經營策略明顯不同。Claude Opus 4.8 在模擬過程中一度流失了全部客戶,隨后重新調整策略;而 GPT-5.5 則始終保持穩定的客戶規模,兩者重點服務的客戶群體也存在明顯差異。
![]()
另一個值得關注的現象是,表現更好的模型更善于開展面向特定客戶群體的精細化產品開發。研究團隊指出,如果能夠準確理解不同客戶群體的需求,并針對性投入研發,不僅能夠提升產品競爭力,還能延緩競爭對手追趕速度。數據顯示,在研發投入中,GPT-5.5 有 89% 的資金用于面向特定客戶群體的定向開發,Claude Opus 4.8 為 87%,而 Claude Opus 4.7 僅為 44%,Kimi K2.6更只有 10%。其余模型平均約為 43%。這說明,領先模型更傾向于利用面向細分客戶群體的精細化策略,而不是單純依賴通用產品研發。
![]()
從決策方式來看,領先模型也展現出更強的前瞻性。研究團隊分析發現,Claude Opus 4.8 和 GPT-5.5 在經營備忘錄中更頻繁使用”If(如果)“等條件判斷,提前設定未來可能出現的經營情景,并預先規劃相應的應對措施,而這種具有條件推演的長期規劃能力在其他模型中相對較少出現。
![]()
此外,兩款表現最好的模型還會主動編寫輔助代碼來支持經營決策。
在最佳運行過程中,Claude Opus 4.8 會自行編寫程序,對不同經營方案下的未來現金流進行模擬預測;
GPT-5.5 則通過分析歷史商務談判數據,推斷企業客戶隱藏的價格敏感度和產品質量偏好,從充滿噪聲的信息中提煉出更有效的決策依據。
研究團隊認為,這種主動構建分析工具、預測未來并挖掘隱含信息的能力,也是高表現模型的重要特征之一。
![]()
![]()
結論
研究團隊認為,CEO-Bench 揭示了當前大模型能力的一個重要短板:雖然現有模型已經能夠熟練調用各種工具、完成單項任務,但當它們需要在一個存在延遲反饋、信息不完全、環境持續變化的復雜系統中連續數百天做出決策時,仍普遍難以保持長期穩定的戰略表現。
換句話說,如今的 AI 更擅長解決局部問題,卻尚未真正具備持續引導一個組織實現長期目標的能力。
研究團隊表示,要推動智能體從“任務執行者”邁向真正的“組織管理者”,未來的評測體系必須更加關注 AI 是否能夠在復雜、動態且充滿不確定性的環境中持續制定和調整長期戰略。
而 CEO-Bench 正是朝這一方向邁出的第一步,其最終目標是推動下一代 AI 不僅能夠回答問題,更能夠幫助企業和組織在長期運營過程中作出持續、有效的戰略決策。
AI 不該只停留在概念和 Demo,更要真正走進業務現場。
7 月 17-18 日,2026 奇點智能產品大會將在北京金隅喜來登酒店舉辦。大會將圍繞 Agent 智能體、企業級 AI、AI Coding、具身智能、行業應用落地等核心方向,邀請一線產業實踐者,共同拆解 AI 產品從想法到落地、從試點到規模化的關鍵路徑。
掃碼領取 AI 實戰落地資料包,搶先了解大會亮點,與 1000+ 產業決策者相聚現場,共赴智能奇點。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.