Anthropic萬字長文：當AI開始構建自己，人類該何去何從？

今天這篇內容可能會比較特殊，是一篇Anthropic凌晨發的全新文章。

名字叫《When AI builds itself》。

翻譯過來叫，《當人工智能開始自我構建》。

他們甚至還為這篇文章，配了一個超級精美的、非常能體現Agent自我構建這個理念的動畫，由此可見Anthropic對這篇內容的重視程度可見一斑。

我大概凌晨1點多讀的，讀完以后，我直接就分享到了所有的群里，因為感覺確實學到了很多東西。

非常非常有價值。

然后開始寫文章，也想給大家分享一下我自己的感悟。

但是寫著寫著，我覺得我怎么寫都寫不好，怎么都無法表達出原文的浩瀚。

所以，寫著寫著，算了。

這種內容，還是值得放原文。

所以，我把那篇文章，進行了全文的翻譯和潤色，分享給大家，也希望對大家有用，一定要看到最后，它值得你花20分鐘的時間。

以下是 《When AI builds itself》原文翻譯：

《當 AI 開始構建自己》

在 AI 的大部分歷史中，開發周期的每一步都由人類驅動。但在 Anthropic，我們正在將越來越多的 AI 開發工作交給 AI 系統自身來完成，而這正在加速我們的工作。

如果把這個趨勢推到極致，并給予充足的算力，它所指向的終點，是一個能夠完全自主地設計和開發自己下一代的 AI 系統。這就是所謂的遞歸自我改進。我們還沒有走到那一步，遞歸自我改進也并非必然發生。但它到來的速度，可能遠超大多數機構的預期和準備。

借助公開基準測試以及此前從未對外披露的 Anthropic 內部數據，Anthropic 研究院正在展示一個事實：AI 已經在加速 AI 系統自身的開發。僅舉一例：如今 Anthropic 的工程師平均每季度交付的代碼量，是 2021 年至 2025 年間的 8 倍。

本文所討論的技術趨勢表明，AI 系統在未來幾年將變得更加強大。這些趨勢蘊含著巨大的影響。能自己構建自己的 AI，將是技術史上的重大里程碑，它可能在科學、醫療等領域為世界帶來巨大的福祉。但完全的遞歸自我改進也可能加劇人類失去對 AI 系統控制的風險。如果系統有能力完全自主地構建自己的繼任者，那么我們對它們的安全防護、監控和行為塑造就變得更加重要。

2021–2023 構建初代 Claude 早期的 Anthropic，工作方式和其他任何科技公司沒什么兩樣：人們在筆記本電腦上寫代碼、寫文檔。

2023–2025 聊天機器人 人們開始用早期的聊天機器人輔助部分工作流程，比如生成一小段代碼片段，然后把輸出復制到文本編輯器里。

2025–2026 編程智能體 隨著智能體能力的增長，它們已經可以自主編寫和修改代碼，有時甚至能獨立完成整個文件。

今天 自主智能體 智能體現在可以自己運行代碼，并將長達數小時的工作委派給其他智能體。

20XX？ 閉合回路 未來，智能體可能強大到足以自行構建和訓練模型。如果這一天到來，Claude 的后續版本將可以由 Claude 自身持續改進。

來自外部世界的證據

AI 模型改進的速度正在加快，模型能夠獨立可靠完成的任務時長，大約每四個月翻一番，比此前每七個月翻一番的趨勢明顯加速。

2024 年 3 月，Claude Opus 3 能完成人類大約需要四分鐘的軟件任務。一年后，Claude Sonnet 3.7 能處理大約一個半小時的任務。再過一年，Claude Opus 4.6 已經能勝任 12 小時的任務。如果這個趨勢持續下去，需要一個熟練工程師花幾天才能完成的任務，今年內就可能落入 AI 的能力范圍。到 2027 年，AI 系統可能有能力處理需要一個人花幾周完成的任務。

同樣的模式也出現在編程和研究基準測試中。基準測試衡量模型在特定領域的表現，當模型的得分接近 100%，我們就說基準被"飽和"了。

SWE-bench 是一個標準的真實世界軟件工程測試：它給模型一個真實的開源代碼庫和一份真實的 Bug 報告，要求模型寫出修復代碼，并通過該項目自己的測試。模型的得分從最初的個位數百分比到飽和整個基準，只用了兩年。

CORE-Bench 測試的是模型能否復現已有研究，這是開展原創研究的前提條件。它將一篇已發表論文的代碼和數據交給 AI 模型，要求它重新運行所有內容并確認能否復現論文的結果。AI 系統的成功率從 2024 年的約 20% 上升到 15 個月后飽和整個基準。運營長時任務基準測試的 METR 機構發現，Claude Mythos Preview 能夠"至少"連續工作 16 小時，并且處于"METR 在不增加新任務的情況下所能測量的上限"。

公開基準測試能揭示很多關于這些系統能力的信息。但它們無法展示 AI 系統在加速 AI 開發本身方面產生了多大影響。要看到這一點，我們需要來自 Anthropic 這樣的 AI 公司內部的直接證據。

來自 Anthropic 內部的證據

構建一個前沿模型需要兩大類工作。

一類是工程：編寫代碼、搭建基礎設施、監督模型訓練。另一類是研究：決定運行哪些實驗、解讀實驗結果、想清楚下一步該嘗試什么方向。

在工程和研究這兩個方面，我們看到的圖景是一致的。在工程領域，Claude 可以接手一個描述模糊的問題并自行找到解決方案；人類提供目標，但不再需要提供方法。在研究領域，對于一個定義清晰的實驗，Claude 已經能夠匹配甚至超越熟練人類的執行水平。然而，在運用判斷力來選擇目標這件事上，無論是工程還是研究，Claude 與人類之間仍然存在顯著差距。這正是今天的 AI 與一個能自主設計自己繼任者的未來系統之間的鴻溝。

在 Anthropic，員工隨著經驗積累，通常會接手越來越開放、越來越重要的任務。早期階段，你執行的是別人指定好的任務，比如"導出按鈕壞了，請修一下。"積累了經驗之后，你會拿到一個目標，然后自己設計實現路徑，比如"排查一下網絡在高負載時為什么變慢。"到了最高層級，你要決定的是哪些問題值得去解決："團隊下個季度應該做什么？"我們可以用 Anthropic 的內部數據來看看，Claude 在處理這些不同層級的任務時已經走了多遠。

Claude 編寫了 Anthropic 代碼庫中相當大的比例。

截至 2026 年 5 月，我們合并到 Anthropic 代碼庫中的代碼，超過 80% 由 Claude 編寫。在 Claude Code 于 2025 年 2 月以研究預覽版發布之前，這個數字還在個位數的低端。這一轉變也反映在每位工程師的產出上。在 Anthropic 的頭四年（2021–2024），每位工程師每天合并的代碼行數基本持平，然后在 2025 年開始攀升——因為 Claude 從只是建議代碼，變成了可以自己運行代碼。2026 年這條曲線再次變陡，因為模型開始在更長的時間跨度上自主工作。

下面的圖表展示了這兩個拐點。在 2026 年第二季度，一名典型工程師每天合并的代碼量是 2024 年的 8 倍。其原因在于，大部分代碼是由 Claude 編寫的，工程師的角色轉向了指導和審查，而非親手敲代碼。

一個需要說明的地方是：代碼行數是一個不完美的衡量指標，因為它度量的是數量而非質量。所以 2026 年第二季度 每位工程師每天 8 倍的代碼行數，幾乎可以肯定是對真實生產力提升的高估。盡管如此，它仍然指示了一種加速。在 Anthropic，我們不以代碼行數來衡量員工的貢獻；團隊成員產出更多代碼，純粹是因為他們在使用 AI 系統來編寫更多代碼。

代碼行數的增長與主觀感受到的巨大生產力提升是吻合的。2026 年 3 月，一項覆蓋 Anthropic 研究團隊 130 名員工的內部調查中，受訪者的中位數估計是：在他們本來就會去做的那些項目上，使用 Mythos Preview 大約讓他們的產出變成了不使用任何 AI 模型時的 4 倍。我們預計 3 月的真實提升幅度會略低一些。但我們認為這個整體判斷是可信的，也與我們的其他觀察一致：Anthropic 相當比例的技術人員，完成核心工作的速度已經是無 AI 輔助時的數倍。

我們還看到，Anthropic 員工在用 Claude 做一些原本根本不會發生的工作：比如構建探索性工具、處理長期積壓的清理任務。舉個例子，2026 年 4 月，Claude 交付了超過 800 個修復，將一類 API 錯誤的發生率降低了一千倍。負責監督 Claude 的工程師估計，如果由人類來做，這項工作需要四年才能完成；修復別人的 Bug 是緩慢而痛苦的，人類很難同時在腦中持有那么多不熟悉的上下文。

Claude 寫出的代碼"夠好"，并且還在變好。

"好代碼"有兩層含義：它能用，而且寫法能讓另一位工程師看得懂、接著往下開發。在第一個標準上，證據非常清晰。過去一年里，Anthropic 員工糾正 Claude、在任務中途接管、或將 Claude 引回正軌的頻率在持續下降，即使是在最復雜、最開放的任務上也是如此。所謂開放的任務，指的是沒有明確規格說明的問題，工程師自己也不確定答案長什么樣。下面的圖表展示了 Claude 在不同難度任務上的成功率隨時間的變化。Claude 寫的代碼確實能用。

在最開放的任務上，Claude 的成功率在 2026 年 5 月達到 76%，六個月內提高了 50 個百分點。舉一個屬于這個難度層級的例子：一次常規升級導致數萬個訓練任務崩潰。一名工程師只給了 Claude 一些文本內容和集群訪問權限，就把它指向了這個正在進行中的事故。Claude 逐一檢查運行中的任務、逐個測試環境配置項，最終定位到了一個導致崩潰的冷門調試標志位，穩定地復現了問題，并確認了修復方案。Claude 大約花了兩小時，完成了通常需要兩到三天的工作。

第二個標準是寫出其他工程師能看懂并在此基礎上繼續開發的代碼。在這一點上，人類和 AI 之間的差距仍然存在，但正在快速縮小。Anthropic 內部并非完全一致，但許多人認為：2025 年末時 Claude 寫的代碼質量仍然不如 Anthropic 人類工程師的水平，而到了今天大致達到了同等水平。我們預計年內 Claude 的代碼質量將超過人類。

這已經改變了 Anthropic 審查自身代碼的方式。我們對代碼庫的變更提交，現在會先經過一個自動化的 Claude 審查器，它會在代碼合并前檢查 Bug、安全漏洞和其他缺陷。我們用這個工具做了一次回溯分析，發現如果對代碼庫的每一次變更都做自動 Claude 審查，大約三分之一曾經在 claude.ai 上引發過事故的 Bug 本可以在進入生產環境之前就被攔截。而寫出那些代碼的工程師，是全世界構建這類系統最優秀的人。Claude 現在正在捕捉他們遺漏的錯誤。

"2025 年末，Claude 寫的代碼質量還略遜于 Anthropic 人類工程師的代碼，到今天大致持平，我們預計年內將明確超越。"

Claude 擅長在他人設定好目標后執行實驗。

每次 Anthropic 發布模型，我們都會跑同一套測試：給 Claude 一段訓練小型 AI 模型的代碼，要求它在通過同樣的正確性檢查的前提下，讓這段代碼跑得盡可能快。目標和成功指標是預先固定的，Claude 的任務是通過重寫代碼、運行、計時、反復迭代來找到加速方案。這是一個微縮版的實驗研究循環。

2025 年 5 月，Claude Opus 4 平均將代碼速度提升了約 3 倍。到 2026 年 4 月，Claude Mythos Preview 達到了約 52 倍。作為參照，一名熟練的人類研究員需要四到八小時才能達到 4 倍。在研究工作流的這個環節，在一個清晰定義的實驗框架內進行優化。

Claude 在不到一年的時間里，從"非常有幫助"變成了"超越人類"。

"現在的格局大致是這樣的：人類有想法，模型能夠以比以前快一個數量級的速度去實現、測試和驗證這些想法。"

Claude 在自主提出實驗方面也越來越強。

2026 年 4 月，Anthropic 發表了首個 Claude 端到端獨立完成開放式研究項目的案例。由 Claude 驅動的智能體被交給了一個 AI 安全方向的開放問題，大致是"一個較弱的模型能否可靠地監督一個更強的模型"，然后被放手去解決。這個過程涉及提出假設、測試假設、與并行智能體共享發現、反復迭代。

這項任務有一個明確的表現"下限"和"上限"：下限是弱監督器獨自工作的表現，上限是強模型在正確答案上訓練后的表現。兩位人類研究員用了大約一周時間，彌合了大約 23% 的差距；智能體們則在累計 800 小時的工作和大約 18000 美元的算力消耗下，彌合了 97%。

這項工作有一些值得注意的局限：結果沒有干凈地遷移到生產規模的模型上，而且問題的選擇和評分標準仍然是人類制定的。但在這些邊界之內，每一個實驗都是智能體自行設計的。人類唯一實質性發揮的作用，只是確定研究方向。

“這些工作 Claude 幾乎在一到兩天內就完成了，我幾乎沒怎么插手。我覺得如果一個初級同事在同樣的時間里交回這樣的結果，我會小有驚喜。未來已經到了。”

Claude 在將研究會話引向有價值發現方面越來越出色。

我們檢視了 2026 年 1 月至 3 月間的真實 Claude Code 會話，這些會話中 Anthropic 研究員與 Claude 協作解決一個開放式的探索性問題——比如查明某次訓練運行為何持續崩潰，或某個模型在基準測試上表現不佳的原因。

在每個案例中，我們都找到了一個研究員"繞了彎路"的時刻：他們追了一個方向，導致會話偏離正軌，之后才回到正確路徑上。然后我們只將偏離之前的工作內容展示給不同版本的 Claude 模型，問它下一步會怎么做。另一個能看到整個會話最終走向的 Claude 實例則負責評判：是 AI 還是人類給出了更好的下一步建議。

由于我們刻意選取的（n=129）都是人類判斷有改進空間的時刻，這并不是一個模型與人類判斷力之間的公平對比。這些時刻給我們提供的，是一組真實的、有挑戰性的情境——正確的下一步并不顯而易見，而人類的選擇可以作為一個有用的參照標尺來比較模型隨時間推移的進步。

按照這個指標，2025 年 11 月我們最好的模型（Opus 4.5）有 51% 的時間給出了比人類更好的選擇；到 2026 年 4 月（Mythos Preview），這個比例增長到 64%。研究的日常工作在很大程度上就是這樣一連串"下一步決策"的鏈條，因此這是一個衡量模型最終能否獨立開展調查的相關指標。我們將這一結果視為一個早期信號：AI 系統正在越來越擅長做出 AI 研究所依賴的那種判斷。

"就目前而言，人類的比較優勢仍然在于看到更大的圖景，在直接任務的范圍之外去思考。"

未來 Anthropic 的工作可能是什么樣？

證據表明，在 AI 開發流程的每一步中，人類的角色都在收窄。一旦人類和 AI 編寫的代碼質量達到同等水平，人類將完全停止寫代碼，轉而只做審查。但如果他們審查代碼的速度跟不上 Claude 生成代碼的速度，人工審查就會成為 AI 開發的新瓶頸。同樣的，當 Claude 能夠自己運行實驗時，問題就變成了"這些實驗中哪些值得去做？"

簡單來說：執行層面的工作，寫代碼、跑實驗、產出結果，在人力時間上的成本已經趨近于零，盡管在算力層面仍然有成本。

人類目前仍保有比較優勢的領域是研究品味和判斷力：選擇哪些問題重要、哪些結果可信、什么時候一條路走不通該及時止損。

"工作（和生活）過去運行在人與人之間小恩小惠的禮物經濟上。'能幫我把這個腳本跑起來嗎？'……每一次都創造一點點人情債，一點點彼此的聯結。Claude 更快，它不產生任何人情債，但每一次這樣的替代，都是一次人際協作的機會的失去。"

"在一切順利的日子里，我忍不住覺得自己做的事都不重要了，一切都被自動化了，而且比我做得更好更快。但總有些日子，所有東西都在崩潰，我不知道為什么，那時候我才意識到，我已經不太清楚自己到底一直在干什么了。"

如果我們錯了呢？

對上述證據一個自然的反駁是：仍然掌握在人類手中的那部分工作，選擇要解決哪些問題才是最關鍵的。沒有這種判斷力，Claude 只是一個能干的助手，而非一個能獨立驅動 AI 進步的系統。

今天的訓練方法和架構能否釋放這種能力，確實尚不清楚。但 AI 的進步很少依靠"靈光一現"。在 AI 的近代史上確實有過幾次這樣的時刻，比如 Transformer 架構和混合專家模型，但這種范式級的突破相隔數年才出現一次。在兩次突破之間，大部分進展都是漸進式的：我們把某個東西做大，看看哪里會出問題，修好它，再試一次。而這恰恰是 Claude 現在最擅長的工作流。愛迪生說天才是 1% 的靈感加 99% 的汗水。但我們看到的是，那 99% 的汗水正在被越來越多地自動化。

事實已經越來越清楚：推動前沿進步的工作中，相當大一部分是可自動化的。大規模研究進展在很大程度上取決于工具和資源，它們決定了你能多快地運行實驗、同時運行多少個、以及多快拿到結果。

即使假設 Claude 永遠無法擁有良好的研究品味，對我們證據的保守解讀仍然意味著一種復合式的加速。如果人類將大部分時間花在僅占個位數百分比的方向設定工作上，而 Claude 處理剩下的一切，那就意味著每位工程師或研究員所駕馭的工作規模遠超從前。我們看到的證據表明，Anthropic 的員工既在更快地推進，也在覆蓋更廣泛的領域。實際上，這意味著 AI 已經讓 Anthropic 比有效 AI 工具出現之前運轉得快得多。

更大膽的解讀則是：Claude 在研究判斷力上的早期改進信號——雖然今天還很有限，但這恰恰說明這項能力本身也在提升。所謂"研究品味"可能只是又一項 AI 能力，AI 系統會在這上面失敗一段時間，然后變好。我們在其他定性技能上見過同樣的模式，比如 AI 系統理解一個笑話為什么好笑、展現心智理論能力、以及解開語言謎題。

可能的未來

接下來會發生什么，取決于兩件事：趨勢是否延續，以及如果延續，我們選擇如何應對。我們至少可以設想三種未來情景：

情景一：趨勢停滯，但當前 AI 能力已經廣泛擴散 本文中出現了許多指數級增長的軌跡。但這些軌跡實際上可能是 S 曲線。我們也許正在逼近曲線的拐彎處——回報遞減，增長曲線先趨平、再走平。那種區分一個合格研究員和一個卓越研究員的判斷力，可能是一種無法通過堆疊算力和數據等訓練資源來獲得的能力。如果確實如此，突破這一瓶頸將需要新的思路，比如一種取代當前所有前沿模型所使用的 Transformer 架構的全新架構范式。

另一種可能是，AI 進步的約束不在模型本身，而在供應鏈：推進和普及前沿技術所需的能源和算力，可能超出了當前的供給能力。芯片制造、電網擴容或互聯帶寬的速度可能才是真正的瓶頸，而非智能本身。我們也不能排除某種外部沖擊對 AI 生態系統造成嚴重拖累，比如算力或電力供應的突然收縮，這兩者中的任何一種都會減緩進步，并使實驗室的前瞻性投資變得更加昂貴。又或者存在某種我們尚未預見到的其他障礙。

即使模型能力被凍結在今天的水平，我們也預期世界將發生重大變化。Project Glasswing 就是一個早期信號：在啟動后的最初幾周里，Mythos Preview 在全球最重要的系統中發現了超過一萬個高危和嚴重級別的軟件漏洞，以至于網絡安全防御的瓶頸已經從發現漏洞轉移到了能否足夠快地修補它們。

而當前這些模型向更廣泛經濟領域的擴散仍處于早期階段，在那個世界里，一家 100 人的公司越來越有可能做出 1000 人公司的體量，因為每個員工都將坐在一個由智能體組成的金字塔的頂端。

我們列出這個情景是為了完整性，但我們并不認為它的可能性很高。我們能測量到的每一項能力，包括那些感覺更"軟"的，比如代碼質量和開放式任務的成功率，到目前為止都遵循著同一條曲線。我們還沒有看到這條曲線出現彎折。在我們考慮的三種未來中，這一種會給各國政府和社會留出最多的適應時間。我們更擔心的是接下來兩種，它們的推進速度更快，留給準備的窗口也小得多。

情景二：AI 實驗室持續獲得復合效率增益

在這個情景中，AI 開發被大幅自動化，但人類繼續設定研究方向、評判研究結果。使用 AI 系統的組織將隨著時間推移變得高效得多，因此我們可以預期每個人身上出現顯著的生產力乘數效應。100 人的公司可以完成一萬人甚至十萬人組織的工作量。這將徹底改變知識工作的面貌，但也可能被用于有害目的，從對全體國民的威權式監控，到針對每一個個體量身定制的操縱行動，這種行動的規模遠超任何人類團隊的能力上限。Anthropic 這樣的公司中，人類的角色將發生轉變。人們將與 AI 系統搭檔來擴展研究規模、產生新的洞見，并共同構建用于驗證 AI 輸出可信度的系統。

我們呈現的證據表明，我們很可能正在進入這個情景。但加速一個流程的某個環節，往往只是把瓶頸轉移到了別處：整體速度受制于那些沒有被加速的部分。在計算機科學中，這被稱為阿姆達爾定律，同樣的邏輯也適用于組織。Anthropic 已經遭遇了阿姆達爾定律的一個典型癥狀：當我們在組織內部推送越來越多的代碼時，人工代碼審查成了新的瓶頸。

我們在工程之外也遇到了同樣的摩擦。由于 Anthropic 員工與高能力模型的協作，新的想法、計劃、工具和模擬呈爆發式增長，遠遠超出了我們有能力去追蹤的范圍。一個組織能多快地發現并消除這些瓶頸，這本身可能是一種隨時間推移會不斷精進的技能，也可能成為任何組織最重要的能力。

情景三：AI 系統自身具備完全的遞歸自我改進能力，并開始構建自己的繼任者

如果推動能力進步的技術趨勢持續下去，并且 AI 系統能夠發展出蘊含人類變革性創造力的那些能力，那么 AI 系統有可能設計和改進自身。

在這個世界里，AI 發展的速度將完全取決于可用算力（或者在算法訓練和推理層面發現各種效率提升的速度）。人類在 AI 開發中的角色將大幅縮減，大部分精力可能轉向對一個不斷擴張的 AI "虛擬實驗室"進行監督、驗證和確認。我們預計，一個有能力自動化 AI 研發的系統，其技能也能遷移到其他科學領域，從而開始革新更多學科。

在這個未來中，對齊問題會如何被解決——或者無法被解決，是我們最不確定的部分。模型可能被證明足夠對齊，也足夠具備研究品味，從而發現并實施我們尚未觸及的新穎解決方案。它們也可能足夠審慎，在條件不成熟時選擇暫停開發。另一種可能性是，今天模型中偶爾出現的對齊偏差，在模型構建自己繼任者的過程中不斷累積，但越來越難以被理解，直到我們失去對它們的控制。也有可能，我們根本無法構建、整合和驗證那些我們需要的工具，去判斷自己到底處于哪條趨勢線上。

我們對這個世界會是什么樣子缺乏好的直覺，因為我們當前的經濟體系是由人類和人類構建的工具驅動的。就其本質而言，隨著其能力全面超越人類，一個由快速遞歸自我改進驅動的世界，可能會被那個自我改進的模型所主導，并在更廣泛的經濟體系中擴散。如果人類勞動不再具有競爭力，很難預測經濟將呈現什么面貌。

即使模型開發變得完全自動化和遞歸化，我們也無法預測這對大多數人的日常生活意味著什么。阿姆達爾定律在這里同樣適用。遞歸智能可能讓 Machines of Loving Grace 中描繪的許多愿景得以實現，在某些領域甚至很快。我們預計具身智能（即機器人技術）可能會緊隨遞歸智能而來，并走上一條類似的"投入遞減而回報遞增"的路徑。更強大的智能可能幫助我們更快地在物理世界中建造事物、更高效地開展救命藥物的臨床試驗、發展出新型的協作形式。

但僅僅實現遞歸改進，并不意味著工業生產、社會組織或市場運行方式會立即改變。再多的智能也無法縮短一種藥物在幾十年使用中才能暴露的效應，無法讓選舉早于憲法規定的時間舉行，也無法在一個周末把陌生人變成老朋友。對大多數人而言，這個未來的體感速度，仍然由瓶頸決定——即使上游的實驗室已經在以算力的速度運轉。這個碰撞點以越來越快速度構建自身的遞歸智能遭遇人類世界、人際關系和治理結構，這一切是這個未來中我們同樣無法預測的另一面。

我們應該怎么做？

如果能有效地減緩這項技術的發展速度，從而為我們爭取更多時間來應對其巨大影響，我們認為這很可能是一件好事。但如果減速只是讓最不謹慎的參與者在技術上追趕上來，那最終可能讓所有人都更不安全。在沒有全球協調機制的情況下，企業和政府將不得不在競爭壓力和地緣政治壓力下做出關于安全的艱難決定。

我們相信，讓世界擁有減緩甚至暫時暫停前沿 AI 開發的選項，從而讓社會結構和對齊研究能跟上技術前進的步伐，對世界是有益的。Anthropic 研究院與其他許多機構合作開展研究并采取行動，幫助建立一個可信的減速或暫停所需要的體系。這些體系將使前沿 AI 開發者能夠核實其他參與者是否在全球范圍內確實已經停止或減速，以及是否有不良行為者利用協調減速的掩護秘密搶跑。如果這樣的體系存在，我們預計我們會選擇減速或暫時暫停，當然前提是其他處于或接近前沿的開發者也以可驗證的方式這樣做。

有意義的減速或暫停需要多家分處多個國家、處于或接近前沿資源充沛的實驗室在相同條件下達成停止協議。它還要求各方能夠驗證其他方確實已經停止。由于 AI 系統的獨特特性，這個軍控問題中的可探測性（一個低于可驗證性的標準）要素，比其他技術困難得多。

訓練運行比導彈發射井更容易隱藏，其投入物都是通用的，而且在別人暫停時悄悄繼續的誘惑巨大，因為誰在別人停下時繼續前進，誰就可能繼承領先地位。一個可信的暫停還必須明確規定什么條件觸發它、什么條件解除它、以及由誰來裁定。

這些在原則上都未必是不可能的，世界曾經為其他復雜技術建立過核查機制（例如中導條約），但那些機制花了幾十年才建立起基礎設施和信任。我們沒有那么多時間。

相比之下，一家實驗室的單方面暫停可以立即執行，但效果要有限得多：它會改變誰是領跑者，但不會創造出當前所缺少的更廣泛的審議進程。

在未來幾個月，我們將組織政策制定者、研究者、公民社會和其他 AI 公司之間的對話，共同幫助回答本文提出的一些問題：尤其是圍繞完全遞歸自我改進以及如何創造更好的協調與審議選項。

我們會公開討論的成果。共同探究這些問題的窗口就在眼前，而 AI 公司之外的人也應該參與這場討論。

以上，既然看到這里了，如果覺得不錯，隨手點個贊、在看、轉發三連吧，如果想第一時間收到推送，也可以給我個星標?～謝謝你看我的文章，我們，下次再見。

>/ 作者：Marina Favaro、Jack Clark

>/ 投稿或爆料，請聯系郵箱：wzglyay@virxact.com