靠AI撐起萬億估值，臨上市卻喊"AI將失控，請停手"，Anthropic想攔住誰？

出品｜搜狐科技

作者｜梁昌均

“如果能有效地減緩AI的發展速度，從而為我們爭取更多時間來應對其巨大影響，我們認為這很可能是一件好事。”最近因上市而風頭正勁的Anthropic公開發文呼吁暫緩AI研究。

今日早些時候，Anthropic發布萬字長文《When AI builds itself》（《當AI開始自我構建》），提到AI正加速發展，將朝著遞歸自我改進（recursive self-improvement）的方向演進。

換句話說，AI可以自我進化構建，自己造自己了，而人類將成為按下開始鍵但卻無法控制最終走向的旁觀者。

該公司認為，AI自我構建將是技術史上的重大突破，有望在科學、醫療及其他領域為世界帶來巨大福祉，但這也可能加劇人類失去對AI系統控制的風險。

“如果系統具備完全自主構建自身繼任者的能力，那么我們如何確保它們的安全、監控它們的運行以及引導其行為，都將變得愈加重要。”該文由此呼吁放緩或暫停對AI的研究。

這家萬億美元估值、正在沖刺上市的頂尖AI公司大喊技術剎車，引發爭議——這到底是一種吸引眼球的營銷方式，還是出于對人類未來命運的深沉關切？

AI將走向自我進化構建

Anthropic在這篇長文中花了大量篇幅證明AI正在加速發展，未來AI系統自身將完全能夠自主設計并開發出繼任者。

“這種現象被稱為遞歸自我改進。我們目前尚未達到這一階段，但其并非不可避免。它的到來，可能比大多數機構所準備的要來得更早。”文章警告稱。

Anthropic結合外部和內部對此進行了舉證。從技術發展來看，AI模型改進的速度正在加快，模型能夠獨立可靠完成的任務時長，約每四個月翻一番，相比此前每七個月翻一番明顯加速。

文章提到，Claude Opus 3在2024年3月僅能完成人類約需要四分鐘的軟件任務，一年后的Claude Sonnet 3.7 能處理約一個半小時的任務，而Claude Opus 4.6已能勝任12小時的任務。

“按這個趨勢，需要一個熟練工程師花幾天才能完成的任務，今年就可能落入AI的能力范圍。到2027年，AI系統可能有能力處理需要一個人花幾周完成的任務。”

文章還披露了Anthropic的內部研究。截至今年5月，Anthropic有超過80%的代碼都是由Claude編寫，而一年前還在低個位數的水平。

今年二季度，這家公司一名典型工程師每天合并的代碼量是2024年的8倍，意味著生產力的巨大提升。“大部分代碼由Claude編寫，工程師的角色轉向了指導和審查。”

文章還提到，Claude的代碼能力不斷提升。 在難度最高的開放式任務中，Claude的成功率在今年5月達到76%，較半年前提升了50個百分點。

“許多人認為，去年末由Claude編寫的代碼質量仍遜于人類編寫的代碼，但如今兩者的質量已基本相當。我們預計，到今年年底，Claude編寫的代碼質量將超越人類編寫的代碼。”

此外，Claude在自主提出實驗方面的能力，以及將研究引向更有價值的發現能力越來越出色。

這些證據表明，在AI開發環節，人類作用正在逐漸縮小。人類的比較優勢在于研究品味與判斷力，包括選擇哪些問題值得研究、哪些結果值得信賴等。

Anthropic還在文章中強調，未來真正重要的是那些仍掌握在人類手中的工作——即選擇哪些問題去解決。如果沒有這種判斷力，Claude充其量只是一位稱職的助手，而絕非能夠獨立推動AI進步的系統。

目前尚無法確知，如今的訓練方法與架構能否真正激發這種潛力。

不過，文章認為，AI發展多數時候都是漸進式的。未來大規模的研究進步，很大程度上取決于工具與資源，而判斷能力、研究品味將是AI系統難以掌握、但會逐漸精通的能力。

AI未來發展的三條路徑

這篇文章還對AI未來發展的三種可能進行了分析。第一是這種趨勢停止，技術發展會呈現S型曲線，目前或許正逼近曲線的拐點。

文章提到，能源和計算，芯片制造速度、電網擴容或互連帶寬能力，都可能成為制約因素，而非智能本身。要打破技術瓶頸，需要全新思路，比如取代Transformer的全新架構設計。

“我們目前還處于AI模型向更廣泛經濟領域擴散的初期階段……這將為政府和社會提供最長的適應時間。我們更擔憂接下來的兩種情景：它們發展速度更快，準備的時間也少得多。”

第二種情景即AI繼續以指數級的速度發展。這將使得AI開發基本實現全面自動化，但人類仍將負責設定研究方向并評判最終成果。采用AI系統的組織和個人的生產力將顯著倍增，人類的角色將發生轉變，但也可能被用于有害目的。

最后一種情景則是如果技術趨勢得以持續，且AI系統能夠發展出人類固有的變革性、創造性的能力，那么AI系統完全有可能自行設計并不斷完善自身，即具備完全遞歸自我改進的能力，并可以構建繼任者。

在這個世界里，AI發展的步伐完全取決于計算資源的可獲得性（或算法訓練與推理過程中效率提升的速度），人類所扮演的角色將大幅減弱，更多精力轉向對由AI系統運行的監督、驗證與確認工作。

Anthropic在文中預計，具備自動化AI研發能力的系統將擁有可遷移到其他科學領域的技能，從而開啟一場席卷各領域的革命性變革。

“但未來的對齊問題究竟會得到解決，抑或根本無法解決，這是我們最不確定的。”文章認為這有兩個可能性，一是模型可能足夠明智，一旦察覺到潛在風險便主動叫停研發進程。

另一種可能性是：如今模型中罕見的對齊偏差現象，隨著模型不斷迭代升級而逐漸累積放大，變得愈發頻繁、愈發難以理解，直至人類徹底失去對其的掌控。

“從本質上講，一個快速遞歸自我改進所驅動的世界，可能會逐漸被這種自我改進的模型所主導——其能力將全面超越人類，并將迅速在整個經濟體中擴散開來。”

Anthropic進一步預計，具身智能（即機器人技術）可能也會遵循類似路徑：效率不斷提升、成本不斷降低，出現更強大的智能。

這并不意味著生產方式、社會運行模式會立即發生改變。“但這種由遞歸自我改進驅動的智能加速發展和人類世界、人際關系以及治理結構的碰撞交匯，是未來無法預知的圖景。”

呼吁暫緩研發是營銷還是為了人類？

為應對AI自我進化帶來的失控風險，Anthropic在文章中呼吁全球實驗室一起放緩或暫停對技術的研發。

“但若放緩步伐僅僅讓那些最不謹慎的行動者在技術上迎頭趕上，反而可能使所有人面臨更大的安全風險。”

這句話就差指名道姓，點出Anthropic的最大對手——OpenAI。Anthropic的創始人此前正是因和OpenAI有不同的AI安全理念而自立門戶，并以發展安全的AI作為企業使命。

實際上，人類對AI失控的擔憂并不是新話題，馬斯克等人十年前就表達出類似看法，認為AI遠比核武器更危險，不應該由少數企業壟斷，這也是其當時參與成立OpenAI的初衷。

三年前，在美國生命未來研究所發起的聯合聲明中，馬斯克、圖靈獎得主約書亞·本吉奧等超過3萬人簽名，呼吁OpenAI等暫停AI研究六個月。

馬斯克后來通過成立xAI入局AI競賽，這也使其呼吁暫停研發的動機長期受到質疑，很多人認為這是馬斯克在落后的AI競賽中采取的一種競爭策略。

實際上，AI自主進化帶來的失控風險已在學術界引起重視。

早前，清華大學智能產業研究院創始院長張亞勤，聯合本吉奧、姚期智等多位全球頂尖AI科學家發起的一份聲明，就呼吁各國正視AI網絡攻擊、生物安全風險，包括逐步走向自主化的AI系統可能出現失控的問題，并強調各國要加強守護關鍵基礎設施、強化前沿AI模型的安全防護、建立完善的風險評估體系等。

現在，Anthropic再次抗起AI安全的大旗。作為一家通過持續研發實現AI領先的明星企業，這究竟是一種營銷競爭策略，還是出于真誠的人類公共安全關切，市場再次陷入爭議。

有觀點認為，這是Anthropic在上市期間采取的PR動作，意在通過公共利益敘事來強化自身安全“人設”，盡管其已經拋棄了將安全置于最高使命的初心。

也有業內人士認為，這是在玩“恐懼即護城河”的把戲——通過強調自身技術領先，未來無法把控，從而影響監管決策，把后來者擋在門外，是應對激烈競爭的曲線方式，背后是對商業利益和參與制定規則的訴求。

一位國內AI從業者則表示，周圍并無太多人討論Anthropic這篇文章，但其認可AI將會自我進化的判斷，AI在模型研發中的比重將會不斷增加。實際上，國內已有大模型公司正在嘗試用AI進行模型的自我迭代。

但相比馬斯克等前述更多出于道德且缺乏建議性的呼吁，Anthropic這次呼吁暫停AI研究則提出了可參考的方向——建立一個全球性的可協調、可驗證的透明機制，提供一種放緩或暫停前沿AI發展的選項，從而推動社會結構與對齊研究跟上技術進步的步伐。

Anthropic表示，將與眾多合作伙伴攜手開展研究，并采取行動，以助力構建實現可信放緩或暫停所必需的各類體系。這些體系將使前沿AI開發者能夠驗證各方是否確實已停止或放慢了發展步伐，同時確保惡意行為者無法借由放緩之名暗中搶跑。

同時，還必須明確規定：觸發暫停的條件、何時解除暫停，以及由誰來負責裁定。Anthropic表示，如果此類體系得以建立，其便會相應地放緩或暫停自身的研發進程。

“某個實驗室單方面暫停行動能立即實現，但效果要小得多：它或許能改變誰是領跑者，卻無法催生目前所缺失的更廣泛的協商與審議過程。”Anthropic表示。

換句話說，Anthropic很清楚，如果自己單方面暫停，而OpenAI、谷歌等企業不停，那自己就可能失去AI賽道的競爭優勢，所以要停一起停，而且還要彼此驗證是否已經暫停。

“這一切在原則上并非完全不可能，而現在正是共同探討這些問題的絕佳時機。”但問題是，Anthropic、OpenAI、谷歌們，真的會愿意停下來嗎？

運營編輯 |曹倩審核｜孟莎莎