Anthropic聯合創始人預警：AI正顛覆世界，五大領域政策必須重寫

作者：Dario Amodei

在《指環王》的一個支線情節中，兩個霍比特人試圖喚醒樹須——一棵睿智但行動遲緩的樹人——來保衛他的森林免遭大軍砍伐。問題在于，樹須的行動速度與霍比特人截然不同。他跟另一棵樹打個招呼都要花上一整天，要想讓他和同伴們快速行動起來幾乎不可能。

人工智能與我們的政治體制之間的交匯，頗有幾分霍比特人與樹須的味道。AI正以閃電般的速度發展——僅僅四年時間，AI模型就從幾乎寫不出一行連貫的代碼，發展到能撰寫各大AI公司的大部分代碼。在生物學、物理學、數學、金融、法律、翻譯以及許多其他領域，也取得了類似的進步。AI的縮放定律（預測隨著算力增加，通用認知能力呈指數級增長）如今已有超過十年的實證數據支持。如果這些縮放定律再持續一兩年，我們很可能會得到我所說的“強大AI”，即“一個數據中心里的天才之國”。

相比之下，政策——尤其是立法——則進展非常緩慢。這通常有充分的理由：政府擁有重大權力，不急于使用這些權力往往是最好的選擇。但這種時間尺度上的不匹配依然令人非常痛苦：在國會需要耗費數年才能采取行動的這段時間里，AI可能會從一個有趣的玩具，發展成一個完整的天才之國。

自AI成為一項重要的商業技術以來的過去幾年里，我們這些希望負責任地對待它的人面臨著一個兩難境地。我們能清楚地看到指數級發展的方向：我們強烈懷疑，幾年之內，AI就會成為少數從根本上重塑整個政策格局的技術之一，就像核武器重塑地緣政治、工業革命徹底重塑了每一個經濟和社會問題一樣。但對于那些只關注當時AI能做什么的人來說，它看起來像是一項更為平凡的技術——也許類似于最新的消費應用或加密貨幣。很難說服大多數政策制定者和公司相信，除了自由放任的態度之外，其他任何做法是有道理的。平心而論，AI的深遠影響尚未顯現，而且我們也不確切知道這些影響會以何種形式呈現，這使得即使有行動的意愿，也很難設計出正確的政策。

鑒于這種情況帶來的限制，許多安全倡導者（包括Anthropic）迄今為止一直專注于倡導那些能夠保留選擇空間、為未來快速反應做好準備、或者讓世界更好地了解即將到來的事情的政策行動——比如透明度立法、芯片出口管制，以及關于AI對勞動力影響的數據收集。這些還不夠，但它們感覺是當時唯一可行的做法。

然而，在過去的幾個月里，AI驚人力量及其風險的證據已變得不可否認。最具象征意義的例子或許是Claude Mythos Preview，以及前沿模型確實給網絡安全帶來非常現實的風險，可能造成金融部門、關鍵基礎設施和國家安全的混亂。Mythos Preview攪亂了全球網絡安全格局。但其更廣泛的意義在于，它毫無疑問地證明，AI模型現在是具有全球和國家戰略意義的工具。Mythos級模型帶來的網絡風險不會是我們必須面對的最后一種風險。我相信生物風險可能很快隨之而來，而嚴重的AI自主風險可能也不會太遠了1。

現在，我們全球共同需要啟動一個緩慢而陳舊的政策機制，來處理從這里開始將以驚人速度復合增長的風險和機遇。許多政策制定者表現出更愿意采取行動的態度，看到我們的同行逐漸接受我們過去幾年一直倡導的立場，這令人鼓舞。這很好，但我擔心這些早期行動與AI的快速發展至少有一年的脫節。這篇文章試圖彌合這一差距：闡述指數級發展現在處于什么位置，以及應對當前形勢所需的集體行動。

我將聚焦于五個需要在AI時代重新構想的長期政策領域：監管與公共安全、宏觀經濟與稅收政策、科學創新、國家與社會之間的權力平衡，以及地緣政治。由于Anthropic是一家美國公司，我將主要從美國政策的角度來談，但我的大部分建議也與世界其他地區相關。

伴隨這篇文章，Anthropic還將發布一份關于前沿模型測試的立法提案和一份關于工作崗位流失的政策框架，我們打算為此提供大量的資金支持。我們計劃在未來做更多的事情，但我們視這些為表明我們認真態度的第一步。

1. 監管與公共安全

每一項新技術或新產品都有有益和有害的用途，因此在創新與安全之間存在兩難困境。對產品進行監管可以降低其造成傷害的可能性，并在改善全球人民生活方面發揮了重要作用，但它也可能直接削弱其益處，并間接抑制創新。還有一個哈耶克式的觀點，即監管者常常缺乏做出復雜經濟權衡正確決策所需的信息，因此監管往往既低效又繁瑣。一個相關的概念是科林格里奇困境，該困境指出，一項技術的影響往往難以預見，等到容易管控時為時已晚。

這些動態在2023-2024年對AI來說顯得非常突出。Anthropic很清楚，AI未來可能有能力制造出威脅數百萬人生命的生物武器，或者在極端情況下甚至可能威脅到人類自身的自主不當行為。不太清楚的是風險將以何種確切形式出現，如何最好地測試和緩解它們，以及它們在實踐中將如何發展。因此，提前制定的立法有很大風險最終無效——產生無謂或低價值的合規要求，同時遺漏了實際風險的最關鍵來源2。

最終，我們得出結論，當時正確的做法是透明度。AI模型的開發者必須披露他們的安全程序、對模型進行的測試，并報告任何嚴重的安全事件，以便公眾和科學界能夠在風險出現時獲得更好的可見性。當風險變得更加確定、形態更加清晰時，通過透明度獲得的證據就可以用來設計精準針對最令人擔憂的風險的明智立法。因此，在2025年，Anthropic支持了透明度立法，幫助通過了加州的SB 53法案、紐約州的RAISE法案、伊利諾伊州的SB 315法案（2026年初），并倡導在聯邦層面建立透明度標準。

然而，現在風險顯然已經到來。是時候超越透明度，對AI進行更嚴肅、更具約束力的監管了。我相信，至少在指數發展的當前階段，最好的類比是汽車、飛機或藥品——這些對現代經濟至關重要的強大技術，但如果設計或操作不當，可能造成大量人員傷亡。因此，我認為我們應該效仿聯邦航空管理局等機構來構建AI監管。前沿AI模型，就像飛機一樣，應該被要求通過技術測試和審計，如果它們不符合高安全標準，其發布應被阻止或撤銷，以維護公共安全。我很高興看到特朗普政府的行政命令朝著讓政府在AI領域發揮更大作用的方向逐步邁進，盡管Anthropic的提案建議采取進一步行動。我們的提案包括以下要素：

• 超過一定算力閾值的模型，必須由合格的第三方對其在四個特定領域的風險水平進行強制性測試：網絡安全、生物武器、AI系統失控，以及可能加速其他風險的自動化研發。
• 如果根據第三方評估，認定該模型存在不可接受的風險，政府應有權阻止或阻止其部署。這項權力必須限定在上述四個特定風險范圍內，并且必須有防止政治偏袒或武斷決定的保護措施。
• 第三方評估可以由一個政府機構完成，也可以由一組經政府授權并接受檢查、依據特定標準評估模型的私人組織完成。
• 開發先進AI模型的AI公司必須擁有強大的安全標準來保護其模型權重，應定期進行紅隊測試和滲透測試，并應與政府合作防御重大威脅行為者。
• 在四個關鍵領域發生的安全事件必須及時報告。

或許很快，可能會出現一個時刻，我們需要超越這一點，那時最強大的AI系統看起來不那么像飛機或汽車，而更像可武器化的核材料——對人類的威脅，而不僅僅是“對公共安全的威脅”。如果出現這種情況，我們可能需要比我列出的更為激進的監管措施3。但正如在2024年很難針對性地應用我現在建議的措施一樣，我認為我們不應該操之過急。我們應該為當前正在出現的危險設計政策，同時為隨著新危險出現而更快地加強應對措施奠定基礎。

2. 宏觀經濟與稅收政策

政府長期以來一直面臨如何在鼓勵經濟增長的同時，提供重要的公共服務并確保最不幸的人得到照顧的問題。這些辯論的一個重要的前提是，經濟增長是脆弱且難以實現的——雖然減少不平等可能帶來重要好處，但這必須與增稅或赤字帶來的經濟拖累進行權衡。

我懷疑強大AI可能會顛覆這一假設。如果AI能夠在大多數認知任務上做得比人類好得多，那么它很可能通過加速科學、技術和運營效率，帶來極其快速和強勁的經濟增長。AI構建更好AI的迭代能力可能會進一步加速這種增長。但出于完全相同的原因，AI也可能比以往的技術更廣泛地替代人類的認知能力，同時以前所未有的速度改變經濟。因此，有理由認為，AI可能比以往的技術對勞動力市場造成更大的破壞，并且可能是更持久的破壞。我們面臨著陷入一個經濟權衡旋鈕卡在“超增長、超不平等”設置上的世界的風險，而且這個旋鈕可能很難從這個設置上松開。在這個世界上，關鍵的挑戰不是激勵增長，而是找到一種讓每個人都能分享利益的方法。

在這篇文章討論的主題中，宏觀經濟和持久的勞動力流失問題可以說是最受公眾關注、也最容易被誤解的，所以我希望非常清楚地說明兩點。

第一，持久的工作崗位流失是不可取且危險的，我們應該盡一切努力最小化或防止它，而不是促成它。我在采訪和文章中對工作崗位流失提出警告，是因為我希望政策制定者和私營部門都有最好的機會來適應和回應，而不是因為我試圖成為一個“末日先知”。作為一家公司，Anthropic總是盡其所能與客戶合作，尋找創造性的新用例和新的收入來源，讓他們能夠利用現有勞動力做更多事情，而不是只關注成本節約。我們也不斷嘗試思考新的人機交互范式，讓人類在AI系統進步的同時，能在與AI協作中扮演盡可能積極的角色。更廣泛地說，讓全世界盡可能多地以新方式嘗試使用AI是有價值的，因為這是社會發現新的工作配置方式的途徑。我確實認為AI將帶來許多新的經濟機會。我曾預測AI將使個人能夠創建價值數十億美元的公司，我們已經看到只有幾個人的團隊建立了收入數億美元的企業。但同時，我們應該認識到，盡管我們付出了所有努力，AI仍有可能導致顯著的、持久的失業——這可能是該技術及其廣泛復制人類認知的方式的內在屬性?。

第二，對AI驅動的失業問題的任何回應，都需要解決兩個問題：既需要在經濟上為每個人提供保障，又需要讓人們找到意義、目標和能動性。后者最終更為重要，它取決于關于社會如何組織、人們應該追求什么、以及什么構成美好生活的深層問題。我實際上非常樂觀地認為，即使在一個AI在各方面都比所有人都強的世界里，人類仍然可以過上有深度目標的生活，并努力建造令人敬畏和美麗的事物?。但這是需要整個社會共同解決的問題，不是政策可以直接處理的。政策最有幫助的是為我們爭取時間來做這項工作，通過減緩失業和為可能受影響的人提供經濟支持。

本著這種精神，一些可能有幫助的關鍵政策干預措施包括：

• 測量與追蹤。僅僅收集和分析數據很容易被認為不足以應對問題的規模，但如果我們不能準確衡量實地發生的情況，我們不太可能制定出好的政策。Anthropic運營一個關于人們如何使用Claude的經濟指數已經近一年半了，但政府可以訪問我們無法獲得的數據類型，并且可以大幅擴展其經濟統計數據，以更仔細地追蹤AI導致的失業。
• 促進就業的激勵措施。廣泛的促進就業政策激勵措施可以幫助減緩或減少失業，包括：當人們不得不從事較低薪工作時給予補償的工資保險政策?、鼓勵雇主不裁員的留任稅收優惠、勞動力培訓補助金，或促進雇主與雇員匹配以加速勞動力市場適應速度的基礎設施。雖然哪種干預措施最好取決于AI帶來何種勞動力流失，但我們應該坦然接受這些政策可能帶來的成本和市場低效，特別是因為它們很可能會被AI驅動的生產力增長所抵消。
• 長期宏觀經濟支持。如果AI驅動的勞動力流失規模很大，并永久性地壓低了勞動力需求，那么很可能需要超越單純的激勵計劃，為相當一部分勞動力提供長期的收入支持。全民基本收入等機制可以通過對相關公司征稅或提高資本利得稅來資助。全民資本賬戶提供了另一種工具。總的來說，快速的經濟增長應該為共享繁榮創造稅收基礎。

我沒有提到的關于AI的一個常見經濟擔憂是數據中心，特別是它們可能推高能源價格。我的觀點是，AI公司應該為此買單——Anthropic已經做出這樣的承諾——但我認為公眾對數據中心的敵意在很大程度上是更廣泛的對AI經濟焦慮的象征或出口。我們就這些更廣泛的經濟問題進行直接的社會討論，并真正為其提供令人信服的解決方案，這一點很重要，否則它們很可能會像數據中心那樣間接地表現出來。

3. 加速AI的積極影響

正如我們必須努力平衡AI本身的創新與安全一樣，我們也必須努力平衡那些可能被AI加速的技術，如生物醫藥、能源或材料科學。但是，雖然AI本身可能會迅速出現我們前所未有處理經驗的新挑戰，但被AI加速的其他領域可能會遇到一個非常不同的問題：為較慢的創新速度而設計的監管體系，尚未準備好應對AI將帶來的大量新產品和進展。AI還可能使這些下游技術更安全、更可預測，從而違背了食品和藥物管理局等監管機構的懷疑假設。

因此，對于AI的下游應用——與AI本身相比——我更擔心的是監管機構拖慢進展，而不是未能應對重要風險。我們最不希望看到的是，AI的風險日益凸顯，而其益處卻被延緩。因此，盡快就這個問題采取行動至關重要。

問題及其解決方案在每個科學、商業和技術領域都會以不同的方式顯現，所以我將聚焦于一個例證性領域：生物醫學創新。這既因為它可能是AI最大人道主義利益的來源，也因為這個領域的監管特別復雜。我們不知道AI將如何加速生物醫學創新，但它似乎很可能：

• 極大地增加進入監管管道的候選藥物的數量；
• 由于更好的優化以及可能對基礎生物學有更好的理解，增加新藥的效應量并改善其安全性；
• 為從未成功治療過的疾病開發候選藥物；
• 迅速創造出全新的療法形式，類似于過去幾十年抗體、肽和細胞療法成為新的治療類別。

其中一些進展自然會加速監管時間線，而無需結構性改變。效應量更大的藥物可以導致更小、成本更低的臨床試驗，并啟動加速批準的機制。但當前的監管體系旨在應用高水平的審查和多個測試階段，其假設是候選藥物通常無效，且即使有效也常常存在嚴重的安全問題。對于FDA和歐洲藥品管理局來說，候選藥物通過監管管道通常需要7-8年，部分原因就在于這些悲觀的假設。如果不進行改革，AI只會堵塞或超載這個系統。

顯然，我們不希望改革導致出現一批假冒偽劣藥物或廣泛的安全事件。但一些相對簡單的改革可以使FDA、EMA及類似機構更能適應AI驅動的快速科學加速（如果發生的話）。

臨床過程中的許多步驟，以前需要昂貴且緩慢的實驗，可能很快就能通過AI模擬或分析來完成。監管機構現在就應該考慮制定標準，明確接受這些方法需要什么條件。這意味著一旦這些方法奏效，就可以迅速被采納，而不是在很長一段時間內繼續要求進行不必要的測試。可能適用的領域包括：

• 基于AI的藥效學和藥代動力學建模；
• 預測毒理學以避免多物種動物毒理學試驗的需要；
• 更精確的劑量選擇，以減少試驗中對大劑量范圍的需求；
• 通過分析大數據集進行生物標志物驗證；
• 臨床試驗中的合成對照臂，以減少招募更多參與者的需要；
• 開發替代終點。

除了這些具體例子，機構還應考慮更激進、更靈活的加速批準機制。如果我對AI的預測是正確的，那么很快就會出現許多效果出奇好的干預措施，監管體系應該準備認真對待它們，而不是采取過度懷疑的姿態。

生物醫學加速應該會大幅增加AI的益處，但值得注意的是，它也可能有助于降低AI的風險。改革生物醫學審批可能有助于生物防御，而AI驅動的生物醫學進步也可能改善心理健康，從而對社會產生穩定作用。

4. 國家與公民自由

每一個政府體系都必須面對國家權力及其限制的問題。國家保護其人民免受內外威脅，具有合法且通常關乎存亡的利益。但賦予國家過多權力則是通往暴政的道路。現代民主國家在很大程度上成功地管理了這種平衡，但即使在最好的時期，這也是一種不安的平衡。實施這種平衡需要幾個世紀以來建立的大量法律和憲法機制——例如美國的第一、第四和第五修正案、《地方保安隊法》、《外國情報監視法》等等。

AI有可能打破這種平衡，同時極大地提高其風險。但如果我們迅速反應、迎接挑戰，我們可以利用AI創造一個比以往任何時候都擁有更強大、更持久的自由保障和更好的抵御威脅能力的世界。

落入壞人之手的強大AI可能成為專制統治的終極工具，而我們現有的法律和憲法保護措施并不完全具備應對這一威脅的能力。從根本上說，智力在世界上帶來的巨大權力回報，加上AI快速發展的步伐，為各種危險行為者突然奪權創造了完美風暴?。

危險可能采取各種具體的技術或操作形式，但它們都有一個共同點：AI可能突然賦予巨大的權力，同時繞開現有的民主監督機制。一個今天聽起來像科幻小說的全自動無人機軍隊，未來可能會服從非法命令，讓政府單方面鞏固其權力；而受過專業訓練的人類更可能反對這種非法指令。一個專注于監控的AI可以大規模分析廣泛可得的信息，并利用它來推斷每個公民最私密的生活細節——這是當前公民自由法律未曾設想的技術能力。所有這些都可能非常迅速地或秘密地發生，因此，主動加強民主國家對自由和公民自由的承諾非常重要。

以下是一些我們應該考慮的政策思路：

• 為完全自主武器制定可靠的問責規則。自主武器，特別是任何協調或指揮它們的自主系統，應該被要求回應憲法和指揮問責機制，而不是盲目服從命令。這可能意味著一個設計合理的法律審查小組或司法部門掌握著“關閉開關”，或者這些系統本身在本質上被訓練來尋找并回應合法的監督機構，或者兩者兼有。
• 禁止在國內使用完全自主武器。雖然為了抵御外國對手，使用完全自主武器有合理的必要性，但沒有理由將它們用于對付美國人。軍方在國內行動的能力已經有一些限制，但這些武器最好也在執法中被禁止。
• 堵住批量收集/數據經紀人的漏洞。根據現行法律，美國人分享給私營公司的數據可以被購買并用于國內監視和執法中的批量分析。這個隱私保護上的漏洞早于AI，但AI將通過使對此類數據的批量分析比過去更具揭示性和有用性，而大大增加其風險。這個漏洞應該被堵上。
• 在政府不利行動中，公眾獲得AI建議的權利。作為一個普遍原則，任何成為政府不利行動主體的個人或組織，都應該能夠獲得至少與政府在該特定行動中被允許使用的AI同等能力的AI。這意味著不讓政府獲得不公平的優勢，從而實質上削弱公民的合法權利。這可以作為對《行政程序法》、正當程序保護或第六修正案中法律代表權的延伸或解釋來補充。

最后，值得注意的是，在AI驅動的權力奪取方面，政府并不是我們唯一應該警惕的實體。在歷史上的不同時期，公司變得足夠強大，以至于能夠俘獲國家或采取準國家特征。AI很快就會變得如此強大，以至于我擔心它不能安全地被完全托付給政府或公司，必須有針對彼此的制衡。

監管是約束公司的一種方法，但AI公司擁有比典型私人實體更多的權力分離和問責制也很重要。Anthropic的長期利益信托基金就是這樣一個結構，業界應該繼續探索更進一步的機制。找到正確的平衡——讓公司和政府都對其權力有意義的制衡——至關重要。

5. 確保民主國家的領導地位

根據最近在互聯網和電信領域的經驗，人們常常本能地從地緣政治角度將新技術視為貿易政策的工具，目標是“將我們的技術棧傳播到世界各地”。但我堅信，AI的意義要深遠得多，它重置了整個棋局，所有未來的地緣政治戰略都必須圍繞它來制定——就像核武器一樣，甚至可能更甚。

如果AI真的很快就會成為“一個數據中心里的天才之國”，或者任何接近于此的東西，那么AI很可能成為任何國家軍事和經濟力量的主導來源。在一個擁有1億天才的虛擬國家里，可以分配1000萬用于軍事戰略，1000萬用于無人機制造，1000萬用于武器研發，1000萬用于情報收集和分析，1000萬用于一般科學進步，等等。一個擁有強大AI的國家面對一個沒有AI的國家——甚至面對一個在AI方面落后3年的國家——可能相當于一支二戰海軍陸戰隊面對一支中世紀劍士軍隊。

此外，如果強大AI能夠實現更深層次且可能是永久性的專制壓迫形式，這就使得世界上最有影響力的國家是民主國家變得更加重要——或者至少存在防止AI驅動的壓迫的強大保護措施。這也增加了采取重點地緣政治戰略的緊迫性。

民主國家應該尋求形成一個全球聯盟，核心是按照其共同價值觀構建AI，通過使成為聯盟一部分變得越來越有吸引力、而置身其外變得越來越沒有吸引力，來迭代地試圖吸引世界其他國家加入。該聯盟應該是第1至第4節討論的AI政策思路的協調國際化，再加上一項努力，即通過聯盟內部共享并拒絕聯盟外部獲取來鎖定構建AI所需的關鍵供應鏈。一些原則和運營目標可能包括：

• 管理AI供應鏈。可信聯盟的成員應相互自由共享芯片和半導體制造設備，同時合作阻止對手獲得。
• 協調應對AI的風險。第1節中描述的應對生物、網絡安全和自主風險的政策，如果能在國際上協調，將更加有效。這意味著公司可以遵守兼容的標準，監管機構可以相互學習如何最好地衡量和緩解這些風險。執法和情報機構也應該更緊密地合作，追蹤和破壞濫用威脅，例如恐怖分子利用AI制造生物武器的企圖。
• 分享AI的益處。貿易和監管政策可以用來促進AI的經濟利益在聯盟內部更快地傳播，分享關于如何加速創新的經驗教訓。協調有益的部署方法有助于將AI的益處帶給發展中國家。例如，醫療審批制度的協調可以導致對AI賦能的藥物進行更快更好的測試和批準。
• 共同防御。聯盟中的國家應共同努力，利用AI相互防御，并防御來自對手的AI。聯盟應共同確保AI主導的網絡防御、AI驅動的無人機、AI驅動的制造業、機密AI計算、AI驅動的研發以及AI驅動的情報收集的充足生產。
• 拒絕AI驅動的壓迫。聯盟成員必須拒絕我在《技術的青春期》中警告過的高科技、超壓迫性的、AI驅動的暴政，并且必須具備類似我在第4節中描述的保障措施。
• 宏觀經濟合作。就業或工作穩定性的危機，像任何其他經濟危機一樣，可能會跨越國界傳播。因此，各國在共同努力協調宏觀經濟支持和穩定政策方面具有共同利益，以抵消任何就業影響。

目標應該是使聯盟成員資格盡可能有吸引力——并讓留在聯盟外的代價變得清晰。該聯盟將建立在主權國家之間的協調基礎上，每個國家對其自身事務保持完全權威。它可以迭代發展，從意識形態一致的民主國家開始，并逐步歡迎那些不太自然一致但準備滿足聯盟標準以換取成員資格巨大利益的國家。理想情況下，整個世界最終都會加入。但即使這不可能，建立聯盟也能使民主國家處于最有利的地位，以遏制和超越那些仍然致力于壓迫的政權。

機會之窗

AI的指數級進步帶來了緊迫性和變化的速度，而通常的政策制定過程難以應對。但它也創造了一個獨特的機會之窗。AI風險的清晰且當前的證據、對AI創造經濟價值和造成經濟混亂潛力的初步體驗，以及公眾對AI放任自流方法的強烈反對，這些因素結合在一起，創造了一個政策制定者異常愿意接受前瞻性行動的局面。樹須和他的森林正在蘇醒。

在AI行業圈子裡，流行將這種情況視為公關問題：認為AI需要“更好的營銷”。我完全拒絕這種框架。人們擔心AI，是因為他們正確地認識到AI的風險是真實的，而不是因為AI的CEO們不夠樂觀。我相信，作為AI領導者，我有責任繼續對這些風險保持透明，而公眾對這種透明的擔憂正是民主問責應有的運作方式。關鍵的挑戰是將這種擔憂集中在建設性的解決方案上，而不是讓它淪為無形的憤怒和暴力。

我對找到解決方案持樂觀態度，因為從解決失業問題，到模型發布前測試，到芯片出口管制，再到能源使用等其他AI相關政策問題，許多這些問題在各個政治派別中都具有常識性的吸引力。存在一個令人向往但現實的未來世界，在這個世界里，一個廣泛的、由對AI帶來的挑戰的直接認識所驅動的無黨派聯盟，導致明智和前瞻性的政策被比平常更快地采納。我們越早這樣做，就能越早共享AI令人難以置信的益處。

我要感謝Allan Dafoe、Mariano-Florentino Cuéllar、Richard Fontaine、Buddy Shah、Vas Narasimhan、Matt Yglesias、Nick Beckstead、Jason Matheny、Brad Carson以及Anthropic的許多員工，感謝他們對本文草案的評論和反饋。

腳注

1 我在《技術的青春期》一文中討論了生物和自主風險等。Anthropic Institute還在《當AI構建自身》中發布了一些關于遞歸自我改進或模型能夠自主構建更好模型可能性的初步內部數據。

2 這種現象并非理論上的：我們已經在自己的自愿治理框架中多次觀察到這一點。如果我們為未來的AI模型設定固定或僵化的安全要求清單，一個非常可能的結果是，最終證明無關緊要的要求消耗了我們95%的合規努力，而同時我們發現一些最大的風險來源根本不在我們的清單預期之內。自愿框架可以改變和調整，但立法更難做到這一點。我在關于SB 1047的兩封公開信中嘗試應對這一困境，該法案試圖應對災難性風險，出于上述原因，我對此心情復雜。

3 例如，真正嚴重的生物風險可能比網絡風險更難管理，因為攻擊者相對于防御者具有強大優勢，而且災難的嚴重性可能大得多。

? 參見《技術的青春期》以獲取更詳細的分析，說明為何導致其他技術中勞動力市場快速復蘇且缺乏持久失業的邏輯可能不適用于AI，特別是為何像杰文斯悖論或比較優勢這樣的常規適應機制可能會被技術的發展速度所壓倒。

? 例如，人們仍然畢生致力于下棋，或圍棋，或登山，并因這些活動而受到尊敬，盡管所有這一切機器都能做得更好。

? 這本質上是給人們一個額外的激勵，讓他們遷移到新工作并開始為新職業階梯接受培訓，即使短期內可能會很痛苦，如果新工資較低，就支付他們新舊工資之間的差額。

? 更多關于此主題的內容，請參見《技術的青春期》。