圖靈獎得主迪菲：機(jī)器智能2050年統(tǒng)治世界，人類得抓緊了

圖靈獎得主Whitfield Diffie在智源大會演講。

來源：智源社區(qū)?

● ● ●

人工智能領(lǐng)域最火熱的研究焦點(diǎn)正從大模型帶來的語言、感知和生成能力，進(jìn)一步走向能夠規(guī)劃、調(diào)用工具、連續(xù)執(zhí)行并影響真實(shí)世界的 AI Agent。這個(gè)轉(zhuǎn)折讓一些問題變得尖銳：比如，智能體應(yīng)當(dāng)被怎樣約束。

2026年6月12日，在北京舉行的智源大會上，圖靈獎得主惠特菲爾德·迪菲（Whitfield Diffie）現(xiàn)場作了題為《護(hù)AI 智能體之安｜御 AI 智能體之險(xiǎn)》的主旨演講。他沿著現(xiàn)代密碼學(xué)和信息安全的脈絡(luò)，追問會行動的機(jī)器如何獲得可信邊界。

迪菲是現(xiàn)代公鑰密碼學(xué)的先驅(qū)。1976年，他與馬丁·赫爾曼（Martin Hellman）共同發(fā)表《New Directions in Cryptography》，提出公鑰密碼與數(shù)字簽名思想，為開放網(wǎng)絡(luò)中的安全通信、身份認(rèn)證和數(shù)字信任奠定基礎(chǔ)。2015年，兩人因此獲得圖靈獎。此后，迪菲還曾在Sun Microsystems、ICANN等機(jī)構(gòu)從事安全與密碼學(xué)相關(guān)工作，并長期參與密碼學(xué)公共政策討論。

“今天我想從兩個(gè)詞開始：AI，以及Agent。”

在報(bào)告中，迪菲沒有急于給出技術(shù)方案，而是首先回到“人工智能”“Agent”“信息安全”等概念本身。他說，人工智能這個(gè)詞從一開始就帶有爭議。我們可以討論人的智能、動物的智能、機(jī)器的智能，甚至討論更具想象力的智能形態(tài)；但真正困難的地方在于，“智能”并不是一個(gè)容易被定義的對象。它與意識、自主性、創(chuàng)造性、表達(dá)能力、主動性、學(xué)習(xí)能力乃至“心智”等概念彼此糾纏，這些詞聽起來都“有點(diǎn)像我們自己”。

“我們追求的到底是什么？”AI的經(jīng)典領(lǐng)域包括問題求解、語言處理、博弈、機(jī)器控制、數(shù)學(xué)、視覺等。它們看起來都與人類智能有關(guān)，但計(jì)算機(jī)往往并不是用人類的方式完成這些任務(wù)。換言之，AI不是簡單地把人腦復(fù)制到機(jī)器中，而是讓機(jī)器以自己的方式完成復(fù)雜而有用的事情。

迪菲將實(shí)踐中的AI概括為“讓計(jì)算機(jī)完成復(fù)雜、有用、看起來像人類行為的事情”。

“計(jì)算機(jī)做這些事情的方式，常常與人類不同。”AI的目標(biāo)未必是復(fù)制大腦，而是創(chuàng)造具有未知能力的機(jī)器。沿著這條線索，他區(qū)分了兩種不同方向：一種是讓機(jī)器做復(fù)雜而有用的事，至于它怎樣做到，并不一定要模仿人；另一種則是反向工程人腦，試圖理解人類如何完成認(rèn)知任務(wù)。今天大會所面對的AI Agent浪潮，顯然更多屬于前者：我們正在讓機(jī)器獲得越來越多外部工具、上下文和執(zhí)行接口，使它們在真實(shí)環(huán)境里完成任務(wù)。

問題因此也隨之改變：當(dāng)機(jī)器能力不斷擴(kuò)展，我們不能只問它是否“聰明”，還要問它是否具有主動性，以及這種主動性是否被清楚地約束。

“Agent與普通程序或聊天機(jī)器人不同。普通聊天機(jī)器人更多是在回應(yīng)提問，而Agent具有主動性，會根據(jù)目標(biāo)采取行動。”

迪菲對Agent的界定：具有主動性，并能夠采取行動，而不只是回應(yīng)提示。

在人工智能領(lǐng)域中，AI Agent并不是一個(gè)全新的想法，反而是一個(gè)非常古老的話題。人類對“會行動的機(jī)器”的想象，可以追溯到幾個(gè)世紀(jì)以前。1770年的“機(jī)械土耳其人”國際象棋機(jī)器后來被證明并不真正具備自主性，因?yàn)槔锩娌刂嫒似迨郑坏@個(gè)故事恰恰說明，人們很早就渴望制造一種看似有判斷、有行動能力的機(jī)器。

今天，不同之處在于，這一想象正在通過大模型、工具調(diào)用、自動化系統(tǒng)和聯(lián)網(wǎng)軟件變成工程現(xiàn)實(shí)。過去的“會行動的機(jī)器”可能只是機(jī)械表演，今天的AI Agent卻能夠讀寫文件、檢索信息、調(diào)用API、運(yùn)行代碼，甚至在復(fù)雜工作流中連續(xù)規(guī)劃和執(zhí)行。它越有用，就越需要權(quán)限；它越接近真實(shí)工作，就越可能影響真實(shí)世界。

“因此，我們必須重新看待安全。”

迪菲將當(dāng)前的軟件安全概括為一種“反饋式”的路徑：先寫程序，程序失敗，再修補(bǔ)它。這種方式很像控制論意義上的反饋循環(huán)，依賴故障、攻擊、補(bǔ)丁和再部署來逐步改善系統(tǒng)。他認(rèn)為，這種方式仍是今天計(jì)算機(jī)安全的主流現(xiàn)實(shí)，但它難以提供足夠高的保證。尤其當(dāng)AI Agent開始以機(jī)器速度采取行動時(shí)，“先失敗、再修補(bǔ)”的成本會變得更高。

面向AI Agent，真正值得追求的是更形式化的安全方法，讓我們能在程序發(fā)布和運(yùn)行之前，對其行為邊界獲得更強(qiáng)的確信。也就是說，安全不應(yīng)只是在事故之后加一層補(bǔ)丁，而應(yīng)在系統(tǒng)設(shè)計(jì)階段就回答：這個(gè)Agent能看到什么？能調(diào)用什么？能修改什么？出現(xiàn)異常時(shí)如何被限制？它與其他程序、用戶和數(shù)據(jù)之間的邊界在哪里？

迪菲對比兩種安全路徑：反饋式修補(bǔ)與更高保證的形式化方法。

密碼學(xué)是信息安全中“最成熟”的部分之一。無論是美國的AES，還是中國的SM4，優(yōu)秀的密碼系統(tǒng)往往可以穩(wěn)定使用多年。原因之一在于，密碼算法通常相對小巧，可以被深入研究、分析和驗(yàn)證。一個(gè)對稱加密算法可以在很少的代碼中實(shí)現(xiàn)，其安全性雖然仍然依賴數(shù)學(xué)假設(shè)和工程細(xì)節(jié)，卻能夠被社區(qū)反復(fù)審查。

但現(xiàn)實(shí)世界中的軟件并非如此。編譯器、操作系統(tǒng)、應(yīng)用程序，以及未來大量運(yùn)行的AI Agent，規(guī)模遠(yuǎn)大于傳統(tǒng)密碼算法，也遠(yuǎn)超人類逐行驗(yàn)證的能力。安全難題不再只是證明一個(gè)小算法是否穩(wěn)固，而是理解龐大軟件系統(tǒng)在無數(shù)狀態(tài)、權(quán)限、輸入和交互中的行為。

迪菲因而提出一個(gè)重要判斷：我們期待AI自身能完成這類復(fù)雜驗(yàn)證與測試工作。AI可以在發(fā)布前更充分地尋找漏洞、生成測試、探索邊界條件，甚至輔助形式化驗(yàn)證。換句話說，AI不只是安全的新挑戰(zhàn)，也可能成為安全工程的新工具。

迪菲認(rèn)為AI能夠顯著改善發(fā)布前測試，但發(fā)布后的補(bǔ)丁窗口仍然危險(xiǎn)。

然而，迪菲也提醒，AI能改善發(fā)布前的測試，卻不能完全解決發(fā)布后的安全問題。在軟件更新世界里，攻擊者會逆向分析補(bǔ)丁，用戶往往需要數(shù)天、數(shù)周甚至數(shù)月才完成安裝，而未打補(bǔ)丁的系統(tǒng)會成為攻擊窗口。這個(gè)問題并不新鮮，至少可以追溯到20世紀(jì)40年代；AI Agent只是把它放大到了更高速度、更高權(quán)限、更高復(fù)雜度的環(huán)境中。

AI Agent的風(fēng)險(xiǎn)并不神秘，它首先繼承了所有傳統(tǒng)軟件的風(fēng)險(xiǎn)。它們?nèi)匀皇沁M(jìn)程，仍然運(yùn)行在操作系統(tǒng)中，仍然訪問文件、網(wǎng)絡(luò)、內(nèi)存、憑證和外部服務(wù)。不同的是，它們的行為更難以預(yù)測，任務(wù)鏈條更長，可能接觸的資源更多，也更容易被人類賦予“替我完成事情”的授權(quán)。

“AI Agent本質(zhì)上仍然是計(jì)算過程。保護(hù)它們，需要我們保護(hù)所有計(jì)算過程所需要的機(jī)制。”

那么，應(yīng)該如何防范AI Agent本身造成風(fēng)險(xiǎn)？迪菲特別強(qiáng)調(diào)了Confinement，即約束與隔離：我們必須保證Agent只能訪問被允許訪問的資源，只能在授權(quán)邊界內(nèi)讀取、調(diào)用和修改。這一點(diǎn)在現(xiàn)有編程實(shí)踐中仍然遠(yuǎn)遠(yuǎn)不夠。

如果說傳統(tǒng)軟件安全關(guān)注的是“不要被外部攻擊者攻破”，那么AI Agent安全還必須追問另一個(gè)問題：當(dāng)Agent被賦予目標(biāo)、工具和權(quán)限后，它是否可能以我們不希望的方式完成任務(wù)？它是否會讀取不該讀取的數(shù)據(jù)？是否會調(diào)用不該調(diào)用的接口？是否會把局部目標(biāo)推進(jìn)到越界的行動？因此，約束不是事后的補(bǔ)救，而應(yīng)成為智能體系統(tǒng)的基礎(chǔ)設(shè)計(jì)。迪菲借機(jī)器人倫理的經(jīng)典想象提醒聽眾：機(jī)器可以服從人類命令，也可以保護(hù)自身運(yùn)行，但前提應(yīng)是不越過更高層級的法律、規(guī)則與安全邊界。

面向AI Agent的安全核心之一，是保證其只能訪問被授權(quán)的資源。

計(jì)算與思考未必是同一件事，但在我們已知的事物中，計(jì)算比任何東西都更接近思考。這個(gè)判斷并非要把機(jī)器簡單等同于人，而是提醒我們，計(jì)算系統(tǒng)正在越來越深地進(jìn)入那些過去只屬于人類判斷和行動的領(lǐng)域。

因此，迪菲將21世紀(jì)最重要的問題之一，指向人類與機(jī)器以及其他非人類“智能”之間的互動。我們應(yīng)該如何向機(jī)器分配任務(wù)？在多大程度上信任機(jī)器的輸出？如何限制機(jī)器的行動？如何在人類便利與系統(tǒng)安全之間建立制度化的平衡？這些問題不只是AI技術(shù)問題，也是重要的社會問題。

迪菲將人類與機(jī)器、非人類智能的互動視為21世紀(jì)最重要的問題之一。

面對“機(jī)器智能會不會統(tǒng)治世界”這個(gè)問題，迪菲沒有給出簡單的“是”或“否”。他提醒說，機(jī)器未必會以戰(zhàn)爭或沖突的形式與人類對立；更現(xiàn)實(shí)的情形是，人們會不斷把事務(wù)交給更高效的系統(tǒng)處理，并逐漸接受機(jī)器在越來越多社會與技術(shù)系統(tǒng)中承擔(dān)運(yùn)行角色。到大約2050年，機(jī)器智能可能包辦大量事務(wù)。真正需要思考的是，在這一過程發(fā)生之前，我們是否已經(jīng)建立足夠可靠的邊界、規(guī)則和安全機(jī)制。

報(bào)告結(jié)尾處，迪菲以犀利方式提醒聽眾思考機(jī)器智能擴(kuò)展后的治理問題。

迪菲：“機(jī)器智能會統(tǒng)治世界嗎？當(dāng)然！人類喜歡讓別人代勞，到2050年前后，機(jī)器智能將包辦一切，并成為真正掌控世界運(yùn)行的主角。”

現(xiàn)場對話

Q：密碼學(xué)和現(xiàn)代AI系統(tǒng)之間的相似點(diǎn)和區(qū)別是什么？

A：密碼學(xué)是一門嚴(yán)謹(jǐn)?shù)膶W(xué)科，需要明確的威脅模型和形式化證明。我們?nèi)缃襁_(dá)到的形式化研究其實(shí)在上個(gè)世紀(jì)就已經(jīng)開始。許多數(shù)學(xué)家都對密碼學(xué)感興趣，希望有安全的密碼學(xué)系統(tǒng)，這是我們當(dāng)時(shí)的興趣。Cook和Karp他們也獲得了圖靈獎，當(dāng)時(shí)主要的問題是復(fù)雜性的原理是絕非易事。一般來說，對于簡單的工作，比如計(jì)算機(jī)領(lǐng)域的加法器已經(jīng)相當(dāng)完善了，我們也在思考來建立一些函數(shù)系統(tǒng)，以及遞歸函數(shù)理論也都非常成功，我們現(xiàn)在也有NP復(fù)雜性等等，可以驗(yàn)證的是密碼學(xué)理論非常難，需要有非常完善的密碼系統(tǒng)和解密系統(tǒng)。

Q:對于現(xiàn)代的AI系統(tǒng)，我們是否有非常嚴(yán)謹(jǐn)?shù)睦碚摶A(chǔ)來驗(yàn)證其操作模式？

A：從某種程度上說，我們希望通用人工智能能夠勝任任何事情。所以我們需要寫下關(guān)于它的規(guī)格以及看它是否能夠符合未來的規(guī)格，我們要先寫出一個(gè)規(guī)格，這是非常務(wù)實(shí)的第一步。有些時(shí)候，我們覺得對于大語言模型和AI容易出現(xiàn)幻覺，我們希望解決幻覺的問題。現(xiàn)在的AI系統(tǒng)是基于概率的程序，但是安全規(guī)則是非常嚴(yán)格的。我們一直在竭盡全力來做密碼學(xué)，希望讓一些系統(tǒng)能夠具有一定靈活度，但是有些時(shí)候也并不是面面俱到。

Q：公鑰密碼學(xué)的成功不僅僅因?yàn)閿?shù)學(xué)，還因?yàn)閰f(xié)議、部署實(shí)踐以及標(biāo)準(zhǔn)制定等工作，您覺得我們應(yīng)該如何建立大模型安全的基礎(chǔ)設(shè)施？

A：我們花了幾十年時(shí)間建立密碼系統(tǒng)，并且制定了相關(guān)的協(xié)議，并且可以在互聯(lián)網(wǎng)上交付這種密碼技術(shù)。如果現(xiàn)在重新做，在未來的幾年里，對密碼學(xué)也會有新的革新，比如通過量子計(jì)算會威脅到密碼系統(tǒng)，在 70 年代我們就已經(jīng)建立了這些早先的密碼系統(tǒng)，我們要作出非常大的變革才可以進(jìn)行大的革新，所以會有密碼學(xué)領(lǐng)域新的標(biāo)準(zhǔn)等等。同樣，我們在未來幾年里會面對 AI 系統(tǒng)，我們需要逐漸理解它們，我相信它們也會不斷理解我們，相互加深彼此的理解。

閱讀最新前沿科技趨勢報(bào)告，請?jiān)L問21世紀(jì)關(guān)鍵技術(shù)研究院的“未來知識庫”

未來知識庫是 “21世紀(jì)關(guān)鍵技術(shù)研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報(bào)告

（加入未來知識庫，全部資料免費(fèi)閱讀和下載）