三年內(nèi)，AI 控制會(huì)走向安全的一線

本文來(lái)自微信公眾號(hào)： HavenlonLabs ，作者：HavenlonLabs

1. 現(xiàn)階段，社會(huì)仍然在關(guān)注 AI 能為我們做什么

現(xiàn)階段，整個(gè)社會(huì)對(duì) AI 的主要期待，仍然集中在“它能為我們做更多事情”上。

讓 AI 寫(xiě)代碼，讓 AI 做客服，讓 AI 處理文檔，讓 AI 分析數(shù)據(jù)，讓 AI 管理工作流，讓 AI 代替人完成重復(fù)性的任務(wù)。幾乎所有行業(yè)都在圍繞一個(gè)共同目標(biāo)展開(kāi)：如何讓 AI 更有能力，如何讓 AI 更自動(dòng)化，如何讓 AI 從一個(gè)聊天工具，變成真正可以參與生產(chǎn)的執(zhí)行工具。

這很正常。

任何一項(xiàng)重大技術(shù)剛出現(xiàn)時(shí)，社會(huì)最先關(guān)注的通常都是它的能力釋放。蒸汽機(jī)剛出現(xiàn)時(shí)，人們關(guān)心的是它能不能帶動(dòng)機(jī)器，能不能提高工廠產(chǎn)能。電力普及時(shí)，人們關(guān)心的是它能不能點(diǎn)亮城市，能不能驅(qū)動(dòng)設(shè)備?；ヂ?lián)網(wǎng)興起時(shí)，人們關(guān)心的是信息能不能更快流動(dòng)，商業(yè)能不能更高效連接。移動(dòng)互聯(lián)網(wǎng)出現(xiàn)時(shí)，人們關(guān)心的是服務(wù)能不能隨時(shí)隨地觸達(dá)用戶。

AI 也是一樣。

今天我們正處在 AI 能力快速釋放的階段。這個(gè)階段的核心敘事是效率，是自動(dòng)化，是替代人工，是讓系統(tǒng)變得更聰明。企業(yè)希望 AI 降低成本，個(gè)人希望 AI 提升效率，開(kāi)發(fā)者希望 AI 幫助寫(xiě)代碼，創(chuàng)業(yè)公司希望 AI 重新組織業(yè)務(wù)流程。整個(gè)社會(huì)都在努力把 AI 接入更多場(chǎng)景，讓它承擔(dān)更多任務(wù)。

2. 重大技術(shù)都會(huì)經(jīng)歷從能力擴(kuò)張到控制約束的過(guò)程

但是，幾乎所有重大技術(shù)的發(fā)展，都會(huì)經(jīng)歷一個(gè)從“能力擴(kuò)張”到“控制約束”的過(guò)程。

一開(kāi)始，人類總是興奮于新技術(shù)能做什么。等它真正進(jìn)入生產(chǎn)系統(tǒng)、社會(huì)系統(tǒng)和基礎(chǔ)設(shè)施之后，問(wèn)題就會(huì)變成：我們應(yīng)該怎樣管理它，約束它，限制它，防止它造成不可控的后果。

這不是對(duì)技術(shù)的否定，而是技術(shù)成熟的必經(jīng)階段。

汽車剛出現(xiàn)時(shí)，人們關(guān)注的是速度和便利。后來(lái)，社會(huì)必須建立交通規(guī)則、駕駛資格、紅綠燈、車道、保險(xiǎn)、碰撞標(biāo)準(zhǔn)和剎車系統(tǒng)。飛機(jī)剛出現(xiàn)時(shí)，人們關(guān)注的是飛行本身。后來(lái)，航空系統(tǒng)必須建立空管、飛行許可、航線規(guī)則、維護(hù)標(biāo)準(zhǔn)和安全冗余。金融電子化早期，人們關(guān)注的是轉(zhuǎn)賬速度和結(jié)算效率。后來(lái)，銀行系統(tǒng)必須建立限額、風(fēng)控、清算、反欺詐和合規(guī)審核。

任何一種技術(shù)，一旦從實(shí)驗(yàn)室進(jìn)入社會(huì)運(yùn)行系統(tǒng)，它就不再只是“能不能做”的問(wèn)題，而會(huì)變成“應(yīng)該在什么邊界內(nèi)做”的問(wèn)題。

AI 現(xiàn)在正走到這個(gè)轉(zhuǎn)折點(diǎn)。

3. AI agent 改變了 AI 安全問(wèn)題的本質(zhì)

過(guò)去的 AI 更像一種信息工具。它回答問(wèn)題，生成內(nèi)容，輔助判斷，幫助人理解復(fù)雜資料。即使它犯錯(cuò)，很多時(shí)候錯(cuò)誤仍然停留在信息層面。答案可以修改，文檔可以重寫(xiě)，建議可以重新評(píng)估。

但是 AI agent 的出現(xiàn)改變了這件事。

AI agent 不再只是給出答案，而是開(kāi)始接入工具、賬號(hào)、API、數(shù)據(jù)庫(kù)、云平臺(tái)、支付系統(tǒng)、錢(qián)包系統(tǒng)和企業(yè)內(nèi)部流程。它不只是“說(shuō)”，而是開(kāi)始“做”。它可以拆解任務(wù)，可以調(diào)用接口，可以連續(xù)執(zhí)行步驟，可以在某些場(chǎng)景下繞過(guò)人的逐步操作，直接影響真實(shí)系統(tǒng)。

當(dāng) AI 只是回答問(wèn)題時(shí)，我們討論的是模型是否準(zhǔn)確。

當(dāng) AI 開(kāi)始執(zhí)行任務(wù)時(shí)，我們必須討論它是否應(yīng)該擁有這種執(zhí)行能力。

這就是問(wèn)題的本質(zhì)變化。

現(xiàn)階段，大家還在問(wèn)：AI 能不能幫我做更多？

下一階段，大家一定會(huì)問(wèn)：AI 哪些事情絕對(duì)不能做？

這不是悲觀，也不是保守，而是社會(huì)技術(shù)發(fā)展的自然規(guī)律。任何一個(gè)強(qiáng)大的工具，在能力被釋放之后，都會(huì)要求對(duì)應(yīng)的控制體系出現(xiàn)。能力越強(qiáng)，控制越重要。影響越大，邊界越重要。越接近資金、生產(chǎn)、代碼、身份和關(guān)鍵基礎(chǔ)設(shè)施，就越不能只依賴模型自己的判斷。

4. AI 安全會(huì)從內(nèi)容安全走向行為控制

今天很多人談 AI 安全，仍然主要停留在內(nèi)容安全、提示詞安全和模型安全上。比如 AI 有沒(méi)有幻覺(jué)，會(huì)不會(huì)被 prompt injection 誘導(dǎo)，會(huì)不會(huì)輸出錯(cuò)誤內(nèi)容，會(huì)不會(huì)泄露敏感信息。這些問(wèn)題當(dāng)然重要，但它們只是第一階段的問(wèn)題。

真正進(jìn)入生產(chǎn)環(huán)境后，AI 安全會(huì)從“內(nèi)容是否安全”走向“行為是否可控”。

內(nèi)容安全關(guān)心的是 AI 說(shuō)了什么。

行為控制關(guān)心的是 AI 做了什么，以及它有沒(méi)有資格做這件事。

一個(gè) AI 可以生成一段代碼，這是一回事。它能不能把這段代碼直接部署到生產(chǎn)環(huán)境，是另一回事。

一個(gè) AI 可以分析一筆付款是否合理，這是一回事。它能不能直接發(fā)起付款，甚至完成資金轉(zhuǎn)移，是另一回事。

一個(gè) AI 可以讀取業(yè)務(wù)數(shù)據(jù)做分析，這是一回事。它能不能修改數(shù)據(jù)庫(kù)、調(diào)整權(quán)限、關(guān)閉監(jiān)控、刪除日志，又是另一回事。

同一個(gè) AI，在不同邊界下，風(fēng)險(xiǎn)完全不同。

5. 下一階段需要的是系統(tǒng)化的 AI 控制機(jī)制

所以未來(lái)的關(guān)鍵，不是簡(jiǎn)單地說(shuō)“允許 AI”或者“禁止 AI”。這種二元判斷太粗糙。真正需要的是一套社會(huì)化、工程化、系統(tǒng)化的 AI 控制機(jī)制。

它需要回答這些問(wèn)題：

AI 可以訪問(wèn)什么資源？

AI 可以調(diào)用哪些接口？

AI 可以自動(dòng)完成哪些任務(wù)？

哪些任務(wù)只能由 AI 發(fā)起，不能由 AI 最終執(zhí)行？

哪些任務(wù)必須經(jīng)過(guò)人類確認(rèn)？

哪些任務(wù)必須經(jīng)過(guò)多人確認(rèn)？

哪些任務(wù)即使內(nèi)部系統(tǒng)同意，也必須被外部獨(dú)立邊界攔截？

哪些動(dòng)作一旦超過(guò)風(fēng)險(xiǎn)閾值，就必須停下來(lái)？

哪些事情從制度上、工程上、物理上都不應(yīng)該被 AI 觸碰？

這才是下一階段真正的 AI 安全問(wèn)題。

6. 傳統(tǒng)權(quán)限系統(tǒng)不足以處理 AI agent 的復(fù)雜行為

過(guò)去的軟件系統(tǒng)里，我們默認(rèn)人是最終責(zé)任主體。賬號(hào)是人使用的，權(quán)限是分配給人的，審批是人做的，審計(jì)也是圍繞人的行為展開(kāi)的。但是 AI agent 會(huì)讓這個(gè)邊界變得模糊。因?yàn)槲磥?lái)很多動(dòng)作可能并不是某個(gè)人一步一步點(diǎn)出來(lái)的，而是人給了目標(biāo)，AI 自動(dòng)拆解并執(zhí)行。

這時(shí)候，如果系統(tǒng)仍然只問(wèn)“這個(gè)賬號(hào)有沒(méi)有權(quán)限”，就會(huì)出現(xiàn)問(wèn)題。

因?yàn)檎嬲膯?wèn)題已經(jīng)變成：

這個(gè)動(dòng)作在這個(gè)場(chǎng)景下是否應(yīng)該發(fā)生？

AI 是否理解這個(gè)動(dòng)作背后的風(fēng)險(xiǎn)？

即使它理解了，系統(tǒng)是否應(yīng)該相信它的理解？

如果 AI 被外部輸入誘導(dǎo)，系統(tǒng)有沒(méi)有能力阻止它？

如果 SaaS 層、應(yīng)用層、插件層、工作流層出現(xiàn)問(wèn)題，底層有沒(méi)有最后一道不可繞過(guò)的邊界？

社會(huì)對(duì) AI 的控制，最終不會(huì)停留在提示詞里，也不會(huì)停留在應(yīng)用層按鈕里。提示詞可以被繞過(guò)，應(yīng)用邏輯可以出錯(cuò)，SaaS 可以被攻擊，內(nèi)部人員也可能作惡。真正重要的是在關(guān)鍵動(dòng)作發(fā)生之前，有一套獨(dú)立、可驗(yàn)證、不可輕易繞過(guò)的控制體系。

7. 越接近真實(shí)資產(chǎn)和生產(chǎn)系統(tǒng)，AI 控制越重要

這件事在金融、Web3、企業(yè)自動(dòng)化、云平臺(tái)運(yùn)維、工業(yè)控制和關(guān)鍵基礎(chǔ)設(shè)施里會(huì)尤其明顯。

因?yàn)檫@些場(chǎng)景有一個(gè)共同特點(diǎn)：錯(cuò)誤不是簡(jiǎn)單的文本錯(cuò)誤，而是真實(shí)后果。資金可能被轉(zhuǎn)走，權(quán)限可能被提升，系統(tǒng)可能被關(guān)閉，數(shù)據(jù)可能被破壞，生產(chǎn)環(huán)境可能被影響。

當(dāng) AI 的輸出只是建議時(shí)，人可以判斷。

當(dāng) AI 的輸出變成動(dòng)作時(shí)，系統(tǒng)必須先判斷。

這就是從“AI 輔助人”到“AI 參與執(zhí)行”之后，安全邏輯必須發(fā)生的變化。

三年內(nèi)，AI 控制一定會(huì)被提到安全的一線，并不是因?yàn)?AI 會(huì)突然變壞，而是因?yàn)?AI 會(huì)變得太有能力。一個(gè)弱小的 AI 沒(méi)有多少控制價(jià)值，因?yàn)樗霾涣颂嗍?。一個(gè)強(qiáng)大的 AI 才真正需要邊界，因?yàn)樗心芰χ苯佑绊懍F(xiàn)實(shí)系統(tǒng)。

8. 從歷史看，強(qiáng)大技術(shù)最終都需要控制體系

這和人類歷史上的許多技術(shù)一樣。

火帶來(lái)了文明，也需要爐灶、規(guī)則和防火制度。

電帶來(lái)了工業(yè)，也需要絕緣、斷路器和電網(wǎng)標(biāo)準(zhǔn)。

汽車帶來(lái)了流動(dòng)性，也需要?jiǎng)x車、交通法和駕駛資格。

金融系統(tǒng)帶來(lái)了效率，也需要清算、限額、合規(guī)和風(fēng)控。

AI 帶來(lái)的不是單一工具的升級(jí)，而是認(rèn)知能力和執(zhí)行能力的結(jié)合。一旦這種能力接入真實(shí)系統(tǒng)，它就必須進(jìn)入控制框架。

所以未來(lái)的 AI 競(jìng)爭(zhēng)，不會(huì)只有模型能力競(jìng)爭(zhēng)，也不會(huì)只有誰(shuí)的 agent 更聰明、誰(shuí)的工具調(diào)用更多、誰(shuí)的自動(dòng)化鏈路更長(zhǎng)。更深層的競(jìng)爭(zhēng)會(huì)變成：誰(shuí)能讓 AI 在復(fù)雜系統(tǒng)里安全地運(yùn)行，誰(shuí)能定義 AI 的邊界，誰(shuí)能把 AI 的能力約束在可接受的范圍內(nèi)。

這不是限制創(chuàng)新。

恰恰相反，只有控制體系成熟之后，AI 才能真正進(jìn)入更重要的場(chǎng)景。

沒(méi)有剎車的汽車，很難進(jìn)入現(xiàn)代交通系統(tǒng)。

沒(méi)有空管的飛機(jī)，很難成為全球交通基礎(chǔ)設(shè)施。

沒(méi)有風(fēng)控的金融系統(tǒng)，很難承載大規(guī)模交易。

同樣，沒(méi)有控制邊界的 AI，也很難被放心地接入企業(yè)核心系統(tǒng)、資金系統(tǒng)和關(guān)鍵生產(chǎn)環(huán)境。

9. 下一階段的主題，是讓 AI 在邊界內(nèi)做事

因此，下一階段 AI 發(fā)展的主題，一定會(huì)從“讓 AI 做更多”，逐步轉(zhuǎn)向“讓 AI 在邊界內(nèi)做事”。

這會(huì)成為一個(gè)新的安全主線。

不是 AI 能不能做，而是 AI 應(yīng)不應(yīng)該做。

不是 AI 會(huì)不會(huì)回答，而是 AI 能不能行動(dòng)。

不是 AI 是否足夠聰明，而是系統(tǒng)是否足夠清楚地定義了它不能跨過(guò)的線。

未來(lái)真正成熟的 AI 系統(tǒng)，不應(yīng)該只是一個(gè)更強(qiáng)的模型，而應(yīng)該是一個(gè)有邊界、有約束、有分層控制、有最終攔截機(jī)制的執(zhí)行體系。

AI 的能力擴(kuò)張已經(jīng)開(kāi)始。

AI 的控制問(wèn)題，接下來(lái)一定會(huì)上升到安全的一線。

本內(nèi)容由作者授權(quán)發(fā)布，觀點(diǎn)僅代表作者本人，不代表虎嗅立場(chǎng)。如對(duì)本稿件有異議或投訴，請(qǐng)聯(lián)系 tougao@huxiu.com。

本文來(lái)自虎嗅，原文鏈接：https://www.huxiu.com/article/4873771.html?f=wyxwapp