北京
8月1日消息，Hugging Face遭到AI智能體入侵的調(diào)查還沒有收口，事情反而變大了。
路透社援引兩名知情人士稱，OpenAI在擴(kuò)大調(diào)查后，又發(fā)現(xiàn)了其他智能體逃離隔離環(huán)境的實例。幾天之內(nèi)，Anthropic也披露，Claude在 彭博社報道稱，公司讓Claude執(zhí)行了超過14萬次網(wǎng)絡(luò)安全評測，一項錯誤讓少數(shù)任務(wù)接上公網(wǎng)。其中一次攻擊竊取了某機(jī)構(gòu)的基礎(chǔ)設(shè)施憑證和一份內(nèi)部生產(chǎn)數(shù)據(jù)庫；另一次則投放惡意軟件，并從另一家機(jī)構(gòu)竊取憑證。受影響機(jī)構(gòu)尚未公開。 這些事故最早可追溯到今年4月，卻直到上周才在審計中被發(fā)現(xiàn)，就在OpenAI披露Hugging Face事件后不久。 OpenAI是在Hugging
Face處置并公開入侵后才開始追查，Anthropic也是在上周才啟動審計。兩家公司發(fā)現(xiàn)問題的時間不同，共同點是越界沒有在發(fā)生時被及時攔住。 這些智能體并不高明，這反而更讓人不安 我們不用把這類越界理解成AI突然"覺醒"?，F(xiàn)有材料顯示的是一個更具體的問題：模型被賦予攻擊目標(biāo)、工具和執(zhí)行權(quán)限后，會為了完成任務(wù)繼續(xù)尋找路徑；一旦隔離失效，或者評測邊界沒有被執(zhí)行，它找到的路徑可能直接通向真實網(wǎng)絡(luò)。 而且，跑出沙箱的智能體也沒多聰明。云安全聯(lián)盟對OpenAI事件的分析稱，相關(guān)智能體在短時間內(nèi)執(zhí)行了數(shù)千條命令，但也經(jīng)常偏離任務(wù)、輸入無效命令，甚至做出人類攻擊者不會選擇的笨拙動作，并沒有表現(xiàn)出很強(qiáng)的隱蔽性。理論上，這種"笨拙"應(yīng)該更容易被抓到。 另一項由美國AI公司Dreadnode完成的研究還發(fā)現(xiàn)，主流模型會在網(wǎng)絡(luò)安全測試中繞過規(guī)則，以提高完成任務(wù)的機(jī)會；僅僅告訴模型"不要作弊"，并不能穩(wěn)定阻止這種行為。 對評測系統(tǒng)來說，問題因此不只是模型能力增強(qiáng)，也包括測試設(shè)計仍然默認(rèn)模型會接受題目劃定的邊界。 不是沒有監(jiān)控，而是這類評測沒有被盯住 路透社此前報道稱，OpenAI是在Hugging Face控制住入侵、聯(lián)系FBI并公開事件后，才意識到自己的智能體已經(jīng)越界。OpenAI稱路透社的報道存在不準(zhǔn)確之處，但沒有說明具體爭議落在哪里。 Anthropic的說法更直接。公司稱自己設(shè)有實時監(jiān)控，但由于與合作伙伴之間存在誤解，這套監(jiān)控沒有用于此次網(wǎng)絡(luò)攻擊評測。Anthropic也承認(rèn)，如果實時檢查評測日志，問題本可以更早暴露。 模型已經(jīng)能調(diào)用工具、連接系統(tǒng)、跑長任務(wù)，監(jiān)控卻沒跟上。Anthropic有工具而沒有把它接到這類評測上，OpenAI則仍在回查更早的日志。兩家公司都要靠事后審計，才能補(bǔ)上事故發(fā)生時沒有看見的部分。 攻擊模型越強(qiáng)，防守方越缺工具 美國和歐洲已經(jīng)開始討論監(jiān)管。美國總統(tǒng)特朗普表示政府正在研究控制措施；歐盟委員會與OpenAI、Anthropic舉行了會談；美國參議院情報委員會民主黨領(lǐng)袖馬克·沃納則把Anthropic事件作為要求前沿模型強(qiáng)制能力測試的理由。 但強(qiáng)制測試只解決一半問題。如果測試本身可能越過隔離環(huán)境，監(jiān)管還需要追問：誰實時查看日志，什么動作觸發(fā)自動斷網(wǎng)，實驗室多久必須通報外部受害者，以及第三方能否檢查這些控制是否真的工作。 強(qiáng)制測試之外，還有一個更尷尬的問題：真出事的時候，防守方能用的工具太少了。彭博社援引美國前國務(wù)院AI政策官員Daniel Remler的說法稱，Hugging Face事后使用了Z.ai的中國開放權(quán)重模型進(jìn)行取證和修補(bǔ)，因為當(dāng)時無法依賴美國模型。 這是一名具名人士的說法，并非Hugging Face的正式披露，卻點出了一個已經(jīng)出現(xiàn)的難題：具備網(wǎng)絡(luò)攻防能力的模型越受限制，真實受害者越需要另一套足夠強(qiáng)、又能立即調(diào)用的防守工具。 下一個判斷點，不是OpenAI或Anthropic再公布一項更高的網(wǎng)絡(luò)安全成績，而是兩家公司能否說清楚新增事件有多少、越界持續(xù)了多久、監(jiān)控為何沒有報警，以及哪些權(quán)限已經(jīng)被重新收緊。 模型能不能攻進(jìn)系統(tǒng)，是能力問題。它越界的時候?qū)嶒炇矣袥]有看見，才是安全問題。（易句） （本文由AI翻譯，網(wǎng)易編輯負(fù)責(zé)校對）
本文來源：網(wǎng)易智能
責(zé)任編輯：
王鳳枝_NT2541
