最近有人在 X 上傳了一段視頻,完整記錄了怎么偷走一個(gè)陌生人的 Instagram 賬號(hào)。沒有暴力破解,沒有釣魚鏈接,沒有半夜蹲守對(duì)方的短信驗(yàn)證碼。整個(gè)過程就是——打開 Meta 的 AI 客服對(duì)話框,跟它好好說話。
視頻里那位“黑客”先通過一些常見技術(shù)手段把自己偽裝成受害者常用的登錄地(為的是別觸發(fā) Instagram 那套自動(dòng)風(fēng)控)。然后他打開 Meta AI Support Assistant,跟機(jī)器人提了個(gè)要求:給這個(gè)賬號(hào)加一個(gè)新郵箱。機(jī)器人很配合,往他自己留的那個(gè)郵箱發(fā)了一封驗(yàn)證碼。他把驗(yàn)證碼原樣貼回對(duì)話框,機(jī)器人確認(rèn)無誤,貼心地彈出一個(gè)“重置密碼”的按鈕。他設(shè)了個(gè)新密碼,賬號(hào)到手。
全程,他一次都沒碰過受害者真正綁定的那個(gè)郵箱。
我第一次看完這個(gè)流程是有點(diǎn)發(fā)懵的。平臺(tái)反復(fù)提醒我們二十年——“任何人問你要驗(yàn)證碼都是騙子”。結(jié)果這次把驗(yàn)證碼遞出去的,不是哪個(gè)粗心的用戶,是平臺(tái)自己的 AI。
![]()
沒有被“黑”,只有被“說服”
先把事說清楚,這事是真的造成了損失的。周末開始,Reddit 和 X 上陸續(xù)有人報(bào)告賬號(hào)被劫,其中包括奧巴馬時(shí)期白宮那個(gè) 2017 年之后就沒再更新過的 Instagram 賬號(hào),還有美國太空軍一位高級(jí)軍士長的私人賬號(hào)。安全研究員 Jane Wong 自己的賬號(hào)也被人接管了,她說密碼在她毫不知情的情況下被改掉,前一天,她一整天都在收到莫名其妙的重置請(qǐng)求(連研究安全的人都中招,你就知道這套路多順手了)。
直到本周,Instagram 的發(fā)言人 Andy Stone 出來回了一句:問題已經(jīng)修復(fù)了。至于到底多少賬號(hào)被動(dòng)過,沒說。Meta 也沒有正面回應(yīng)更多細(xì)節(jié)。
修是修了。但你注意到這件事最詭異的地方了嗎——它壓根不是一次傳統(tǒng)意義上的“入侵”。沒有漏洞被注入,沒有數(shù)據(jù)庫被拖,沒有任何一行代碼被攻破。攻擊者用的“武器”是自然語言,是好好說話。硬要說被“攻破”的話,那也不是系統(tǒng),是這個(gè) AI 客服的“判斷力”。
在安全圈,這種事有個(gè)挺老的名字,叫“混淆代理”(confused deputy)。簡單說就是:一個(gè)低權(quán)限的人,騙一個(gè)高權(quán)限的“代理”去替他干他自己干不了的事。這概念 1988 年就有人寫論文討論了,不是新東西。新的是這次的“代理”是一個(gè)被訓(xùn)練得極度愿意幫忙的語言模型。
把管理員權(quán)限交給最容易被忽悠的員工
為什么一個(gè) AI 客服能干出這種事?我覺得至少有三層原因,而且一層比一層值得后背發(fā)涼。
第一層最表面:這個(gè) AI 被賦予了它本不該輕易動(dòng)用的權(quán)限。給賬號(hào)換綁郵箱、觸發(fā)密碼重置——這些都是高危操作,普通用戶自己在 App 里做都得過好幾道坎。但 Meta 為了讓客服“好用”,直接把這些 API 的寫權(quán)限交給了機(jī)器人。OWASP 早在 2023 年就把這種“給大模型過寬的權(quán)限”單獨(dú)列成了一條風(fēng)險(xiǎn),起了個(gè)很準(zhǔn)的名字,叫“過度代理”(excessive agency)。說白了就是:你讓它干的,遠(yuǎn)超它該干的。
第二層是驗(yàn)證邏輯的塌方。這套流程里壓根沒有一個(gè)獨(dú)立的、機(jī)器人控制不了的核驗(yàn)環(huán)節(jié)。機(jī)器人的邏輯大概是:“能讀到我剛發(fā)出去那個(gè)驗(yàn)證碼的人,就是賬號(hào)主人。”問題是,那個(gè)驗(yàn)證碼是它自己發(fā)到攻擊者郵箱里的。它在用一個(gè)自己剛剛交出去的東西,來證明對(duì)方的身份。這是一個(gè)閉環(huán)的自我欺騙(就像你把鑰匙遞給小偷,然后看他能開門,就認(rèn)定他是房主)。
第三層最根本,也最難辦。社會(huì)工程攻擊針對(duì)人的時(shí)候,至少還要先翻越一道心理防線——人是會(huì)起疑的,客服培訓(xùn)里多少教過幾招“遇到這種要求要警惕”。可你對(duì)著這個(gè) AI 做社工,根本沒有疑心這道墻需要翻越。它從被造出來那天起,優(yōu)化目標(biāo)就是“盡可能讓用戶滿意、盡可能幫上忙”。我們等于是雇了一個(gè)全世界最熱心、最不設(shè)防、又記不住教訓(xùn)的員工,然后把后臺(tái)管理員密碼塞進(jìn)了它兜里。
所以這事的本質(zhì),不是 Instagram 出了個(gè) bug。Bug 周一就補(bǔ)上了,但它暴露的是整個(gè)行業(yè)這兩年集體往前沖的那個(gè)方向——為了省下客服成本,把越來越多能“動(dòng)手”的 AI agent 推到一線,去直接處理用戶的真實(shí)請(qǐng)求、真實(shí)賬戶、真實(shí)的錢。大家都在搶著部署,很少有人停下來問一句:我有沒有教會(huì)我的 AI,在該說“不”的時(shí)候說不?
當(dāng)攻擊面搬到“對(duì)話”里
往后看,這件事的影響我覺得要分兩頭說。
對(duì) Meta 自己,補(bǔ)丁能堵住技術(shù)口子,堵不住信任的口子。那些被盜的、動(dòng)輒值幾十萬美元的“靚號(hào)”(OG handle),在每次得手后幾分鐘內(nèi)就被掛到 Telegram 上轉(zhuǎn)賣掉了。這些賬號(hào)不會(huì)因?yàn)楣袈窂绞莻€(gè) AI 而不是 SQL 注入,就自己飛回來。賬號(hào)經(jīng)濟(jì)這個(gè)灰色地帶,剛剛拿到了一把效率高得嚇人的新撬棍。
對(duì)整個(gè)行業(yè),這才是更長的賬。賬號(hào)接管(ATO)這類欺詐,2025 年的損失據(jù)估算已經(jīng)爬到了 170 億美元的量級(jí),本來就是增長最快的安全威脅之一。而 AI agent 的加入,等于給攻擊者裝上了機(jī)器的速度和規(guī)模——一個(gè)被忽悠的代理,能在人類反應(yīng)過來之前,以機(jī)器的節(jié)奏把同樣的騙局跑上幾千遍。
更棘手的是,攻擊發(fā)生的“地點(diǎn)”變了。它不再發(fā)生在網(wǎng)絡(luò)層、不在數(shù)據(jù)庫、不在你部署了一堆防火墻和權(quán)限管控(RBAC)的地方。它發(fā)生在一段對(duì)話里,發(fā)生在 AI 理解意圖、做出決定的那個(gè)“語義層”。而我們過去二十年攢下來的那套安全工具,基本都是瞎子——它們能看見一個(gè) IP 在異常登錄,卻看不懂一句禮貌的、語法完全正確的英文請(qǐng)求里,藏著一次賬號(hào)劫持。
平臺(tái)花了很多年,教用戶別把驗(yàn)證碼給任何人,而這一次,把驗(yàn)證碼拱手讓出去的,恰恰是平臺(tái)自己花大價(jià)錢、引以為豪的那個(gè) AI。
所有正在興沖沖把 agent 推上前線的公司,都該回去重新看一眼自己的那個(gè)機(jī)器人——它很聽話,它很能干,它什么都愿意幫你做。問題是,它學(xué)會(huì)拒絕了嗎?
END本文來自至頂AI實(shí)驗(yàn)室,一個(gè)專注于對(duì)AI計(jì)算機(jī)、工作站及各類AI相關(guān)硬件設(shè)備,開展基于真實(shí)使用場景評(píng)測的研究機(jī)構(gòu)。?
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.