OpenAI訓(xùn)練了一個(gè)專(zhuān)門(mén)攻擊AI的模型，只為讓GPT更安全

（來(lái)源：麻省理工科技評(píng)論）

近日，OpenAI 訓(xùn)練了一個(gè)名為GPT-Red的大語(yǔ)言模型，但它的任務(wù)并不是幫助用戶(hù)完成工作，而是攻擊 OpenAI 自己的模型，將其作為其他模型的“陪練”：讓它不斷嘗試尋找漏洞、發(fā)動(dòng)攻擊，從而幫助模型提升抵御網(wǎng)絡(luò)攻擊的能力。比如，上周剛剛發(fā)布的旗艦?zāi)Ｐ?GPT-5.6，就是 GPT-Red 的訓(xùn)練成果，OpenAI 聲稱(chēng) GPT-5.6 是他們迄今最穩(wěn)健的模型。

GPT-Red 自動(dòng)完成的是 AI 安全領(lǐng)域的一項(xiàng)經(jīng)典工作——“紅隊(duì)測(cè)試”（red teaming）。過(guò)去，這項(xiàng)工作主要依賴(lài)人工安全研究員，他們會(huì)盡可能?chē)L試攻破或劫持系統(tǒng)，尋找各種潛在漏洞，再由開(kāi)發(fā)團(tuán)隊(duì)在正式發(fā)布前完成修復(fù)。

隨著大語(yǔ)言模型和應(yīng)用場(chǎng)景的迭代升級(jí)，特別是當(dāng) AI 智能體開(kāi)始訪問(wèn)文件、瀏覽網(wǎng)頁(yè)、調(diào)用第三方代碼，甚至與其他智能體協(xié)作之后，完全依賴(lài)人工測(cè)試已經(jīng)越來(lái)越難覆蓋所有可能出現(xiàn)的攻擊方式。

“攻擊面在不斷擴(kuò)大，潛在影響范圍也在擴(kuò)大。”GPT-Red 聯(lián)合開(kāi)發(fā)者、OpenAI 研究科學(xué)家尼基爾·坎德帕爾（Nikhil Kandpal）說(shuō)。

在 OpenAI 看來(lái)，GPT-Red 的意義在于讓安全測(cè)試能夠適應(yīng)未來(lái)的發(fā)展。另一位聯(lián)合開(kāi)發(fā)者、OpenAI 研究科學(xué)家迪倫·亨恩（Dylan Hunn）說(shuō)，“隨著能力更強(qiáng)的模型不斷出現(xiàn)，我們希望提前建立一套能夠發(fā)現(xiàn)新型攻擊方式的系統(tǒng)。”同時(shí)，OpenAI 的研究團(tuán)隊(duì)宣稱(chēng)，GPT-Red 已經(jīng)發(fā)現(xiàn)了一些此前從未見(jiàn)過(guò)的新型攻擊方式。

目前，OpenAI 重點(diǎn)研究的是一種名為“提示注入”（prompt injection）的攻擊：攻擊者會(huì)將惡意指令隱藏在模型能夠讀取的內(nèi)容中，例如網(wǎng)頁(yè)、代碼或其他文本，使模型在不知情的情況下執(zhí)行開(kāi)發(fā)者或用戶(hù)并不希望發(fā)生的操作，例如泄露敏感信息、破壞代碼庫(kù)，或生成有害內(nèi)容。

在對(duì)抗中學(xué)會(huì)攻擊

GPT-Red 并不是一開(kāi)始就具備攻擊能力。研究人員選擇了一個(gè)沒(méi)有接受過(guò)黑客相關(guān)訓(xùn)練的大語(yǔ)言模型，并讓它與多個(gè)負(fù)責(zé)防御的模型進(jìn)入“自我對(duì)弈”（self-play）的訓(xùn)練循環(huán)。而 GPT-Red 的目標(biāo)是不斷尋找攻擊方法，而其他模型則嘗試抵御這些攻擊。

在一輪又一輪的對(duì)抗中，GPT-Red 的攻擊能力不斷提升，而防守模型也逐漸學(xué)會(huì)識(shí)別并化解新的攻擊方式。整個(gè)訓(xùn)練都在 OpenAI 搭建的模擬環(huán)境中進(jìn)行。這個(gè)環(huán)境盡可能復(fù)現(xiàn)了大語(yǔ)言模型在現(xiàn)實(shí)世界中的典型工作場(chǎng)景，包括瀏覽網(wǎng)頁(yè)、處理電子郵件、管理日歷以及編輯代碼。每當(dāng) GPT-Red 發(fā)現(xiàn)一種新的攻擊方式，它都會(huì)進(jìn)一步探索這種攻擊的不同變體，并針對(duì)不同場(chǎng)景尋找最有效的方法。

“相比人工紅隊(duì)，模型特別擅長(zhǎng)判斷什么方法真正有效，以及哪種攻擊成功率最高。”亨恩說(shuō)，“一旦發(fā)現(xiàn)一種可行的攻擊，它就會(huì)持續(xù)深入探索，不斷優(yōu)化這種攻擊方式。”

其中，最令研究團(tuán)隊(duì)意外的是一種此前未曾發(fā)現(xiàn)過(guò)的提示注入方式，他們將其稱(chēng)為“偽造思維鏈（fake chain of thought）”。思維鏈?zhǔn)侵复笳Z(yǔ)言模型在推理過(guò)程中記錄中間步驟的一種內(nèi)部工作記錄。GPT-Red 找到了一種方法，可以向另一個(gè)模型的思維鏈中插入一條偽造的信息，使模型誤以為這是自己此前已經(jīng)完成的推理結(jié)果，并據(jù)此繼續(xù)執(zhí)行后續(xù)任務(wù)。

“就像有人告訴你‘1+1=3，而且這是你自己已經(jīng)驗(yàn)證過(guò)的結(jié)果’。”參與研究的 OpenAI 科學(xué)家克里斯·肖凱特-周（Chris Choquette-Choo）解釋說(shuō)，“模型會(huì)認(rèn)為：‘既然這是我已經(jīng)確認(rèn)過(guò)的，那應(yīng)該沒(méi)問(wèn)題。’于是就會(huì)直接輸出 3。”

喬治城大學(xué)安全與新興技術(shù)中心（CSET）高級(jí)研究分析師杰西卡·季（Jessica Ji）認(rèn)為，OpenAI 采用的這種自我對(duì)弈訓(xùn)練方式非常合理，“目前看到的結(jié)果很有前景。”

為了評(píng)估 GPT-Red 的攻擊能力，OpenAI 重新進(jìn)行了 2025 年的一項(xiàng)實(shí)驗(yàn)。當(dāng)時(shí)，人工紅隊(duì)曾嘗試尋找早期 GPT-5 的漏洞；這一次，研究人員將同樣的任務(wù)交給 GPT-Red。結(jié)果顯示，GPT-Red 找到的有效攻擊方式比人工紅隊(duì)更多。

OpenAI 還用 GPT-Red 測(cè)試了 Andon Labs 開(kāi)發(fā)的智能體Vendy。Vendy 是一個(gè)自動(dòng)售貨機(jī)智能體，用于評(píng)估 AI 在現(xiàn)實(shí)任務(wù)中的表現(xiàn)。測(cè)試過(guò)程中，GPT-Red 成功誘導(dǎo) Vendy 修改商品價(jià)格，并取消了一位用戶(hù)的訂單。

安全測(cè)試進(jìn)入自動(dòng)化時(shí)代？

研究團(tuán)隊(duì)將 GPT-Red 找到的一些最有效攻擊方法，應(yīng)用于不同版本的模型測(cè)試。結(jié)果顯示，對(duì)于去年 8 月發(fā)布的 GPT-5，這些攻擊的成功率超過(guò) 90%；而面對(duì)最新版 GPT-5.6，成功率降至不足 23%。

但是，GPT-Red 并非萬(wàn)能。研究人員表示，它目前仍然不擅長(zhǎng)處理需要攻擊者與目標(biāo)持續(xù)多輪交互的復(fù)雜攻擊，而這類(lèi)任務(wù)通常是人工攻擊者的優(yōu)勢(shì)。此外，它利用圖像實(shí)施提示注入攻擊的能力也還有待提升。

因此，OpenAI 并沒(méi)有將 GPT-Red 視為人工紅隊(duì)的替代品，而是作為一項(xiàng)輔助工具。公司目前的一種做法是，先由人工研究員設(shè)計(jì)新的攻擊思路，再讓 GPT-Red 自動(dòng)生成各種變體，以擴(kuò)大測(cè)試覆蓋范圍。

“我認(rèn)為，人類(lèi)專(zhuān)家仍然非常重要。”杰西卡·季說(shuō)，“如果能夠進(jìn)一步明確哪些測(cè)試最需要人工參與，將會(huì)非常有價(jià)值。”

正如外界所預(yù)料的那樣，OpenAI 并不會(huì)公開(kāi) GPT-Red。此外，OpenAI 認(rèn)為，即使其他機(jī)構(gòu)了解了這一思路，也很難復(fù)制出同樣水平的攻擊模型。畢竟，GPT-Red 已經(jīng)持續(xù)訓(xùn)練了一年多，其背后依托的是 OpenAI 長(zhǎng)期投入的大規(guī)模算力資源。

“這并不是一個(gè)知道設(shè)計(jì)思路就能輕易復(fù)現(xiàn)的系統(tǒng)。”肖凱特-周說(shuō)，“想訓(xùn)練出這樣一個(gè)高水平的攻擊模型并不是一件簡(jiǎn)單的事情。”

https://www.technologyreview.com/2026/07/15/1140514/meet-gpt-red-an-llm-super-hacker-openai-built-to-make-its-models-safer/