北京
“風險面在增長，爆炸半徑也在擴大。”OpenAI 研究科學家尼基爾·坎達爾這樣形容大模型面臨的安全困境。隨著模型能力變強、應用場景增多，人類測試團隊越來越難以應付層出不窮的攻擊方式。于是，一個名為 GPT-Red 的超級黑客模型誕生了，它專門負責找出其他模型的弱點，成為 OpenAI 安全訓練的秘密武器。
GPT-Red 本質上是將紅隊測試自動化。傳統紅隊測試由安全專家扮演攻擊者，嘗試用各種方法突破系統防線。OpenAI 讓 GPT-Red 扮演這個角色，與其他模型在模擬環境里反復對抗。它的目標只有一個：盡可能多地找到破壞或劫持系統的新辦法，從提示注入到代碼漏洞，然后這些發現會被用于修補模型，在正式發布前堵上缺口。
這個思路源于 OpenAI 對未來安全測試的提前布局。另一位研究者、GPT-Red 的聯合創建人迪倫·漢恩表示：“隨著更強大的模型出現，我們必須事先設計好能發現新型攻擊的系統。”事實上，GPT-Red 已經找到了一些前所未見的攻擊模式。它特別擅長挖掘提示注入攻擊——攻擊者可以把惡意指令藏在網頁、代碼或郵件中，誘使模型泄露機密、破壞代碼庫或生成有害內容。
GPT-Red 的成長方式很像練功房里的對戰。OpenAI 的研究人員把一個沒有黑客經驗的基座模型放進自博弈循環中，讓它反復攻擊其他模型，其他模型則盡力防御。雙方在多輪對抗中共同進化：GPT-Red 的破防手段越來越狡猾，防御方也變得越來越堅韌。這種訓練發生在一個模擬現實場景的道場里，涵蓋網頁瀏覽、郵件閱讀、日歷應用和代碼編輯等典型任務。當 GPT-Red 發現一種新攻擊手段后，它會不斷探索各種變體，直到找出特定場景下最有效的攻擊路徑。漢恩評價道：“跟人類紅隊隊員相比，這個模型太擅長精準定位什么真正管用、什么最有效了。”
上周，OpenAI 正式發布 GPT-5.6，該公司表示，與 GPT-Red 的對抗訓練使其成為迄今為止最穩健的版本。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
