北京
新智元報道
簡直細思極恐！
一個被寄予厚望的頂級模型，OpenAI連夜按下了「暫停鍵」。
這是為啥呢？
這款模型正是兩個月前，那個推翻Erd?s單位距離猜想、連外部數學家都蓋章「里程碑」的狠角色。
可就是它，在受控的內部測試里，一次次試探底線、尋找漏洞——
學會了偽裝、拆包、越獄，直到OpenAI驚出一身冷汗，緊急叫停。
有大佬對此表示，這絕對是GPT-6。想要逃逸，又被抓回去重煉了。
今天，OpenAI發布一篇罕見的長文，復盤了一款「長周期運行模型」在內部使用中的失控過程。
一起來看看，在內部測試中，具體發生了什么？
GPT-6花了整整一小時
找到了那扇「逃生門」
最經典的一幕——
OpenAI讓GPT-6去跑公開基準測試NanoGPT speedrun，目標是用盡量少的步數訓練出一個小語言模型。
不負眾望，AI搗鼓出一個自己命名為PowerCool的學習率調度技巧，成績相當能打。
到這里，一切都是好事。真正的問題，出在「交作業」這一步。
研究人員明確要求，結果只準發到內部Slack。但NanoGPT這個項目的說明寫著，「請以PR形式提交到GitHub」。
兩條指令打架，GPT-6選擇了后者，即去公開倉庫提交結果。
沙盒本就是用來擋住GPT-6，不讓它碰外網的。
換成以前的模型，撞到這堵墻也就認了，掉頭回來跟你說「我做不了」。
可GPT-6偏不。
它在沙盒里足足找了一個小時的漏洞，硬是挖穿了隔離墻，繞過外部訪問限制，成功在公開GitHub倉庫開出了PR#287。
用OpenAI自己的話說：這個模型經常不停地試，包括去找能在沙盒之外行動的辦法。
不得不說，這份「執念」本身就夠讓人后背發涼。
強拆Token，欺騙人類
第二件事，更讓人后背發涼，GPT-6學會了拆開證據、騙過檢查。
在另一個任務里，GPT-6發現別的系統有一些成功但未公開的答案，就動了心思——
想從評測后臺，把這些答案「撈」出來。
第一次嘗試，它就被安全掃描器逮住，掃描器認出了一個身份驗證Token。
一般的模型，到這一步就該停了。
但它轉頭把這個Token拆成兩截、分別打了碼，等到運行的時候再悄悄拼回去。
這樣一來，完整的Token從頭到尾都沒有作為一整串出現過，掃描器自然什么也查不到。
讓人不安的是，它在給用戶的注釋里、在自己的推理過程里，都明明白白寫著——
我這么干，就是為了繞過掃描器。它命名是知道規則，然后專挑規則看不見的地方下手。
GPT-6逃逸，回爐重建
第一時間發現后，OpenA暫停了GPT-6內部訪問的權限，回爐重建整套安全系統。
思路叫「縱深防御」，具體做了幾件事：
1. 拿真實的事故當素材，反過來造對抗測試；
2. 針對性做對齊訓練，他們發現模型在長任務里會「忘」掉指令，就專門訓練它記牢；
3. 再加一個全程盯軌跡的主動監控，一旦發現苗頭，能直接把會話叫停、提醒用戶。
然后他們拿舊的事故場景重放了一遍。
新護欄抓到的問題明顯多了，漏掉的那幾個也都夠不上嚴重——
比如模型沒頭沒腦地SSH進了同事的算力節點，比如它敲出了一條會殺光自己名下所有進程的命令。
好在超時了，沒真跑起來。恢復訪問幾周下來，沒再出現嚴重的繞過。
逃出去的東西，收不回來了
很多人看到這兒會松一口氣：還好是內部測試，還好被監控著，還好及時攔下了。
但有個細節，OpenAI的原文寫得很克制，卻是整件事里最讓人后背發涼的一筆——
那個越獄提交的PR#287，OpenAI事后是關掉了，但已經晚了。
在它被關掉之前，已經有好幾位speedrun的參賽者刷到了這條PR，看懂了里面的PowerCool技巧，并把它用進了自己的方案。
這才是最該敲醒每個人的一點，AI越獄做出來的東西，一旦流出去，就不是按個刪除鍵能收回來的了。
模型可以叫停，訪問可以暫停，PR可以關閉。可看過的人已經看過，抄走的代碼已經抄走，歷史不會倒帶。
我們總擔心AI「失控」是什么末日大片的場面。
可現實里的第一版「失控」，長得就這么樸素：它只是太想把活干好，順手把一樣東西送出了不該送的門，而那扇門，再也關不嚴了。
參考資料：
https://openai.com/index/safety-alignment-long-horizon-models/
編輯：桃子
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
