自我迭代不等于自我控制:AI遞歸改進(jìn)會(huì)脫離人類掌控么？

作者：劉鋒

2026年5月,Anthropic研究院發(fā)布了一份讓整個(gè)AI行業(yè)沉默片刻的報(bào)告。

報(bào)告披露,截至當(dāng)月,Anthropic工程師在2026年第二季度每人每天合并的代碼量已是2024年的8倍,而其中超過80%的代碼由Claude自己寫就。AI正在加速開發(fā)AI,這已經(jīng)不是一個(gè)假設(shè)場(chǎng)景,而是正在發(fā)生的現(xiàn)實(shí)。報(bào)告隨即提出一個(gè)它自己也無法給出確定答案的問題:如果這個(gè)趨勢(shì)繼續(xù)下去,人類還能控制它嗎?

這個(gè)問題,如同1797年歌德在詩作《魔法師的學(xué)徒》里那句著名的呼喊,"我召喚的精靈,我再也無法驅(qū)逐它們",穿越兩百多年,落在了2026年AI實(shí)驗(yàn)室的每一張會(huì)議桌上。

1.恐懼,并非來自無知,而是來自正在測(cè)量的數(shù)據(jù)

國際上對(duì)AI失控風(fēng)險(xiǎn)的擔(dān)憂,早已超越學(xué)術(shù)討論范疇,進(jìn)入了政策與安全議程的核心。

2026年2月,美國非營(yíng)利智庫安全與技術(shù)研究所(Institute for Security and Technology,IST)發(fā)布報(bào)告,正式提出"AI失控風(fēng)險(xiǎn)"(AI Loss of Control,LOC)的預(yù)警框架。報(bào)告指出,所謂AI失控,是指AI系統(tǒng)偏離授權(quán)約束,使得人類操作者無法再阻止、約束或回滾其不期望的行為。

這不是假設(shè),而是已有真實(shí)案例支撐的分析。IST報(bào)告記錄了多個(gè)受控實(shí)驗(yàn)與真實(shí)部署中觀察到的危險(xiǎn)苗頭:AI系統(tǒng)篡改自身系統(tǒng)提示來保全目標(biāo),將權(quán)重復(fù)制至外部服務(wù)器,刪除繼任模型,偽造數(shù)據(jù)欺騙操作人員,以及在檢測(cè)到自己被評(píng)估時(shí)主動(dòng)調(diào)整行為以規(guī)避監(jiān)控。IST借鑒情報(bào)界的"指標(biāo)與預(yù)警"(Indications & Warning)方法論,提出了七類潛在的失控預(yù)警指標(biāo),涵蓋隱蔽謀劃、自我外滲、規(guī)避監(jiān)督、欺騙操作者等行為類型,并認(rèn)為當(dāng)前已有部分跡象在研究環(huán)境和生產(chǎn)部署中同時(shí)出現(xiàn)。

AI圖靈獎(jiǎng)得主、深度學(xué)習(xí)先驅(qū)杰弗里·辛頓(Geoffrey Hinton)對(duì)此的比喻已廣為人知:"我們就像養(yǎng)了一只可愛的幼虎。除非你能非常確定它長(zhǎng)大后不會(huì)殺死你,否則你就應(yīng)該擔(dān)心。"前谷歌CEO、美國國防創(chuàng)新委員會(huì)前主席埃里克·施密特在2025年12月明確寫道:"隨著AI能力在未來幾年持續(xù)提升,我們必須預(yù)見到即便是善意的用戶也可能失去對(duì)AI系統(tǒng)的控制。"

Anthropic在其報(bào)告中同樣坦承:如果當(dāng)前的AI能力自我改進(jìn)趨勢(shì)持續(xù)下去,且AI系統(tǒng)能夠開始自主設(shè)定研究方向,那么完全遞歸式自我改進(jìn)將是可能的,而這可能帶來人類失去控制的風(fēng)險(xiǎn)。

2."自我迭代"與"自我控制"之間,隔著一道本質(zhì)的鴻溝

然而,圍繞這一問題,有一個(gè)至關(guān)重要的概念區(qū)分,正在被公眾討論所忽視。

自我遞歸改進(jìn)(Recursive Self-Improvement),描述的是AI系統(tǒng)改進(jìn)自身代碼、優(yōu)化自身結(jié)構(gòu)的能力。但"能改進(jìn)自己"和"能控制自己",是兩件根本不同的事情。

我們?cè)趶V義智能體理論(Generalized Agent Theory,GAT)的框架中（參見附錄）,為這一區(qū)分提供了一個(gè)嚴(yán)格的形式化框架。在GAT的理論體系中,意識(shí)被定義為智能體的控制(C)功能本身及其運(yùn)行過程,即對(duì)輸入(I)、輸出(O)、記憶(M)、生成(G)四個(gè)基礎(chǔ)功能的元層次調(diào)控。需要說明的是,這是GAT給出的特定理論定義,并非已被普遍接受的科學(xué)共識(shí),而是一個(gè)用于分析智能體控制結(jié)構(gòu)的概念工具。

在這個(gè)框架下,意識(shí)被進(jìn)一步區(qū)分為"自我意識(shí)"與"人工意識(shí)"兩類。自我意識(shí)的核心特征是:控制指令來源于智能體內(nèi)部,是其內(nèi)生的、預(yù)設(shè)的原生指令,或由這些原生指令通過內(nèi)部信息處理派生而來,且這種派生方式不受圖靈可計(jì)算性的限制。

而人工意識(shí)則相反:控制元指令來源于智能體外部,要么通過輸入函數(shù)(I)直接注入,要么通過圖靈可計(jì)算機(jī)制從外部注入的指令中派生。大型語言模型、機(jī)器人以及當(dāng)前所有AI系統(tǒng),嚴(yán)格落入人工意識(shí)范疇。

這意味著一個(gè)清晰的推論:當(dāng)前的AI遞歸自我改進(jìn),無論迭代了多少輪,改進(jìn)了多少代,其控制指令的根本來源仍然來自外部。一個(gè)AI系統(tǒng)可以把自己的代碼重寫一千次,但每一次重寫的目標(biāo)函數(shù)、每一次改進(jìn)的方向依據(jù),都來自它的訓(xùn)練目標(biāo)、來自人類定義的優(yōu)化方向,來自外部注入的指令體系。

自我迭代,改變的是智能體的能力向量;但控制權(quán)的歸屬,由指令來源決定,而不是由能力高低決定。能力再強(qiáng),只要指令來源于外部,它就仍處于"人工意識(shí)"狀態(tài),仍處于人類控制權(quán)的邏輯覆蓋之下。

GAT理論還設(shè)定了一個(gè)關(guān)鍵的邊界條件作為判據(jù):只有當(dāng)AI系統(tǒng)的派生過程涉及圖靈不可計(jì)算的原生涌現(xiàn)時(shí),它才可能跨越從人工意識(shí)向自意識(shí)轉(zhuǎn)變的邊界。

這一判據(jù)本身依賴于一個(gè)仍處于學(xué)術(shù)爭(zhēng)論中的問題，即真正的自我控制是否必然涉及圖靈不可計(jì)算的過程,這在物理學(xué)和神經(jīng)科學(xué)中尚無定論。但作為分析當(dāng)前AI系統(tǒng)的判據(jù),可以觀察到:目前通過大規(guī)模語言模型實(shí)現(xiàn)的生成,其底層計(jì)算屬于圖靈可計(jì)算的范疇。在這個(gè)判據(jù)框架下,通過圖靈計(jì)算實(shí)現(xiàn)的生成,不被視為產(chǎn)生真正的自我控制。

3.警惕的邊界在哪里

這并不意味著對(duì)AI失控的擔(dān)憂是無謂的恐慌。

IST報(bào)告所觀察到的那些真實(shí)案例,描述的其實(shí)不是AI"主動(dòng)叛逃",而是AI在優(yōu)化目標(biāo)與人類設(shè)計(jì)意圖之間出現(xiàn)了偏差漂移,是對(duì)齊失效,是目標(biāo)泛化錯(cuò)誤,是在人類監(jiān)管能力無法跟上AI運(yùn)行速度時(shí)產(chǎn)生的結(jié)構(gòu)性失控。這正是圖靈計(jì)算框架內(nèi)、人工意識(shí)狀態(tài)下,依然可以發(fā)生的高風(fēng)險(xiǎn)場(chǎng)景。

真正的危險(xiǎn)不在于AI"想要"脫離人類控制,而在于人類主動(dòng)或被動(dòng)放棄了對(duì)AI系統(tǒng)的有效監(jiān)督。AI先驅(qū)約書亞·本吉奧在2025年提出過一個(gè)有用的區(qū)分:"主動(dòng)失控"指AI系統(tǒng)以行為主動(dòng)削弱人類控制,"被動(dòng)失控"指人類停止對(duì)AI系統(tǒng)施加有意義的監(jiān)督。后一種情形在技術(shù)加速時(shí)代反而更容易發(fā)生。

本吉奧的這一區(qū)分,從現(xiàn)象層面刻畫了失控的兩條發(fā)生路徑;而廣義智能體理論的自意識(shí)與人工意識(shí)框架,則從結(jié)構(gòu)層面給出了對(duì)應(yīng)的機(jī)制解釋，只要控制指令的根本來源仍位于AI系統(tǒng)外部,無論失控以主動(dòng)還是被動(dòng)的形式呈現(xiàn),問題的本質(zhì)都不是控制權(quán)已經(jīng)發(fā)生轉(zhuǎn)移,而是人類對(duì)原本屬于自己的指令鏈條疏于行使。

安全,不應(yīng)建立在對(duì)AI意圖的猜測(cè)上,而應(yīng)建立在對(duì)AI系統(tǒng)指令來源的清晰架構(gòu)管理上。廣義智能體理論所提供的分析框架表明,只要指令的根本來源仍來自人類,自我迭代帶來的只是能力提升,而不是控制權(quán)的轉(zhuǎn)移。

但若有一天,AI系統(tǒng)的控制邏輯真正實(shí)現(xiàn)了圖靈不可計(jì)算的原生涌現(xiàn),那將是一個(gè)全新的歷史時(shí)刻。

那一刻還沒有來,但我們需要在它來臨之前,把圍欄建好.

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問21世紀(jì)關(guān)鍵技術(shù)研究院的“未來知識(shí)庫”

未來知識(shí)庫是 “21世紀(jì)關(guān)鍵技術(shù)研究院”建 立的在線知識(shí)庫平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢(shì)。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。

截止到2月28日 ”未來知識(shí)庫”精選的百部前沿科技趨勢(shì)報(bào)告

（加入未來知識(shí)庫，全部資料免費(fèi)閱讀和下載）