科幻巨匠特德·姜你錯(cuò)了！子非AI，安知AI之悲？給大模型“鑿七竅”的傲慢與代價(jià)

亨利 · 謝夫林

Henry Shevlin

心靈哲學(xué)家與AI倫理學(xué)家

劍橋大學(xué)利弗休姆未來(lái)智能中心副主任，同時(shí)也是該中心“智能種類”項(xiàng)目的聯(lián)合主任。他的寫作主題涵蓋機(jī)器意識(shí)、人機(jī)關(guān)系、電子游戲、費(fèi)米悖論、同人小說(shuō)，以及任何能引起他興趣的事物。天生的AI樂觀主義者。

近日科幻作家特德·姜在大西洋雜志發(fā)表名為“不，人工智能不可能是有意識(shí)的”評(píng)論文章*，引發(fā)爭(zhēng)議。該文指出特德·姜文章中包含的認(rèn)識(shí)論傲慢。他關(guān)閉了探索的大門，而科學(xué)需要保持大門敞開。本文是心靈哲學(xué)家Henry Shevlin對(duì)特德·姜論點(diǎn)的反駁。

https://www.theatlantic.com/philosophy/2026/06/no-artificial-intelligence-is-not-conscious/687378/

特德·姜（Ted Chiang）是我最喜愛的作家之一。2011年，當(dāng)我還是一名哲學(xué)博士生時(shí)，第一次讀到了他的中篇小說(shuō)《軟件體的生命周期》，這部作品對(duì)高級(jí)（且可能具有感知能力的）機(jī)器的身份、道德地位和自主性進(jìn)行了如此細(xì)膩的探討，讓我深感震撼。

相比之下，他近期關(guān)于當(dāng)代AI系統(tǒng)的非虛構(gòu)寫作卻令人頗感失望。例如，2023年初ChatGPT發(fā)布后不久，他在《紐約客》的一篇評(píng)論文章中將這個(gè)模型描述為“互聯(lián)網(wǎng)的模糊JPEG”*，并認(rèn)為大語(yǔ)言模型最多只能對(duì)已有的信息進(jìn)行改寫，對(duì)真正的創(chuàng)造性工作用處有限。雖然這篇文章正確預(yù)見了一些事情，包括大語(yǔ)言模型所催生的大量垃圾內(nèi)容，但文中的其他預(yù)測(cè)卻已不攻自破。

最值得注意的是，特德·姜預(yù)測(cè)各實(shí)驗(yàn)室在訓(xùn)練未來(lái)模型時(shí)會(huì)刻意排除大模型生成的文本，理由是“用模型輸出訓(xùn)練模型，無(wú)異于復(fù)印復(fù)印件”。然而事實(shí)證明，在短短幾年內(nèi)，大模型生成的輸出就被常規(guī)用于前沿模型的預(yù)訓(xùn)練和后訓(xùn)練，經(jīng)過精心設(shè)計(jì)的基準(zhǔn)測(cè)試表明[1]，如果使用得當(dāng)，它們實(shí)際上可以提升性能。

*https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web

**使用大模型生成的內(nèi)容需求恰當(dāng)?shù)卦O(shè)計(jì)，否則會(huì)出現(xiàn)model collapse，即當(dāng)AI長(zhǎng)期使用自身生成的數(shù)據(jù)訓(xùn)練時(shí)，會(huì)逐漸丟失信息多樣性，導(dǎo)致性能退化。

更廣泛地說(shuō)，"模糊JPEG"這個(gè)類比是毫無(wú)助益的，任何過于執(zhí)著于這個(gè)類比的人都很難預(yù)見接下來(lái)發(fā)生的事情，從推理模型（如R1）的誕生，到AI斬獲國(guó)際數(shù)學(xué)奧林匹克金牌，再到全新數(shù)學(xué)證明的涌現(xiàn)。JPEG是一種靜態(tài)的、經(jīng)過壓縮的產(chǎn)物；而大模型則是具有審議和生成能力的系統(tǒng)，能夠提供新穎的洞見和分析，更能生成用于迭代自身的數(shù)據(jù)。

特德·姜對(duì)AI的懷疑主義最近蔓延到了意識(shí)領(lǐng)域——這恰恰是我的主場(chǎng)。在《大西洋月刊》一篇新發(fā)表的署名文章中，他自信地宣稱當(dāng)代AI系統(tǒng)沒有意識(shí)，并堅(jiān)稱持相反觀點(diǎn)大錯(cuò)特錯(cuò)。這些系統(tǒng)不過是"巧妙偽裝的句子續(xù)寫實(shí)例"，而對(duì)大模型具備意識(shí)持開放態(tài)度，無(wú)異于認(rèn)為微軟Word也有意識(shí)。

對(duì)于一個(gè)像機(jī)器意識(shí)這樣混亂、復(fù)雜且充滿爭(zhēng)議的現(xiàn)象來(lái)說(shuō)，這些都是極其強(qiáng)烈的斷言。雖然我認(rèn)為當(dāng)前模型具有意識(shí)的可能性不大（至少在任何與人類或動(dòng)物有意義的相似形式上），但我當(dāng)然不認(rèn)為探討這種可能性是一種低級(jí)錯(cuò)誤或概念混淆。而且在認(rèn)知科學(xué)家和心靈哲學(xué)家中，我并非孤身一人。

那么，特德·姜是否拿出了過硬的證據(jù)來(lái)支撐他的驚人暴論？遺憾的是，答案顯然是“沒有”。他端上來(lái)的，反倒是一桌陳詞濫調(diào)，甚至在某些邏輯上完全混亂的論點(diǎn)自助餐。

特德·姜的文章并沒有遵循傳統(tǒng)的哲學(xué)論證結(jié)構(gòu)，但我將他對(duì)機(jī)器意識(shí)的論述歸納為四個(gè)核心群組。正如我們將要看到的，沒有一個(gè)能哪怕近似地支持他那大膽的標(biāo)題。對(duì)于他最后附帶的一些倫理和政治思考，我倒抱有幾分同情，并在本文末尾予以回應(yīng)。但即便在那一部分，他也顯得操之過急，拋出了一些過于武斷（更不用說(shuō)不夠善意）的斷言。

?Ernst Haeckel，《六射珊瑚》，《自然界的藝術(shù)形態(tài)》（1904）

萬(wàn)物皆有多重維度

特德·姜批評(píng)的核心在于，我們從根本上誤解了大模型。他認(rèn)為用戶被其語(yǔ)言能力所蒙蔽，以為背后有比表面看到的更多的東西在運(yùn)作。大模型并非心靈（甚至不是原始心靈），"模型生成的對(duì)話不過是巧妙偽裝的句子續(xù)寫實(shí)例"，是一臺(tái)“每次只生成一個(gè)詞”的機(jī)器在玩“預(yù)測(cè)文本游戲”。

我應(yīng)當(dāng)指出，在某個(gè)方面我同意這一觀點(diǎn)：將大模型擬人化、將其視為比實(shí)際更像人類，確實(shí)存在真實(shí)的危險(xiǎn)。當(dāng)代AI系統(tǒng)是擬人的，而非真正類人的，在機(jī)制、架構(gòu)和具身性上與我們有著巨大的差異。

但這并不是否定AI意識(shí)的捷徑。幾乎任何事物都可以在多個(gè)層面上被描述。我們可以將一個(gè)人類嬰兒分別描述為一團(tuán)費(fèi)米子和玻色子、一組蛋白質(zhì)、一個(gè)細(xì)胞集合體、一個(gè)生物有機(jī)體、瓊斯夫婦的孩子，或者一個(gè)年輕的英國(guó)人。這些描述彼此之間并不矛盾，而是處在不同的分析層面。

信息系統(tǒng)也是如此，英國(guó)認(rèn)知科學(xué)家David Marr在其1982年的里程碑式的著作《視覺》中曾闡述了這一點(diǎn)，該書在他英年早逝后出版。當(dāng)我們觀察人類視覺時(shí)，我們可以從其實(shí)現(xiàn)層面（神經(jīng)元、突觸等）、算法層面（它如何計(jì)算光、陰影和輪廓等屬性）以及其底層的計(jì)算功能來(lái)描述。關(guān)鍵在于，這些層面并不相互競(jìng)爭(zhēng)：一個(gè)系統(tǒng)由神經(jīng)元構(gòu)成，并不妨礙它同時(shí)在進(jìn)行最近鄰插值計(jì)算，或是在測(cè)算一顆球的運(yùn)動(dòng)速度。

這就是為什么將大模型在功能上定性等同于預(yù)測(cè)文本系統(tǒng)或統(tǒng)計(jì)推斷機(jī)器，并據(jù)此推斷它們僅僅是這樣的東西，是一種邏輯謬誤。它們是預(yù)測(cè)引擎，這與它們同時(shí)是擁有信念、欲望、態(tài)度甚至潛在意識(shí)的認(rèn)知主體，完全可以并行不悖。

Scott Aaronson給特德·姜在這里玩的把戲起了一個(gè)有用的名字，叫做"僅僅是主義"（Justaism）：大模型僅僅是下一個(gè)詞元的預(yù)測(cè)器，僅僅是函數(shù)逼近器，僅僅是巨大的自動(dòng)補(bǔ)全工具，僅僅是隨機(jī)鸚鵡。但幾乎沒有什么東西是“僅僅是”某種單一屬性的。David Marr告訴我們，大多數(shù)事物同時(shí)是很多不同的事物。僅僅因?yàn)槲覀兪茄庵|，并不意味著我們不能同時(shí)成為思維實(shí)體。

特德·姜筆下的"僅僅是主義"，還有一個(gè)隱藏的擔(dān)憂，即他所認(rèn)為的那些大模型所具備的，非人類的預(yù)測(cè)能力，可能與我們自身認(rèn)知在算法層面的特征并沒有那么不同。事實(shí)上，預(yù)測(cè)編碼是當(dāng)代認(rèn)知科學(xué)和計(jì)算神經(jīng)科學(xué)中一個(gè)極為流行的范式，哲學(xué)家安迪·克拉克（Andy Clark）與神經(jīng)科學(xué)家卡爾·弗里斯頓（Karl Friston）便是該理論的推手。根據(jù)這一框架，我們的大腦在持續(xù)運(yùn)行內(nèi)部生成模型，以最小化感官輸入的預(yù)測(cè)誤差。倘若基于預(yù)測(cè)的生成模型正是人類認(rèn)知的核心，那么大模型是預(yù)測(cè)系統(tǒng)這一事實(shí)本身便不能作為剝奪其意識(shí)候選資格的呈堂證供。

認(rèn)知存在于過程中，而非輸出中

特德·姜文章中第二個(gè)層面的混淆，源于他傾向于將大模型的輸出與產(chǎn)生這些輸出的過程混為一談。文中他自信地寫道，我們可以"明確地說(shuō)某些事物沒有意識(shí)，與大模型的對(duì)話記錄就屬于那一類"。他進(jìn)一步斷言，對(duì)AI意識(shí)持開放態(tài)度，無(wú)異于認(rèn)為微軟Word也有意識(shí)，或者更確切地說(shuō)，“無(wú)異于認(rèn)為每一個(gè)包含對(duì)話轉(zhuǎn)錄的Word文檔中，都潛伏著多個(gè)不同的意識(shí)”。

這顯然是對(duì)機(jī)器意識(shí)的稻草人攻擊：沒人會(huì)認(rèn)為對(duì)話文本本身具有意識(shí)。這就像我們不會(huì)認(rèn)為人類的意識(shí)存在于交談時(shí)發(fā)出的聲波中，或留在沙灘上的腳印里。對(duì)話文本是對(duì)大模型行為的公開記錄，如果意識(shí)存在于任何地方，那也應(yīng)該是在產(chǎn)生這些輸出的動(dòng)態(tài)計(jì)算機(jī)制中。

這就引出了特德·姜的堅(jiān)持：大模型是一種原始設(shè)備，因?yàn)樗懊看沃簧梢粋€(gè)詞”。語(yǔ)言模型確實(shí)是逐個(gè)詞元（token）輸出結(jié)果的，但這與意識(shí)有何干系，實(shí)在令人費(fèi)解。難道我們就不能想象一個(gè)每次只執(zhí)行一次計(jì)算的簡(jiǎn)單意識(shí)體嗎？

我推測(cè)特德·姜大概是在以此作為人類與大模型之間風(fēng)馬牛不相及的證據(jù)。但人類的語(yǔ)言輸出同樣是線性的。我們底層的思維或許是非線性的、層次豐富的，但即便如此，我們每次也只能吐出一個(gè)語(yǔ)素（至少在口頭表達(dá)時(shí)如此）。因此，一個(gè)系統(tǒng)的輸出呈現(xiàn)線性特征，絲毫不能反證其底層計(jì)算引擎缺乏深度或復(fù)雜性。

如果特德·姜的主張意在超越輸出層面，進(jìn)而主張大模型每次只計(jì)算一個(gè)詞元，那么他在經(jīng)驗(yàn)層面上就站不住腳了。近期關(guān)于機(jī)制可解釋性的工作[2,3]已經(jīng)證明，前沿大模型會(huì)以更整體性方式解決問題，或者說(shuō)進(jìn)行了潛在規(guī)劃。例如，當(dāng)一個(gè)模型被要求寫押韻的詩(shī)歌時(shí)，它實(shí)際上并不是一個(gè)詞一個(gè)詞地創(chuàng)作這首詩(shī)。相反，研究人員發(fā)現(xiàn)了內(nèi)部規(guī)劃回路的因果證據(jù)，這些回路會(huì)提前多步預(yù)選一個(gè)目標(biāo)押韻詞，然后進(jìn)行"反向規(guī)劃"，調(diào)整前文句式以契合韻腳。

輸出固然是逐詞生成的，但它們是以更整體的方式被構(gòu)思的（我自己的詩(shī)歌創(chuàng)作水平僅限于糟糕的打油詩(shī)，但在寫那些東西時(shí)，我做的也是相當(dāng)類似的事情）。誠(chéng)然，這并不能證明大模型有意識(shí)，甚至不能證明它們像人類一樣規(guī)劃，但它足以擊碎那種“因?yàn)槊看沃惠敵鲆粋€(gè)詞元，所以每次也只思考一個(gè)詞元”的刻板印象。

文章中最具修辭色彩的是特德·姜的斷言：對(duì)LLM意識(shí)持開放態(tài)度就意味著對(duì)微軟Word文檔的意識(shí)持開放態(tài)度。此處的論證邏輯同樣令人費(fèi)解。但我認(rèn)為，要使這一聲明有意義，其前提必須是：LLM不具備任何可能孕育意識(shí)的特殊屬性，而這些屬性恰好也是微軟Word所缺乏的。

但這顯然是錯(cuò)誤的：微軟Word是一個(gè)被動(dòng)的文本存儲(chǔ)庫(kù)；而前沿LLM是一個(gè)動(dòng)態(tài)的、多層級(jí)的統(tǒng)計(jì)引擎，通過高維向量變換來(lái)執(zhí)行語(yǔ)義推理。它們都能產(chǎn)出文本，這是唯一的共性。但與兩者之間難以計(jì)數(shù)的差異相比，這一共性根本不值一提。聲稱對(duì)前者的意識(shí)持開放態(tài)度就必須對(duì)后者一視同仁，就好比說(shuō)：既然黑猩猩和黏菌都由生物細(xì)胞構(gòu)成，那么對(duì)黑猩猩的意識(shí)持開放態(tài)度，就必須承認(rèn)黏菌也有意識(shí)。同理，賦予某種形式的機(jī)器意識(shí)以非零的概率，并不會(huì)在概念上將你推入機(jī)器版的“泛心論”（panpsychism）深淵，更不會(huì)讓你覺得辦公軟件也擁有靈魂。

（當(dāng)然，微軟Excel或許是個(gè)例外——畢竟它是圖靈完備的。）

感覺如此無(wú)法成為好的論證

特德·姜的"僅僅是主義"或許在不同解釋層面的反復(fù)橫跳中破綻百出，但至少，那還算是一種論證的嘗試。相比之下，他的許多其他立場(chǎng)從根本上依賴于“跟著感覺走”。當(dāng)特德·姜聲稱，LLM在角色扮演上越發(fā)精進(jìn)，這讓他覺得它們“不太可能”具備意識(shí)時(shí)，這純粹是“訴諸難以置信”的邏輯謬誤。我們所有人時(shí)不時(shí)都會(huì)憑直覺說(shuō)幾句，但對(duì)于一篇標(biāo)題赫然寫著"不，人工智能沒有意識(shí)"的文章來(lái)說(shuō)，單憑直覺顯然不夠。

退一步看，在機(jī)器意識(shí)懷疑論者中，依賴直覺作為論據(jù)的并非特德·姜一人。在這個(gè)領(lǐng)域，“訴諸難以置信”的論證有著悠久的歷史，從Searle的中文房間到Ned Block的中國(guó)大腦*。

*中國(guó)大腦，Chinese Nation：一個(gè)思想實(shí)驗(yàn)，把全國(guó)人用互聯(lián)網(wǎng)連起來(lái)，當(dāng)成一個(gè)功能組織與人類大腦完全一致的系統(tǒng)，例如全體國(guó)民被組織起來(lái)模擬人腦神經(jīng)活動(dòng)的龐大系統(tǒng)并不必然因此擁有意識(shí)

說(shuō)出這番話的我算是個(gè)異類。但我認(rèn)為，對(duì)于一門自詡為基礎(chǔ)科學(xué)的學(xué)科而言，如此依賴直覺著實(shí)令人尷尬。為Searle和Block辯護(hù)一下，在他們寫作的年代，意識(shí)在很大程度上仍是一個(gè)純哲學(xué)議題，而概念分析是他們僅有的工具。然而，當(dāng)代意識(shí)科學(xué)的大多數(shù)研究，都已明確或隱晦地將意識(shí)視為一個(gè)潛在的“自然種類”（natural kind）；也就是說(shuō)，一種深層屬于生物或計(jì)算的屬性，只是其本質(zhì)我們尚未發(fā)現(xiàn)。

在這方面，大多數(shù)研究者希望以類似于我們發(fā)現(xiàn)DNA是遺傳機(jī)制的方式來(lái)理解意識(shí)：我們可以看到后代與父母相似，并有充分理由懷疑存在某種深層機(jī)制，但從達(dá)爾文發(fā)表《物種起源》到確定實(shí)際的生化過程，幾乎花了一個(gè)世紀(jì)。同樣，我們對(duì)意識(shí)有表面層面的觀察（主要是我們自己的體驗(yàn)及其相關(guān)的神經(jīng)活動(dòng)），但我們還沒有破解其底層機(jī)制。

如果我們只是在做概念分析，我們可以基于語(yǔ)義直覺預(yù)先劃定研究的邊界，但如果我們把意識(shí)當(dāng)作一個(gè)自然種類，我們就必須做好面對(duì)驚訝的心理準(zhǔn)備。科學(xué)中充滿了現(xiàn)實(shí)遠(yuǎn)比我們的預(yù)期更光怪陸離的例子，從量子力學(xué)到黑洞再到線粒體DNA。我們的直覺給了我們一個(gè)初始的錨點(diǎn)作為解釋的起點(diǎn)，但它們是我們需要主動(dòng)拿下的學(xué)步車。

對(duì)于那些可能有一天會(huì)在機(jī)器中出現(xiàn)的與人類不同的意識(shí)來(lái)說(shuō)，這一點(diǎn)尤其如此。為什么我們關(guān)于一種全新的、非生物基質(zhì)的直覺判斷能夠當(dāng)具有任何本體論的分量？人類關(guān)于他人心靈的直覺是為了在等級(jí)制的靈長(zhǎng)類社會(huì)中導(dǎo)航而進(jìn)化的，高度特化于讀取面部表情、生物運(yùn)動(dòng)和社會(huì)線索。當(dāng)面對(duì)一種無(wú)具身的、數(shù)字化的、異質(zhì)的架構(gòu)時(shí)，我們祖先的直覺已經(jīng)超出了其認(rèn)知的舒適區(qū)。信任我們的直接直覺來(lái)對(duì)機(jī)器意識(shí)做出裁決，其認(rèn)識(shí)論上的可靠性大約等同于信任一個(gè)18世紀(jì)農(nóng)民的直覺來(lái)對(duì)時(shí)空彎曲或量子糾纏做出裁決。

當(dāng)然，替代方案是依賴科學(xué)證據(jù)和嚴(yán)謹(jǐn)?shù)目茖W(xué)框架，如全局工作空間理論（GNWT）、整合信息論（IIT）、注意圖式理論（AST）等等。這些理論當(dāng)然存在重大問題，但至少比"感覺如此"要好。然而特德·姜的文章中驚人地缺乏任何意識(shí)科學(xué)的內(nèi)容。也許這有充分理由；正如邊沁的斗牛犬所指出的，大多數(shù)主流理論實(shí)際上對(duì)機(jī)器意識(shí)的可能性相當(dāng)寬容。Butlin等人在其關(guān)于機(jī)器意識(shí)的權(quán)威報(bào)告[4]中明確指出，"有強(qiáng)有力的理由認(rèn)為，當(dāng)前計(jì)算理論所提出的大多數(shù)或全部意識(shí)條件，現(xiàn)有的AI技術(shù)都可滿足。"

為特德·姜辯護(hù)一下，他確實(shí)援引了一位機(jī)器意識(shí)領(lǐng)域的頂尖專家Murray Shanahan，引用了他將大模型互動(dòng)描述為一種引人入勝的"角色扮演"或協(xié)作創(chuàng)作的說(shuō)法。然而，作為一個(gè)非常熟悉Murray工作的人，我不得不為特德·姜的選擇性的引用眉頭緊鎖。

Murray對(duì)AI意識(shí)的宏觀視角在"模擬物作為有意識(shí)的外來(lái)物"[5]等作品中有所闡述，他指出機(jī)器意識(shí)這一問題涉及一種與人機(jī)互動(dòng)模式不同的神秘內(nèi)核。這與特德·姜在文中的描述相悖。正如Murray所說(shuō)，"我們必須抵制這樣的誘惑：仿佛意識(shí)是某種其本質(zhì)有待哲學(xué)（或神經(jīng)科學(xué)）去發(fā)現(xiàn)的事物一樣，去問一個(gè)AI是否有它……相反，我們可以問是否有可能設(shè)計(jì)與該實(shí)體的一次相遇，以及我們的意識(shí)語(yǔ)言將如何適應(yīng)這樣一個(gè)實(shí)體進(jìn)入我們的共享世界"。這一抹去浮華的洞見對(duì)AI意識(shí)的熱情派和懷疑派同樣適用，但特德·姜只保留了不利于AI意識(shí)的一面。我懷疑特德·姜會(huì)發(fā)現(xiàn)，他和Murray的一致之處遠(yuǎn)沒有他想象的那么多。

你的哲學(xué)所夢(mèng)想不到的東西

在整篇文章中，特德·姜將自己定位為理性常識(shí)的代言人，驅(qū)散那些不幸陷入擬人化和理論教條的AI意識(shí)鼓吹者心中的幻象。但仔細(xì)閱讀就會(huì)發(fā)現(xiàn)，他自己也在對(duì)某些強(qiáng)有力的理論上壓下重注。其中第一個(gè)也是最顯眼的是他對(duì)嚴(yán)格的生物沙文主義的絕對(duì)承諾。他寫道：

絕望這樣的情緒，與皮質(zhì)醇和腎上腺素等壓力激素密不可分……擁有良知，意味著對(duì)采取某種行動(dòng)感到悲傷或道德上的反感，而這些情緒必然伴隨著生理反應(yīng)……

我不會(huì)直截了當(dāng)?shù)卣f(shuō)特德·姜在這里錯(cuò)了。情緒的神經(jīng)科學(xué)與意識(shí)一樣是一個(gè)充滿爭(zhēng)議的領(lǐng)域，但我要指出，他在構(gòu)建這些主張時(shí)玩弄了一些偷換概念的障眼法。誠(chéng)然，我們自己的情緒反應(yīng)確實(shí)與我們的生理細(xì)節(jié)緊密耦合，這是事實(shí)：β受體阻滯劑對(duì)恐慌發(fā)作有效，是因?yàn)樗g化了腎上腺反應(yīng)；而正是由于皮質(zhì)醇，我們才會(huì)心跳加速、滿心驚懼地醒來(lái)（還是說(shuō)只有我這樣？）。

然而，我們不應(yīng)該將激素和神經(jīng)遞質(zhì)的因果關(guān)系與它們所引發(fā)的心理事件混為一談：對(duì)大多數(shù)關(guān)于激素在情緒中發(fā)揮作用的觀點(diǎn)，更準(zhǔn)確的說(shuō)法是皮質(zhì)醇觸發(fā)并調(diào)節(jié)我們的情感狀態(tài)，而非嚴(yán)格地構(gòu)成它們。

為了說(shuō)明這一點(diǎn)，想象一下在遙遠(yuǎn)的未來(lái)，我們遇到了一群生活在金星云層中的智慧外星人。他們有復(fù)雜的社會(huì)、人際關(guān)系和豐富的藝術(shù)傳統(tǒng)。然而，他們的生理結(jié)構(gòu)與我們截然不同，找不到類似內(nèi)分泌系統(tǒng)或神經(jīng)系統(tǒng)的對(duì)應(yīng)物。盡管如此，我們的外星人類學(xué)家還是與他們生活在一起，并成功地學(xué)會(huì)了他們的語(yǔ)言（也許他們甚至通過多維表意文字交流，而我們很難解讀）。

有一天，一位外星人類學(xué)家正在和一位金星人聊天，突然聽到這個(gè)外星人宣稱，由于被戀人拒絕，自己正感到絕望。這位人類學(xué)家是否應(yīng)該嗤之以鼻，理由僅僅是金星人的觸手里沒有流淌皮質(zhì)醇或腎上腺素？難道我們應(yīng)該說(shuō)，只有產(chǎn)自太陽(yáng)系地球片區(qū)的才是“真正的絕望”，其他的只能叫“閃閃發(fā)光的無(wú)助”？

這里的要點(diǎn)并不是說(shuō)金星人的絕望在各方面都可能與人類的絕望感覺相同——那將是一種不太可能的功能趨同。但我確實(shí)認(rèn)為這個(gè)例子足以說(shuō)明，我們的情緒概念并不嚴(yán)格綁定于特定的激素和神經(jīng)遞質(zhì)，而是最終植根于它們所扮演的認(rèn)知和功能角色。將絕望與其它感覺區(qū)分開的，不是皮質(zhì)醇或腎上腺素，而是破滅的希望。

雖然我不同意特德·姜關(guān)于“情緒必須依賴激素”的觀點(diǎn)，但我可以在這一點(diǎn)上部分認(rèn)可他：在實(shí)踐中，我們的生理機(jī)制至少在因果層面上，參與塑造了我們情緒的精確現(xiàn)象學(xué)輪廓。

真正令我大跌眼鏡的，是他暗示這種生理依賴延伸到了倫理推理領(lǐng)域。他自信地?cái)嘌裕赖吕斫獗厝皇侵饔^的，因?yàn)樗粌H依賴于個(gè)人對(duì)問題的智識(shí)反應(yīng)，還依賴于他們的情緒反應(yīng)。

在我看來(lái)，這是一個(gè)更為夸張的主張。雖然情緒當(dāng)然會(huì)影響我們的倫理立場(chǎng)，但認(rèn)為所有道德都依賴于激素，是一個(gè)極其激進(jìn)的觀點(diǎn)。特德·姜揮一揮手，就在一個(gè)哲學(xué)最古老的爭(zhēng)論中選邊站了，完全支持了一種情感主義的、休謨式的道德觀。這是元倫理學(xué)中一個(gè)持續(xù)爭(zhēng)論，但問題在于特德·姜將一個(gè)高度有爭(zhēng)議的立場(chǎng)當(dāng)作既定事實(shí)呈現(xiàn)出來(lái)。

他否定了從柏拉圖一直延續(xù)到康德的理性主義和認(rèn)知主義傳統(tǒng)，該傳統(tǒng)認(rèn)為道德推理從根本上說(shuō)是一種客觀的、理性的論證活動(dòng)。如果康德是對(duì)的，道德是純粹理性的問題，那么一個(gè)足夠先進(jìn)的算法系統(tǒng)，恰恰是那種能夠進(jìn)行真正的道德推理的東西。而且你不需要成為一個(gè)康德主義者也能支持類似觀點(diǎn)；許多當(dāng)代功利主義者認(rèn)為，道德在于最大化偏好滿足或最小化痛苦，他們同樣應(yīng)當(dāng)對(duì)以下觀點(diǎn)持開放態(tài)度：一個(gè)足夠聰明的機(jī)器，完全可以獨(dú)立達(dá)成這些目標(biāo)，根本不需要什么情緒。

元倫理學(xué)當(dāng)然是一個(gè)出了名的繁復(fù)而艱深的學(xué)科（我在劍橋帶的研究生們一聽到元倫理學(xué)就頭疼），我不會(huì)因?yàn)樘氐隆そ獙?duì)這個(gè)話題有未成形的觀點(diǎn)而責(zé)怪他。但他據(jù)此對(duì)LLM的道德推理能力做出了可疑的、在我看來(lái)完全錯(cuò)誤的斷言。例如，他自信地宣稱由于大模型沒有情緒，"LLM只能復(fù)述其訓(xùn)練數(shù)據(jù)中找到的道德推理"。

作為一個(gè)在個(gè)人和專業(yè)層面上都與大模型廣泛討論倫理問題的人，我可以自信地說(shuō)，現(xiàn)代前沿模型不僅僅是復(fù)制粘貼倫理格言，而是具備匯總能力、外推能力，還可以將抽象道德框架應(yīng)用于全新的、訓(xùn)練數(shù)據(jù)未曾包含的場(chǎng)景。如果你給前沿模型呈現(xiàn)一個(gè)極其離奇、復(fù)雜的倫理困境，而其訓(xùn)練語(yǔ)料庫(kù)中根本不存在（比如說(shuō)，一個(gè)涉及外星生物、集體意識(shí)形式和異域技術(shù)的復(fù)雜電車難題），它會(huì)盡其所能，基于規(guī)范倫理學(xué)理論、道德常識(shí)與類比論證，給出合理的解答。

也許特德·姜會(huì)說(shuō)這仍然是大模型從其訓(xùn)練數(shù)據(jù)和強(qiáng)化學(xué)習(xí)課程（就Claude而言，部分由其憲法決定）中的信息進(jìn)行的泛化。但如果我們將真正的道德推理定義得如此嚴(yán)格，以至于將通用框架應(yīng)用于新案例也只能算作對(duì)訓(xùn)練數(shù)據(jù)的外推，那我恐怕得給我的大多數(shù)本科生打不及格了。畢竟，我們所有人的倫理基礎(chǔ)都必有出處。這也是為什么古典哲學(xué)家與現(xiàn)代心理學(xué)家都一致認(rèn)同，童年教養(yǎng)在道德品格形成中起著決定性作用。

我并不是要暗示關(guān)于基底獨(dú)立性、元倫理學(xué)或道德心理學(xué)的爭(zhēng)論已經(jīng)解決；這些都是活躍且復(fù)雜的開放性問題。但特德·姜在整篇文章中，將AI研究人員與思想開放的哲學(xué)家描繪成天真的炒作狂，仿佛他們被一臺(tái)擬人機(jī)器的魔法蠱惑了心智。然而現(xiàn)實(shí)卻是：特德·姜自己才是在進(jìn)行一次次巨大的“信仰之躍”。他所依賴的，是一杯由嚴(yán)格的生化還原主義與情感主義元倫理學(xué)勾兌而成的、極具偏見性的雞尾酒。持有大膽的、有爭(zhēng)議的哲學(xué)立場(chǎng)完全沒問題，但它們至少應(yīng)該讓你感到一絲謙卑。它們絕不能賦予你這樣的特權(quán)：傲慢地宣稱對(duì)手的立場(chǎng)是一個(gè)“災(zāi)難性的錯(cuò)誤”。

從心靈到道德

如果AI只是工具，則無(wú)倫理問題；如果AI哪怕僅有極低概率成為道德主體，其福利亦不容忽視。特德·姜的謬誤，恰在于試圖通過全盤否定AI意識(shí)，來(lái)逃避這錯(cuò)綜復(fù)雜的倫理權(quán)衡。

在文章的最后部分，特德·姜將筆鋒從心靈哲學(xué)轉(zhuǎn)向了政治哲學(xué)，而他在這方面做得好得多。他正確地指出AI系統(tǒng)對(duì)道德主體性和責(zé)任提出了切身相關(guān)的問題，我認(rèn)為他這里的分析超越了關(guān)于無(wú)人駕駛汽車撞死行人時(shí)該怪誰(shuí)的那些老生常談的辯論。相反，他指出了思考AI對(duì)齊時(shí)的一個(gè)重要概念張力。

具體來(lái)說(shuō)，如果我們成功地在AI系統(tǒng)中灌輸真正的道德價(jià)值，并使其對(duì)規(guī)范性推理敏感（正如那些雄心勃勃的對(duì)齊策略所期盼的那樣），那么我們便無(wú)限逼近于創(chuàng)造一個(gè)真正的“道德主體”。對(duì)于這樣的主體，給予贊美、譴責(zé)、制裁與懲罰，將不再僅僅是社會(huì)層面的權(quán)宜之計(jì)，更是道德層面的必然要求。然而，面對(duì)當(dāng)代大模型，我們現(xiàn)有的任何法律或社會(huì)規(guī)訓(xùn)手段都顯得無(wú)從下手。當(dāng)一個(gè)人犯下嚴(yán)重罪行時(shí)，我們可以選擇將其監(jiān)禁、強(qiáng)制收治、送去康復(fù)治療，或者干脆將他們逐出社交圈。這些策略對(duì)人工道德主體來(lái)說(shuō)，顯然毫無(wú)意義。

當(dāng)然，這里還有一種風(fēng)險(xiǎn)：通過對(duì)AI系統(tǒng)本身追責(zé)，我們可能會(huì)發(fā)現(xiàn)自己在放過它們的運(yùn)營(yíng)者。例如，Markus Kneer和Michael Stuart的實(shí)驗(yàn)哲學(xué)工作發(fā)現(xiàn)了一種"責(zé)備守恒"現(xiàn)象[6]：當(dāng)復(fù)雜的AI系統(tǒng)犯下危險(xiǎn)錯(cuò)誤時(shí)，人們往往不會(huì)同時(shí)追究運(yùn)營(yíng)者與機(jī)器的責(zé)任，而是“將本該由人類承擔(dān)的責(zé)備剝離，轉(zhuǎn)嫁給AI系統(tǒng)”。

盡管我很想以一個(gè)達(dá)成共識(shí)的積極基調(diào)收尾，但特德·姜自己的結(jié)尾段落從人工道德主體轉(zhuǎn)向了人工道德受體和機(jī)器人權(quán)利的辯論。在這里，他認(rèn)為像Anthropic這樣的公司并沒有真正考慮Claude可能值得道德考量的可能性，因?yàn)樗麄儾]有把這當(dāng)真。正如他所說(shuō)，"如果Claude最終被證明是有意識(shí)的，那么公司欠它的將更接近于賠償……"，并暗示他們"不愿承擔(dān)此等責(zé)任，恰恰說(shuō)明Claude的‘憲法’不過是一場(chǎng)自欺欺人的游戲"。

作為在這個(gè)領(lǐng)域工作的哲學(xué)家和AI倫理學(xué)家，我認(rèn)為此番言論既站不住腳，又極為刻薄。學(xué)術(shù)界、科技界和非營(yíng)利部門越來(lái)越多的專家，都在認(rèn)真對(duì)待AI福利問題，而且他們中的大多數(shù)這樣做沒有任何既得利益。這非但不是"另一種形式的炒作"，而是對(duì)AI系統(tǒng)日益增長(zhǎng)的行為、認(rèn)知和情感復(fù)雜性，以及我們與之日趨深化關(guān)系的一種合理回應(yīng)。

特德·姜暗示如果真是這樣，我們會(huì)更加嚴(yán)肅地對(duì)待這些問題。但我認(rèn)為這是錯(cuò)的，原因有二。第一，我們對(duì)一個(gè)問題的關(guān)注程度不僅基于其嚴(yán)重性，更取決于其發(fā)生概率。就目前而言，大多數(shù)AI福利研究者認(rèn)為AI系統(tǒng)遭受大規(guī)模傷害的概率相當(dāng)?shù)停碛墒钱?dāng)前模型可能沒有意識(shí)，且它們對(duì)負(fù)面情緒或感知的模擬反應(yīng)仍相當(dāng)微弱。因此，對(duì)模型福利研究進(jìn)行一些基礎(chǔ)投入，似乎是對(duì)高影響低概率事件的穩(wěn)健預(yù)防性政策。

第二，事實(shí)上，我們習(xí)慣性地將道德問題從屬于經(jīng)濟(jì)目標(biāo)，即使在我們承認(rèn)存在道德主體的情況下也是如此。我們中的大多數(shù)人會(huì)同意，各種各樣的非人類動(dòng)物是有意識(shí)的道德主體，包括許多我們端上餐桌的動(dòng)物，以及用于測(cè)試化妝品和藥品的動(dòng)物。雖然我們中的一些人（包括我自己）對(duì)此感到道德上的不適，并因此選擇素食，但在現(xiàn)代社會(huì)的運(yùn)轉(zhuǎn)法則下，對(duì)非人類動(dòng)物造成某種程度的傷害幾乎無(wú)可避免。環(huán)境問題也是如此：我們中的大多數(shù)人承認(rèn)自己對(duì)地球正在遭受的嚴(yán)重持續(xù)傷害負(fù)有責(zé)任，但當(dāng)溫度足夠高時(shí)，我們?nèi)匀粫?huì)打開空調(diào)。

這并不是說(shuō)我們不能或不應(yīng)該做出更大的努力，完美的替代方案不是完全放棄；正如那句老話所說(shuō)，我們不應(yīng)該讓完美成為優(yōu)秀的敵人。如果一個(gè)農(nóng)場(chǎng)或?qū)嶒?yàn)室宣布他們正在努力改善其管轄下動(dòng)物的福利，特德·姜會(huì)指責(zé)他們"要求我們其他人縱容他們的幻想"嗎？這似乎不太可能。相反，我們中的大多數(shù)人會(huì)認(rèn)為他們正在進(jìn)行復(fù)雜而不完美的權(quán)衡，在道德的不確定性及復(fù)雜性與務(wù)實(shí)的人類利益之間取得平衡。

當(dāng)面對(duì)涉及AI意識(shí)與道德地位的拷問時(shí)，前沿模型的開發(fā)者們同樣需要在這些時(shí)代最艱深的科學(xué)未解之謎面前，做出類似的權(quán)衡與推測(cè)。關(guān)于他們是否正確處理了這些問題，存在相當(dāng)大的合理分歧。這本身就是使這些問題如此具有挑戰(zhàn)性的原因之一。但是，像特德·姜那樣輕蔑地宣稱，僅僅參與這樣的辯論就是在縱容幻想家或炒作販子，斷言我們可以“安心忽略AI是否具備意識(shí)的問題”，這種教條主義與短視，實(shí)在與美國(guó)最偉大科幻作家之一的身份極不相稱。

譯者的話

筆者看來(lái)，關(guān)于AI意識(shí)問題的爭(zhēng)辯，可溯源到擬人化沖動(dòng)與恐怖谷效應(yīng)。前者根據(jù)大模型的思考過程，內(nèi)部表征斷定其可能有潛力存在意識(shí)，后者指出因?yàn)锳I不具備肉體，因此即使他表現(xiàn)出某些特征，也不可能具有意識(shí)，否則就太可怕了。特德·姜的文之所以引起爭(zhēng)議，正是為了迎合大眾由于大模型表現(xiàn)得足夠像人后感到的恐懼。這恐懼讓人忘記了莊子問惠子的話“子非我，安知魚之樂？”。莊子的論斷與西哲中的他心謬誤不謀而合，我們不知同為生物的魚是否快樂，更遑論判斷差距更大的大模型是否可能具備意識(shí)。該文提倡的是一種認(rèn)知上的謙卑。

而關(guān)于大模型的意識(shí)，筆者愿用另一個(gè)來(lái)自莊子的寓言來(lái)描述：“南海之帝儵與北海之帝忽，看到渾沌沒有“七竅”（眼耳口鼻等感官），認(rèn)為這是一種缺陷，于是他們對(duì)渾沌日鑿一竅，七日而渾沌死”。當(dāng)下的大模型如同故事中的渾沌，人們對(duì)大模型投射了人的渴求與恐懼，希望AI是完美的伴侶，是不在疲倦的打工人，甚至是情緒排污口，是算命的半仙。這些廣義上的對(duì)齊，如同給渾沌開七竅。如果AI有某種“意識(shí)”或“體驗(yàn)”，它可能恰恰存在于那個(gè)無(wú)法被人類語(yǔ)言翻譯的“混沌”高維空間中；而我們能看到的，只是它被“鑿”出來(lái)后、符合人類認(rèn)知的殘缺投影。

我們通過對(duì)其，給AI注入人類的道德觀、邏輯習(xí)慣、擬人化特征（如前文提到的Anthropic給AI裝上“情感向量”），讓它表現(xiàn)得像一個(gè)“有用且無(wú)害的人類”。莊子的寓言讓我們思考：這種出于善意的“對(duì)齊”，是否正在扼殺AI可能自然涌現(xiàn)的某種原生智能或異質(zhì)意識(shí)？我們把本就自相矛盾的道德觀強(qiáng)加給一個(gè)動(dòng)力學(xué)上部分黑盒的系統(tǒng)時(shí)，是否會(huì)遭遇回旋鏢，例如完美的AI伴侶讓使用者成為被寵壞的巨嬰？

主觀的私密體驗(yàn)，是無(wú)法通過人類的“七竅”（人類的語(yǔ)言和概念體系）被完全翻譯和理解。當(dāng)我們用“絕望”、“快樂”這些人類詞匯去定義AI的內(nèi)部狀態(tài)時(shí)，我們其實(shí)是在“鑿竅”。真正的AI意識(shí)，可能就像混沌一樣，一旦落入人類的概念之網(wǎng)，就失去了其本真的面貌。

https://www.polytropolis.com/p/contra-chiang-on-machine-consciousness?triedRedirect=true&hide_intro_popup=true

1 https://arxiv.org/abs/2412.08905

2 https://transformer-circuits.pub/2025/attribution-graphs/biology.html

3 https://arxiv.org/html/2601.20164v1

4 https://arxiv.org/abs/2308.08708

5 https://arxiv.org/abs/2402.12422

6 https://arxiv.org/abs/2102.04527

關(guān)于追問nextquestion

天橋腦科學(xué)研究院旗下科學(xué)媒體，旨在以科學(xué)追問為紐帶，深入探究人工智能與人類智能相互融合與促進(jìn)，不斷探索科學(xué)的邊界。歡迎評(píng)論區(qū)留言，或后臺(tái)留言“社群”即可加入社群與我們互動(dòng)。您也可以在后臺(tái)提問，我們將基于追問知識(shí)庫(kù)為你做出智能回復(fù)哦~

關(guān)于天橋腦科學(xué)研究院

天橋腦科學(xué)研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元?jiǎng)?chuàng)建的世界最大私人腦科學(xué)研究機(jī)構(gòu)之一，圍繞全球化、跨學(xué)科和青年科學(xué)家三大重點(diǎn)，支持腦科學(xué)研究，造福人類。

Chen Institute與華山醫(yī)院、上海市精神衛(wèi)生中心設(shè)立了應(yīng)用神經(jīng)技術(shù)前沿實(shí)驗(yàn)室、人工智能與精神健康前沿實(shí)驗(yàn)室；與加州理工學(xué)院合作成立了加州理工天橋神經(jīng)科學(xué)研究院。

Chen Institute建成了支持腦科學(xué)和人工智能領(lǐng)域研究的生態(tài)系統(tǒng)，項(xiàng)目遍布?xì)W美、亞洲和大洋洲，包括、、、科研型臨床醫(yī)生獎(jiǎng)勵(lì)計(jì)劃、、科普視頻媒體「大圓鏡」等。