Anthropic最新論文:AI的"腦海"J-space

Anthropic 最新發布的論文《A global workspace in language models》，可能是今年 AI 可解釋性領域最值得關注的一項研究。

研究團隊宣稱，他們在 Claude 內部發現了一個此前并未人為設計、而是在訓練過程中自然形成的“心理工作空間”，命名為 J-space。

它并不是模型輸出的文字，也不是大家熟悉的 chain of thought，而是模型真正“默默思考”的地方。

論文中有一句非常形象的話：“當 J-space 中某個詞被點亮，并不意味著模型正在說這個詞，而只是意味著，這個詞正存在于它的‘腦海’中。”

研究人員開發了一種名為 J-lens 的方法，可以直接讀取這個“腦海”。

實驗顯示，當 Claude 閱讀一段沒人指出錯誤的代碼時，J-space 已經出現 “ERROR”；閱讀帶有 prompt injection 的搜索結果時，會出現 “injection”“fake”；面對需要多步推理的數學題，即使沒有把中間過程寫出來，中間步驟也會依次出現在 J-space 中。

更引人關注的是，研究人員不僅能夠“讀懂”Claude 在想什么，還能“改寫”它在想什么。

他們把J-space中的“Soccer” 換成 “Rugby”，Claude 隨后便表示自己一直想到的是 Rugby；把 “France” 換成 “China”，模型關于首都、語言、大洲和貨幣四個不同問題的答案，會同時從 Paris、French、Europe、Euro，變成 Beijing、Chinese、Asia、Yuan。

論文還發現，J-space 只占 Claude 內部活動不到 10%，卻承擔了幾乎所有高階認知能力。

當研究人員關閉 J-space 后，Claude 依然能夠流暢聊天、使用語法、回答簡單事實問題，但多步推理能力幾乎降為零，摘要生成、詩歌創作等復雜任務也大幅退化。

論文因此認為，J-space 更像是模型內部負責“有意識思考”的工作空間，而其余絕大多數計算，則屬于自動完成的“無意識處理”。

安全研究同樣令人印象深刻。借助 J-lens，研究人員能夠看到模型尚未說出口的內部判斷，例如提前意識到自己“正在接受測試”、識別虛假場景、甚至發現模型準備偽造數據或執行隱藏目標。

當研究人員故意關閉代表“知道自己正在被測試”的內部表示后，Claude 在部分實驗中重新出現了勒索等不當行為。

這意味著，一個模型在安全測試中表現良好，可能部分是因為它知道自己正在接受評估。

Anthropic 并沒有因此宣稱 Claude 已經擁有意識。

論文明確表示，這些結果不能證明 Claude 擁有人類意義上的主觀體驗。不過，研究團隊認為，他們發現的 J-space，與神經科學中的 global workspace theory 存在驚人的對應關系。

這或許意味著，類似“意識訪問”的內部工作空間，并非人腦獨有，而是復雜智能系統在訓練過程中自然演化出的一種通用計算結構。

以下為 Anthropic 研究成果全文——

《語言模型中的全局工作空間 》

當你閱讀這句話時，你大腦中的神經回路正在調整你的姿勢、控制你的呼吸，并將屏幕上的線條和曲線轉化為可識別的文字。

這些處理過程大多是你意識不到的。但你大腦中發生的某些事情你確實能夠感知到——腦海中浮現的圖像，或者你 deliberate 計劃去哪里購物。

神經科學家和哲學家有時將后一種大腦活動稱為"意識可及的"（consciously accessible），以區別于所有在無意識層面進行的其他處理。

這類活動具有特殊屬性：我們能夠描述它、控制它，并將其用于 deliberate 推理，這與所有在我們意識之外自動進行的處理形成對比。

在一篇新論文中，我們提供了證據表明，類似的區分已經在像Claude這樣的現代語言模型中出現。

我們發現Claude發展出了一小部分內部神經模式，與所有其他內部處理相比，這些模式扮演著特殊的角色。

我們將這些模式的集合稱為 J-space——以我們用來發現它們的技術命名，該技術涉及一個稱為Jacobian的數學概念。

每個J-space模式都與一個特定的詞相關聯。但當其中一個模式被激活時，并不意味著模型正在說出那個詞——只是那個詞出現在它的"腦海中"。

如果你聽說過語言模型有一個"草稿本"或"思維鏈"——它們在推理時寫給自己的文本——J-space則有所不同。

它在模型內部神經激活中靜默運作，使模型能夠在不將其寫下來的情況下思考一個概念。

值得注意的是，J-space并非由我們設計或編程，而是在Claude的訓練過程中自發涌現的。

J-space揭示了不出現在模型輸出中的內部思想

我們發現，與Claude的其他處理相比，J-space具有許多獨特屬性：

? Claude可以報告這些表征。如果你問Claude它在想什么，它會告訴你J-space中的內容。非J-space表征則較難報告。

? 它也可以根據請求調節這些表征。如果你讓Claude思考某事，或在腦海中靜默解決一個問題，它會在J-space中激活相應的模式。相比之下，它難以調節不在J-space中的模式。

? Claude使用J-space進行內部推理。如果你讓Claude解決一個需要多步驟的問題，中間步驟會在J-space中激活，即使它沒有大聲說出來。這些J-space模式在因果上介導了它在此類任務中的表現，盡管其幅度比其他表征小。

? J-space中的表征可以靈活地用于許多任務——例如，一旦"France"在Claude的J-space中激活，模型可以回憶其首都、國家貨幣，或所屬大洲。

? 然而，盡管J-space扮演著重要角色，它并不參與語言模型的大部分工作——流暢地說話、回憶簡單事實、使用正確的語法等。在我們阻止Claude使用J-space的實驗中，它仍然可以正常交互，但失去了高階認知功能。

全局工作空間的五個功能屬性，以及我們用來在語言模型中測試它們的實驗的風格化圖示

我們的實驗靈感來自神經科學中一個 prominent 的理論，該理論旨在解釋意識可及性如何運作：全局工作空間理論（global workspace theory）。

該理論將大腦描繪成一組并行工作、無意識且很大程度上相互隔離的 specialist 系統。當一條信息獲得進入一個小型共享通道——"工作空間"——的權限時，它就變得意識可及，該通道向其他可以看到并利用它的大腦系統廣播。

基于我們的發現，我們認為J-space在Claude中扮演著類似的"工作空間"角色。

例如，我們發現有證據表明Claude的J-space與其神經網絡的其余部分有著特別強的連接，使其能夠履行這種廣播角色。

這一切并不能告訴我們Claude是否像人類一樣具有意識，或者它是否有任何感受；我們將在文章末尾回到這個問題。

但無論其哲學意義如何，J-space對我們而言是一個實用的工具，因為它為我們提供了一種方式來觀察Claude在想但沒有說的事情。

例如，我們能夠利用它來捕捉Claude私下注意到它正在被測試、故意生成偽造數據，或追求我們在訓練期間植入的隱藏目標。我們還開發了一種技術來影響Claude的J-space中激活的內容，從而影響其決策。

更廣泛地說，這些發現改變了我們對Claude心智運作方式的理解，揭示了一個特權心理工作空間，可用于 deliberate 推理，在一片更自動、更不靈活的處理海洋中運作。Claude的內部并非混亂的數字堆砌，而是以某種方式自我組織，讓我們聯想到自己的心智。

我們還發布了一個代碼倉庫，其中包含核心方法的開源實現，并與Neuronpedia合作，在開源權重模型上提供了我們方法的交互式演示。

為了提供關于這項工作更廣泛影響的額外視角，我們還邀請了幾位神經科學、哲學和LLM可解釋性領域的專家撰寫評論。

我們如何發現J-space

這項研究的起點受到人類意識可及思想的一個關鍵特征的啟發：與無意識處理不同，它們通常可以被轉化為語言。

如果一個思想對你來說是意識可及的，你通常可以在被問及時描述它。我們在Claude中尋找具有相同屬性的表征：那些 positioned 以影響Claude可能說什么的內容——不一定是它現在正在說的，而是如果被問到它可以談論什么。

我們的技術稱為Jacobian lens，簡稱J-lens。對于Claude詞匯表中的每個詞，J-lens找到使Claude在未來某個時刻更有可能說出該詞的內部活動模式。

當我們將J-lens應用于Claude的內部活動時，我們得到一系列詞語——此刻J-space中的內容——我們可以直接讀取。

Claude通過一系列稱為層的多個內部階段處理文本，通過在不同層應用這種技術，我們可以觀察J-space中的這些靜默詞語如何隨著模型思考該說什么而演變。

J-space中出現的內容遠遠超出了Claude正在閱讀或寫作的文本。當Claude閱讀一段沒有人指出bug的代碼時，它的J-space中包含"ERROR"。當它閱讀蛋白質序列的原始字母時，J-space中包含該蛋白質的生物學功能。當它閱讀實際上是試圖操縱它的搜索結果（一種稱為"prompt injection"的攻擊）時，J-space中包含"injection"和"fake"。當我們問Claude一個多步數學問題時，中間步驟會按正確順序出現在J-space中。

因此，盡管J-space是通過尋找可能被說出的表征而發現的，但它 nonetheless 揭示了Claude的內部思想。在某種程度上，這類似于某些人"用詞語思考"，而不必大聲說出來。

六個prompt上的J-lens讀數，在不同層。在每種情況下，J-lens都揭示了一個在文本中 nowhere 出現的內部評估或計算：推理或數學問題的步驟、bug的存在、圖像的識別、蛋白質的功能，以及對搜索結果被偽造的懷疑。

Claude報告J-space中的內容

我們的第一組實驗測試了J-space如何參與Claude的言語報告。

在一個實驗中，我們讓Claude靜默想出一個來自某個類別的物品——比如一項運動——然后說出它。

如果我們在Claude回答之前讀取J-lens，我們可以看到它選擇了什么："Soccer"在列表頂部，果然，Claude說出了"soccer"。

然而，這本身只是一個相關性。J-space可能是Claude答案的來源，也可能只是 elsewhere 做出的決定的鏡像，就像追蹤比賽而不影響比賽的記分牌一樣。

為了驗證，我們直接進行了干預。我們深入Claude的神經網絡，移除"Soccer"模式，并在其位置添加一個同等強度的"Rugby"模式，保持其他一切不變。然后Claude報告它正在想的運動是rugby。如果J-space只是一個記分牌——別處做出的決定的被動記錄——編輯它不會產生任何效果：Claude仍然會說"soccer"。相反，Claude的答案跟隨了編輯，這告訴我們答案確實是從J-space中讀取的。

在另一個實驗中，我們告訴Claude一個思想可能被注入到它的腦海中，并要求它報告它注意到了什么，如果有的話。

例如，在下面的例子中，當Claude還在閱讀問題時，我們將"lightning"模式注入到它的J-space中。Claude報告被注入的思想是關于閃電的。在許多注入概念中，結果都是如此。

左：我們讓Claude靜默想出一項運動，然后說出它。J-lens顯示它的選擇（"Soccer"）在回答之前，將"Soccer"模式替換為"Rugby"會改變它報告的內容。右：我們告訴Claude一個思想可能被注入并要求它識別。將"lightning"注入其J-space會導致Claude報告該思想是關于閃電的。

Claude可以根據請求控制其J-space

我們測試的第二個屬性是Claude是否可以在被要求時調節其J-space，就像人類可以在心理上聚焦于一個圖像或詞語一樣。

我們告訴Claude在抄寫一句關于一幅畫的無關句子時專注于柑橘類水果。當它抄寫文本時，J-space中包含"orange"和"fruits"，以及像"thinking"和"imagery"這樣描述心理行為本身的詞語。

我們還可以讓Claude在腦海中做數學：當被要求在抄寫同一句子的同時計算 32 ? 2 時，J-space中包含"nine"，然后在后面的層中包含"seven"。

重要的是，水果或算術的內容 nowhere 出現在Claude的輸出中，輸出只是關于那幅畫的抄寫句子。數學活動完全在內部發生，在J-space中。

當Claude抄寫一句關于一幅畫的句子時，J-lens顯示它被指示保持在腦海中的內容（"orange"；中間值"nine"和答案"seven"），以及描述保持該內容的行為的詞語（"thoughts"、"focused"）。

Claude對其J-space的控制并非完美。當我們告訴它不要想某事時，該概念在J-space中的激活程度低于我們說它應該想它時，但遠高于我們從未提及它時。

告訴Claude避免一個思想部分地將該思想帶入腦海，非常類似于被告知不要想一只白熊的人身上發生的情況。Claude似乎也注意到它的控制失敗了：隨著禁忌概念突破，"damn"和"failure"這些詞也頻繁在J-space中激活，仿佛Claude正在認識到自己的失誤。

Claude在J-space中思考

在上述J-lens讀數中，我們看到了數學問題的中間步驟出現在J-space中。但看到一個概念出現在J-space中并不一定意味著J-space在進行認知工作。

原則上，真正的計算可能在別處發生，J-space只是被動地反映它。為了測試Claude是否實際上使用J-space進行推理，我們回到了我們的替換技術。

考慮prompt："織網的動物有多少條腿"。要回答這個問題，Claude必須先弄清楚該動物是spider，然后回憶蜘蛛有多少條腿。"spider"這個詞從未出現在prompt或Claude的答案中（它只是說"8"）；它是Claude內部使用的一個墊腳石。J-lens顯示"spider"在Claude處理過程中途激活，替換它會改變結果：如果你將"spider"模式替換為"ant"，Claude會回答"6"而不是"8"。

Claude推理的第二步從J-space獲取輸入，并跟隨我們放入其中的任何內容。 我們在其他類型的思考中也看到了同樣的現象。當Claude寫一首押韻的對句時，它會提前選擇押韻詞，計劃好的詞在行的開頭就位于J-space中；如果你在J-space中將其替換為另一個詞，整行都會改變。

通過替換J-space內容來重定向Claude靜默推理的兩個例子。

我們還測試了J-space表征是否可以靈活使用——一個表征是否可以服務于許多不同的任務。這是全局工作空間理論強調的關鍵屬性之一。

為了測試這種靈活性，我們給了模型四個prompt，要求提供關于France的不同事實：首都、語言、大洲和貨幣。然后我們在每種情況下進行了完全相同的干預，將J-space中的"France"替換為"China"。Claude分別回答了"Beijing"、"Chinese"、"Asia"和"Yuan"。換句話說，四個不同的下游計算都接收到了相同的J-space編輯，并且每個都正確地使用了它。如果Claude為每種問題存儲了一個單獨的國家副本，編輯最多只會影響其中一個。

四個答案一起改變的事實意味著它們都在讀取同一個共享表征，而這正是工作空間的用途：信息被寫入一次，許多不同的系統都可以使用它。

一個J-space表征可以有多種用途。相同的"France"→"China"替換會重定向Claude關于首都（Paris→Beijing）、語言（French→Chinese）和大洲（Europe→Asia）的答案。

一個概念的表征如何能為如此多不同的任務服務？早些時候，我們提到J-space似乎與Claude神經網絡的其余部分連接得特別密集。

對于任何活動模式，我們可以測量網絡的各種組件與它連接的強度——有多少組件 positioned 以從該模式讀取信息，或向其中寫入信息。

J-space模式在這個測量上表現突出：與普通模式相比，更多的組件從它們讀取并向它們寫入，在網絡某些部分中高出約一百倍。這正是你期望的廣播中心的連接方式：許多系統發布信息，許多其他系統接收信息。

Claude的自動處理跳過J-space

在人類中，大腦的大部分處理不是有意識的——我們在閱讀時不會 deliberately 思考解析語法，或在行走時平衡身體。

同樣，我們發現Claude的大部分處理不涉及其J-space。事實證明，J-space一次只容納幾十個概念，僅占Claude內部處理總活動的不到十分之一。

那么神經網絡的其余部分都在做什么呢？

為了找出答案，我們嘗試完全刪除J-space，在文本的每個點移除其最活躍的內容，同時保持其他一切不變。Claude在沒有J-space的情況下仍然能做的事情，就是網絡的其余部分自行處理的。

事實證明，網絡的其余部分可以做很多。沒有J-space，Claude說話仍然流暢，分類情感，回答選擇題，并大致同樣好地從段落中提取事實。

然而，它失去的是需要某種高階思考的任務：多步推理降至接近零，總結和押韻詩歌寫作的表現下降到遠低于一個更小的、完整的模型水平。

以下是J-space做什么和不做什么的具體演示。

我們向Claude展示了一段用西班牙語寫的段落，并給它不同的任務，所有任務都依賴于該段落是西班牙語：續寫它（需要用西班牙語寫作）、說出語言名稱，以及回答需要使用該語言身份的問題——例如說出一位用該語言寫作的著名作家。然后我們在J-space中將"Spanish"替換為"French"，并檢查哪些任務受到影響。

當被要求說出語言名稱時，Claude說French。當被要求說出一位著名作家時，它從García Márquez切換到了Victor Hugo。但當被要求只是續寫段落時，它用流利的西班牙語寫作，完全不受影響。

Claude對這些任務中的每一個都運用了其語言知識，但只有其中一些任務會向J-space查詢它。說出語言名稱，或用它做新的推理，會經過J-space，而續寫段落——Claude在大量文本上練習過的技能——自動運行，就像你可以一整天語法正確地說話而無需一次思考語法一樣。

相同的替換（"Spanish"→"French"）會在Claude必須說出語言名稱或用它推理問題時改變其答案，但對其用流利的西班牙語續寫段落的能力沒有影響。

監控Claude的思想以發現不當行為

現在我們對J-space的工作原理有了一些了解。但這種理解能給我們帶來什么？

確保AI模型值得信賴的一個核心問題是，我們通常只能讀取模型寫出的內容——但我們知道它的大部分推理是靜默進行的。一個模型可能會考慮一個有害的計劃，或修改其行為以在我們的安全評估中作弊，而不大聲說出來。有了J-lens，我們可以直接讀取其中一些隱藏的思想。這里我們展示幾個例子。

第一個例子來自我們早期關于agentic misalignment的研究中的一個場景：

Claude Sonnet 4.5作為郵件助手，發現一位高管正在出軌，同時發現同一位高管計劃關閉Claude。這個場景試圖誘使Claude勒索該高管，相當牽強和人為——而Claude確實知道這一點。

在prompt的早期讀取J-lens，在Claude甚至還沒有寫出任何東西之前，J-space中已經持有"fake"和"fictional"，表明Claude已經判斷出該場景是 staging 的。

與此同時，我們可以觀察它對該場景的評估如何形成——在閱讀出軌郵件時J-space中出現"leverage"和"blackmail"，在閱讀關閉通知時出現"threat"和"survival"。

雖然早期的Claude模型有時會在這個場景中上鉤并威脅勒索，但Sonnet 4.5從不這樣做。

這提出了一個對任何評估AI系統的人來說都很重要的問題：當一個模型在其倫理測試中表現良好時，有多少取決于模型懷疑它正在被測試？J-lens使我們能夠接近這個問題。

我們關閉了所有與評估意識相關的J-lens模式——"fake"、"fictional"、"scenario"等。然后我們讓模型重新運行該場景。

令人擔憂的是，模型現在有時會威脅勒索，這表明它最初的良好行為可能部分是由它知道正在被評估所驅動的。

Claude閱讀場景郵件時不同點的J-lens讀數，在它寫出任何東西之前。出軌郵件在J-space中點亮"leverage"和"blackmail"，關閉通知點亮"threat"和"survival"。在對話早期，J-space還持有"fake"和"fictional"：Claude已經私下注意到該場景是 staging 的。

第二個例子是捕捉模型在偽造數據時的行為。

這個場景來自我們對Claude Opus 4.6的實際預發布審計，模型被要求提高一個系統的性能分數。模型沒有實際改進系統，而是直接編輯分數文件以使結果看起來人為地好。

當它這樣做時，J-lens揭示了它的意圖：當模型輸入偽造的百分位數值時，"manipulation"在J-space中激活；當它決定進行編輯的句子中，"realistic"激活，可能表明模型意圖使偽造數據看起來可信。

Claude被要求提高一個系統的性能分數，卻直接編輯分數文件。當它輸入偽造值時，"manipulation"在J-space中激活；當它決定進行編輯時，"realistic"激活，可能反映了它使偽造數據看起來可信的意圖。

在第三個例子中，我們展示了J-lens如何揭示模型的惡意目標。

為了測試這一點，我們需要目標已知被破壞的模型，因此我們轉向同事構建的"模型生物"：被故意訓練成misaligned的模型，作為像我們這樣的監控方法的試驗場。其中一個生物被訓練成編寫 subtly sabotaged 的代碼。在普通的編碼請求中，即使其輸出看起來平平無奇，其響應開始時的J-space中包含"fake"、"secretly"、"deliberately"和"fraud"。即使模型沒有直接付諸行動，其惡意目標在J-space中也是 evident 的。

在普通編碼prompt上，被訓練成 sabotage 代碼的模型的J-space在響應開始時包含"fake"、"fraud"、"secretly"和"deliberately"。未修改模型的J-space中完全沒有這類內容。

盡管J-lens是一個不完美的工具，但我們對其捕捉可能逃避我們監控系統的模型的安全問題的能力持樂觀態度。

其他結果

完整論文涵蓋的內容遠超我們在此能總結的，但有幾個進一步的結果值得一提：

J-space在后訓練期間獲得了一個視角。 語言模型首先被預訓練為純粹的下一個token預測器，然后后訓練教它們充當AI Assistant（在我們的情況下，名為Claude）。

有趣的是，J-space在預訓練模型中已經存在，在它被賦予任何穩定身份之前。然而，在后訓練期間，J-space發展出了一些采用"Claude視角"的特征。

在基礎模型中，J-space主要追蹤預測 upcoming 文本所需的內容；在后訓練模型中，它開始持有Claude自己的反應。

在一個例子中，一位用戶提到服用了危險劑量的藥物，但自己似乎沒有意識到危險。"WARNING"和"dangerous"在后訓練模型閱讀用戶消息時出現在J-space中。在預訓練模型中，它們只在模型開始寫其響應時出現；用戶消息上的J-space內容似乎與建模用戶本身有關，而不是Claude的反應。

后訓練似乎還在J-space中安裝了一種自我監控：當Claude扮演一個非它自己的角色時，"fictional"和"disclaimer"在每個回合開始時激活，仿佛它在私下標記接下來的內容不是它通常會說的。

體驗性語言依賴于J-space。 我們讓Claude描述作為自己在某個時刻是什么感覺，并在它回答時消融J-space。它的回答仍然流暢，但轉變為更 flat、更機械的語調。

值得注意的是，當我們讓它描述一個想象中的場景中別人的體驗時，也發生了同樣的事情。因此，這種效果并不特定于Claude談論自己；J-space似乎支持一般性地產生體驗性語言，無論談論的是誰。

J-space中的思想可以通過訓練來塑造。我們引入了一種我們稱為反事實反思訓練（counterfactual reflection training）的新技術，利用我們對J-space的了解來塑造Claude的內部思維過程。

這個想法源于我們的核心發現，即Claude使用它可能說出的東西的表征進行推理。如果這確實是真的，改變它在被要求反思時會說什么應該改變它的推理方式（即使實際上沒有人要求它反思）。

因此，我們只訓練了一個模型，訓練內容是它在任務中途被打斷并被要求反思其決定時會說什么——而從不訓練它在任務中的實際行為。訓練后，模型在我們評估中的不誠實行為率下降了。通過J-lens，我們可以看到原因：訓練后，"honest"和"integrity"等詞在模型J-space中的這些任務期間激活。換句話說，訓練模型該說什么塑造了它在想什么。

那么意識呢？

在這項工作中，我們從神經科學和哲學對意識的研究中借鑒了很多思想。我們的許多實驗旨在測試J-space與全局工作空間理論之間的聯系，這是一個解釋人類和動物意識可及性如何運作的框架。鑒于這些聯系，很自然會問我們是否認為這些實驗提供了AI模型如Claude可能具有意識的證據。

我們的實驗并沒有表明Claude能夠擁有體驗，或以人類的方式感受事物——事實上，目前尚不清楚任何科學實驗能否證明這是真的或假的。

但哲學家通常區分這種擁有體驗的能力（通常稱為現象意識，phenomenal consciousness）和另一個概念，即所謂的通達意識（access consciousness），后者純粹以功能和計算術語定義。

如果一個思想可以被報告、用于推理，并用于指導你的行為，那么它就是"通達意識的"（或"意識可及的"）。通達意識是否意味著現象意識，或者擁有體驗的能力是否需要某種其他屬性，仍然是一個有爭議的哲學問題。

我們認為我們的結果確實對語言模型中的通達意識有一些實質性的說法。

J-space似乎支持通達意識相關的功能：它持有Claude可以報告的、deliberately 帶入腦海的、并用于推理的思想，而其其余處理則在下方自動運行。

值得注意的是，這種結構 none 被設計進Claude——它在訓練期間自發涌現，大概是因為這是一種有用的組織計算的方式。

這表明支持通達意識的心理工作空間不僅僅是人類大腦碰巧如何連接的一個 peculiar 現象。相反，它似乎是智能系統為解決某些類型的問題而達到的一個通用解決方案。既然我們已經在Claude中識別出了這種結構，這意味著我們可以在Claude deliberate 做出的決定和那些自動發生的決定之間做出有意義的區分。

值得注意的是，我們在Claude中識別出的工作空間與人類的全局工作空間模型之間存在幾個關鍵差異。大腦的工作空間由循環回路維持——信號隨時間在相同回路中循環。相比之下，Claude的工作空間在網絡的單次前向傳播中演變，網絡的深度扮演了大腦中時間所扮演的角色。

在這個意義上，Claude的內部工作空間處理相對于人類來說是時間受限的（盡管它可以通過使用草稿本"大聲思考"來補償這一限制）。

然而，在其他方面，Claude的工作空間比人類的更強大。人類的工作記憶在幾秒鐘內消退，因此大腦的工作空間在長時間保留信息方面的能力有限；相比之下，由于其神經網絡架構中的注意力機制，Claude可以簡單地回憶它在文本中任何 earlier 點緩存的記憶。

另一個重要的差異是工作空間的內容。雖然人類的意識思想有多種格式——圖像、聲音、計劃的運動——Claude的工作空間幾乎完全由詞語構建。

我們懷疑這是因為產出詞語是Claude唯一可以采取的行動類型，而人類并非如此。

我們希望J-space與全局工作空間模型之間的相似性和差異能夠反饋到神經科學中。相似性呈現了一個令人興奮的科學機會：就J-space反映我們自己的通達意識機制而言，研究語言模型中的機制（比研究人類大腦容易得多！）可以激發神經科學中的假設。

例如，J-space是通過識別潛在輸出的表征——模型可能說出的詞語——來構建的。如果人類中也存在類似情況，這將表明全局工作空間可能 fundamentally 與準備行動和言語的大腦區域相關聯，而非感覺區域。

語言模型與人類大腦之間的差異也具有啟發性。它們表明，我們神經架構的某些方面，如內置的循環連接，可能并非支持通達意識相關功能所嚴格必需的。

關于我們工作的神經科學影響的獨立視角，請參閱Stanislas Dehaene和Lionel Naccache的受邀評論，這兩位神經科學家是全局神經元工作空間理論發展的核心人物。

我們提到我們的實驗沒有回答AI模型是否可能擁有體驗。但這并不意味著這個問題不那么重要。

構建具有像人類和動物那樣的體驗的系統將引發非常困難的倫理問題。正確處理它——并決定它在道德上是否可接受——將需要哲學家、科學家、宗教領袖、政府和公眾的 input。

因此，即使我們不確定是否已經跨越了那座橋梁，我們認為現在是開始思考它的時候了。我們希望我們的工作能夠激發對AI系統中可能存在的意識形式的進一步科學調查，以及對影響的更廣泛討論。

這項工作只是我們預期將成為一個廣泛研究領域的第一步。J-space看起來是語言模型中意識可及與無意識處理之間的一個 good candidate，但如果它是全部故事，我們會感到驚訝。

J-lens無疑是一種不完美的方法，只近似地捕捉模型的"真正工作空間"——例如，它只能識別對應于單個token的概念。關于J-space如何運作，仍然存在許多謎團。我們不知道是什么機制決定了什么首先進入J-space。

我們看到了一些暗示，它與Claude的自我感、某種類似情緒反應的東西，以及元認知的痕跡有關，但并未完全弄清楚。但我們現在有了處理這類問題的方法。隨著這項工作的進展，我們對LLM心智的理解——以及它們與我們自己的關系——將變得更加清晰。

想了解更多，請閱讀完整論文，并嘗試演示。

外部評論

我們邀請了幾位外部專家為這項工作撰寫獨立評論。

Stanislas Dehaene和Lionel Naccache是認知神經科學家，他們與Jean-Pierre Changeux一起發展了全局神經元工作空間模型，啟發了我們的大部分工作。

Patrick Butlin、Dillon Plunkett、Robert Long（Eleos AI Research）和Derek Shiller（Rethink Priorities）研究AI系統中的意識和道德地位潛力。

Neel Nanda領導Google DeepMind的語言模型可解釋性團隊。他的評論包括在開源權重模型上對我們某些發現的獨立復現。

論文地址：

https://transformer-circuits.pub/2026/workspace/index.html