自然·計算科學：讓AI當心理學被試，會復制人類實驗嗎？

導語

大語言模型正在進入社會科學研究現場。它們不再只是輔助寫作、檢索文獻或生成問卷，而是被研究者直接放入心理學與管理學實驗中，扮演“硅基被試”，回答原本由人類參與者完成的情境材料。這項發表于《Nature Computational Science》的研究系統復現了156項心理學與管理學情境實驗，比較 GPT-4、Claude 3.5 Sonnet 與 DeepSeek V3 能否重現人類實驗結果。發現大語言模型常能把握效應方向，卻傾向于給出更強、更顯著、更干凈的結果。在種族、性別、倫理等社會敏感議題上，復制能力明顯受限。這項研究給出了一個清晰判斷，大語言模型可以用于預實驗、假設篩查和方法學三角驗證，但不能替代真實人類被試。

關鍵詞：大語言模型（large language models, LLMs）、硅基復制（silicon replication）、心理學實驗、情境實驗、效應量、社會敏感議題

王璇丨作者

趙思怡丨審校

論文題目：A large-scale replication of scenario-based experiments in psychology and management using large language models 論文鏈接：https://doi.org/10.1038/s43588-025-00840-7 發表時間：2025年7月9日 論文來源：Nature Computational Science

當AI成為實驗參與者

社會科學實驗長期依賴人類被試。研究者設計情境、操縱變量、收集回答，再用統計方法判斷某種心理機制或管理行為是否存在。但傳統實驗成本高、周期長，樣本招募也受平臺、地區和人群結構限制。大語言模型（large language models, LLMs）的出現提供了另一種可能：它們能夠閱讀實驗材料、理解角色設定，并生成結構化回答，因此開始被用于模擬人類判斷、決策和態度反應。

真正的問題是，模型回答能否代表人類回答。既有研究給出的判斷并不一致：一些結果顯示，LLMs在心理量表、經濟決策和社會判斷中與人類高度接近；另一些研究則指出，模型難以模擬個體差異、社會人口結構和復雜文化語境。由于過去研究大多基于少量實驗，仍無法回答一個更系統的問題：如果把大量真實發表的心理學與管理學實驗交給模型，它們究竟能復制到什么程度？

這篇研究正是圍繞這一問題展開。研究團隊沒有讓模型概括論文，也沒有讓模型預測實驗結論，而是把原始實驗情境重新交給模型，讓它像人類被試一樣逐條作答，再將模型結果與原始人類實驗結果進行比較。這就是“硅基復制”（silicon replication）的核心思路：不是把AI當作讀論文的工具，而是把它放進實驗流程本身，檢驗社會科學效應能否在人工智能系統中被重新觀察到。

圖1. 研究流程圖。從論文篩選、提示詞設計、模型回答到統計比較的完整流程。

AI能抓住趨勢，卻會放大信號

研究結果顯示，LLMs確實具備一定復制能力。對于許多主效應，模型能夠重現人類實驗中的方向關系，也就是說，它通常知道某種情境操縱會讓評價升高還是降低。這說明模型并非隨機作答，而是能夠從語言材料中提取社會規范、因果暗示和心理線索。因此，在預實驗階段，模型可以幫助研究者判斷實驗材料是否清楚、操縱是否容易被識別、變量關系是否具有初步合理性。

但問題也正在這里出現。模型越是擅長捕捉情境中的線索，就越可能把這些線索轉化為過強的統計效應。論文發現，LLMs生成的結果往往比人類實驗更顯著、效應量更大、組內差異更小。換言之，模型給出的不是充滿噪聲和個體差異的人類反應，而是一種更整齊、更一致、更符合情境暗示的回答。它能夠捕捉應該往哪個方向變，卻容易高估現實中到底變得有多強。

圖2. 模型復制率和不同研究特征下的表現。直觀展示 GPT-4、Claude 和 DeepSeek 在主效應復制率、期刊類型、情境類型以及社會敏感議題上的差異。

這種偏差決定了LLMs不能被簡單當作人類被試的替代品。真實人類參與者會受到注意力、情緒、經驗、身份、文化背景和社會處境影響，這些因素構成了社會科學研究中不可忽略的個體差異。LLMs的變異則主要來自訓練語料、生成機制和參數隨機性。二者都能產生回答，但回答背后的生成機制并不相同。因此，模型與人類結果方向一致，并不意味著模型真正復制了人類心理機制。

圖3. GPT-4 與人類研究的主效應效應量比較，AI結果更顯著、更強、更整齊。

這一點在社會敏感議題上尤其關鍵。種族、性別、倫理等問題并不是普通的文本理解任務。人類在這些議題上的判斷會受到真實社會身份、價值沖突和文化環境影響，而LLMs則受到訓練數據、安全對齊和回答規范共同約束。論文顯示，不同模型在這些議題上的復制表現明顯不同，這意味著模型輸出不應被直接解釋為人類平均意見，更不能替代真實樣本中的社會心理反應。

AI可以進入實驗室，但不能坐上主位

這篇研究給社會科學中的LLMs應用劃出了一條清晰邊界。大模型能夠復制相當比例的主效應，常常把握人類研究中的方向關系，并能幫助研究者快速篩查實驗設計。然而，它們也會系統性地產生更大的效應量、更高的顯著性和更窄的置信區間。在社會敏感議題上，復制能力明顯依賴模型類型和對齊方式。在部分情形中，模型甚至無法生成有效的人類式變異。LLMs 最合適的位置不是替代被試，而是研究前置工具。它們可以幫助研究者節省預實驗成本，識別低質量材料，探索更大的設計空間，并為理論穩健性提供補充證據。但真正涉及效應強度、社會差異和心理機制的結論，仍必須回到人類樣本中檢驗。當AI被放進心理學實驗室，它確實能回答問題，但它回答的并不總是人類會如何反應，而是語言模型認為一個理想化、規范化、低噪聲的“人”應該如何反應。理解這一區別，才是LLMs進入社會科學研究的前提。

AI × 傳播」讀書會第二季

傳播學從現象出發。今天，AI 已經深度進入信息生產、內容分發、社會互動、公共判斷和知識生產過程。它既是工具，也是媒介；既是研究對象，也是協作者；既提升效率，也制造新的偏見、信任和責任問題。AI × 傳播成為一個新的領域。

由集智俱樂部聯合北京師范大學新聞傳播學院，北京師范大學珠海校區計算傳播學研究中心許小可教授、周曉禹講師共同發起，我們將從“工具-對象-范式”三重維度出發，系統梳理 AI × 傳播的實踐路徑——如何用 AI 做研究，如何研究 AI 本身，如何理解人機協同的新范式。

詳情請見：

1.

2.

3.

4.

5.

6.

7.

8.