斯坦福 Susan Athey 教授：以彼之矛攻彼之盾，用 LLM 的隨機性破解因果推斷難題 | ICML 2026

隨機性是一面鏡子，因果推斷照見了自己。

作者丨吳思夢

編輯丨岑 峰

7月7日，國際機器學(xué)習(xí)大會（ICML）在首爾召開。在首日Keynote演講中，斯坦福大學(xué)商學(xué)院技術(shù)經(jīng)濟學(xué)教授、前美國司法部反壟斷部門首席經(jīng)濟學(xué)家Susan Athey發(fā)表了一場跨越經(jīng)濟學(xué)、統(tǒng)計學(xué)與機器學(xué)習(xí)邊界的演講，題為“Causal Inference with Transformer Models”（基于 Transformer 模型的因果推斷）。

Athey過去二十年來一直站在AI與因果推斷的交叉點上。她個人曾同時包攬約翰·貝茨·克拉克獎與約翰·馮·諾伊曼獎，也曾是微軟首席經(jīng)濟學(xué)家，親歷了搜索引擎推薦系統(tǒng)的因果難題；如今，她將目光投向了一個更棘手的戰(zhàn)場：在生成式AI時代，當(dāng)每個用戶看到的每一條回復(fù)都獨一無二時，我們還能不能做因果推斷？

Athey的回答是：能。但必須換一種思路。她提出了一套全新的方法論：“以彼之矛，攻彼之盾”——利用大語言模型（LLM）天生的隨機性，來做天然的隨機實驗。

這一方法有三個顛覆性的特點：

第一，它繞過了傳統(tǒng)因果推斷中最棘手的步驟——估計傾向得分（Propensity Score）作為用戶特征的函數(shù)。在Athey的框架里，概率計算只在“用戶內(nèi)部”進行：“這個特定用戶，在這次特定查詢中，看到A而非B的概率是多少？”這意味著即便不記錄用戶查詢本身，也能得到因果效應(yīng)。

第二，它巧妙借用了大語言模型的內(nèi)在隨機性。由于LLM在temperature>0時會為同一查詢生成不同回復(fù)，只需在夜間GPU空閑時重新調(diào)用一次API，就能低成本獲取反事實曝露?！澳悴恍枰~外招募實驗對象，你只需要把白天的數(shù)據(jù)晚上再跑一遍?！?/p>

第三，它回答的是一個極其務(wù)實的問題：“當(dāng)系統(tǒng)在兩種回復(fù)之間近乎無差異時，朝某個方向輕輕推一把——比如讓語氣更溫暖——會有什么效果？”這不是一個學(xué)術(shù)玩具問題（Toy Problem），是每個AI產(chǎn)品經(jīng)理每天都在做的決策。

總結(jié)而言，Athey的核心洞見是：生成式AI看似讓因果推斷變得更難，因為內(nèi)容維度爆炸、每個人看到的東西都不同。但同時也提供了全新的工具：看似維度爆炸的大模型，實則為因果推斷送上了最好的武器。

以下是Susan Athey在ICML 2026大會發(fā)表的Keynote演講精編稿，AI科技評論基于原英文演講內(nèi)容進行了不改原意的翻譯編輯：

“Causal Inference with Transformer Models”

主講人：Susan Athey，斯坦福大學(xué)商學(xué)院

01

從搜索引擎到生成式AI：因果推斷的二十年

我對AI與經(jīng)濟學(xué)交叉領(lǐng)域的興趣始于2000年代末，當(dāng)時我加入了微軟研究院，幫助創(chuàng)立了跨經(jīng)濟學(xué)與計算機科學(xué)的New England Lab。同時，我在微軟還有一個運營角色，主要關(guān)注搜索引擎。那時我試圖把此前作為純經(jīng)濟學(xué)家學(xué)到的一切，與我在搜索引擎中看到的實際問題結(jié)合起來。一個深刻影響我此后職業(yè)生涯的洞見是：機器學(xué)習(xí)與因果推斷之間，存在巨大的協(xié)同空間。因果推斷橫跨經(jīng)濟學(xué)、統(tǒng)計學(xué)、計算機科學(xué)和許多其他社會科學(xué)。

從那以后，我一直在試圖解決一個問題：在一個高度個性化的環(huán)境里，如何做因果推斷、如何估計因果效應(yīng)？我們面臨一個悖論——你在個性化上做得越好，就越難學(xué)會如何個性化。因為如果你對每個人都實現(xiàn)了完美個性化，你就永遠(yuǎn)看不到他們看到別的東西會有什么反應(yīng)。

多年來，學(xué)界發(fā)展了許多方法處理觀測數(shù)據(jù)，即那些并非隨機采集、而是推薦系統(tǒng)根據(jù)用戶特征匹配推送的數(shù)據(jù)。我和許多同行一直在推進這些方法。但大語言模型和Transformer的出現(xiàn)，把一切推向了極限——也把我們從前那些“勉強能用”的方法推向了“可能失效”的邊緣。維度太高了，我們做的事情太復(fù)雜了，以至于很難找到抓手。

今天，我要講兩個項目。在這兩個項目中，我不僅找到了抓手，而且我們發(fā)現(xiàn)：這些方法不僅能解決生成式AI帶來的新問題，甚至能讓舊世界的答案也變得更好。

02

微型實驗：把每個查詢變成一次隨機對照

首先，我要打破一個我通常會告誡年輕同事的鐵律：“永遠(yuǎn)不要在重要演講中第一次講一篇論文。”我覺得今天的演講應(yīng)該算重要，但我還是要打破這個規(guī)則。這篇論文的主題與我的摘要一致，但具體內(nèi)容沒有寫在摘要里——因為我在旅行途中遇到Wi-Fi問題，沒趕上arXiv截止時間。所以它目前掛在Zenodo上，但愿明天能上arXiv。這是與Guido Imbens和Zoe Gu的合著。

這篇論文的核心動機是：如何利用大型文本平臺生成的觀測數(shù)據(jù)做因果推斷？這些平臺使用的是“隨機算法”（Stochastic Algorithms）。大多數(shù)用來給用戶推送個性化結(jié)果的算法，本質(zhì)上都是隨機的。

在舊世界，比如向用戶推薦電影或書籍，因果推斷已經(jīng)很難了。但至少不止一個人看過同一部電影，所以你還有一點希望去學(xué)習(xí)用戶對電影的偏好。但在生成式AI的世界里，如果把推送給用戶的回復(fù)看作一部“電影”，我們面臨的是同樣的Netflix問題，只不過現(xiàn)在沒有人會看到相同的上下文兩次，也沒有人會看到相同的回復(fù)兩次。所以我們需要一種不同的方法。

一種方法是降維：用嵌入（Embedding）來表示內(nèi)容，為用戶估計嵌入向量，然后做匹配。這可以作為不錯的近似，能幫你走很遠(yuǎn)。但在這第一篇論文里，我要追求更少偏差的結(jié)果，而代價是回答一個更窄的問題。

我們只關(guān)心少數(shù)幾個特征（Features）的因果效應(yīng)。我承認(rèn)，要估計一條回復(fù)中每一個元素的因果效應(yīng)是不可能的，響應(yīng)面太復(fù)雜了，一條回復(fù)與另一條回復(fù)之間的差異方式太多了。我不會試圖估計從內(nèi)容特征到用戶結(jié)果的整個函數(shù)曲面。相反，我一次只關(guān)注少數(shù)幾個特征。

03

你想知道的因果問題：從情感語氣到產(chǎn)品決策

這些特征可以是科學(xué)問題。比如，情感語言對消費者反應(yīng)有什么因果影響？我曾在虛假信息語境下用真實用戶做過實驗，發(fā)現(xiàn)情感語言對于讓人們停下來思考自己在網(wǎng)上分享了什么至關(guān)重要。但現(xiàn)在，我們可以在更大規(guī)模上、無需招募大量用戶就能研究情感語言的因果效應(yīng)。

另一個例子：電商平臺可能想知道用戶對質(zhì)量的支付意愿，或者用戶是否真的會關(guān)注質(zhì)量信息——這關(guān)系到信號理論和提供質(zhì)量的經(jīng)濟激勵。在在線教育中，我們可以利用教育類AI導(dǎo)師的數(shù)據(jù)來研究不同教學(xué)方法的因果效應(yīng)。

在產(chǎn)業(yè)實踐中，一個典型問題是：更友好的回復(fù)有什么效果？我不知道在座各位的習(xí)慣，但可能有人跟我一樣——我會告訴聊天機器人：“別閑聊了，別拍我馬屁了，直接給我答案?！碑?dāng)然，人們對聊天機器人是否應(yīng)該寒暄有不同的偏好。所以“是否應(yīng)該讓聊天機器人更友好”本身就是一個需要回答的因果問題。

我們都知道，不同場景使用不同的系統(tǒng)提示（System Prompt）。編程Agent有一套提示，閑聊Bot有另一套。應(yīng)用開發(fā)者每天都在做這些主動決策。我在另一篇論文中研究過微笑照片對P2P借貸平臺Kiva的影響——我們發(fā)現(xiàn)微笑的借款人更容易獲得貸款。那篇論文里，我們用生成式AI修改照片來創(chuàng)建純隨機實驗，驗證了觀測數(shù)據(jù)的因果估計。

04

反事實暴露：方法的核心

現(xiàn)在讓我用一張幻燈片講完這篇論文的核心。我們引入了一種新的數(shù)據(jù)結(jié)構(gòu)，命名為“已記錄的反事實曝光”（Logged Counterfactual Exposures），名字還在打磨中。來自上下文Bandit文獻(xiàn)的朋友會覺得似曾相識，但在我們的設(shè)定中有所不同。

通常我們記錄的數(shù)據(jù)是：一個用戶、一個查詢、一條回復(fù)、以及用戶的行為反饋（比如點贊或點踩）。我們需要額外記錄兩樣?xùn)|西：第一，至少一條用戶“本可以看到但沒看到”的內(nèi)容；第二，用戶看到A而非B的相對概率。

如果你有一個大語言模型，你可以對同一用戶查詢做多次采樣（temperature>0），拿到不同的回復(fù)。這就是創(chuàng)建反事實曝光的兩種方式。

對于那些不熟悉因果推斷的聽眾，讓我解釋為什么這很微妙。因果推斷的核心挑戰(zhàn)是：我能看到你看到的東西的結(jié)果，但看不到你沒看到的東西的結(jié)果。所以它本質(zhì)上是一個缺失數(shù)據(jù)問題。在我們的數(shù)據(jù)增強方法中，我們永遠(yuǎn)不會看到“你沒看到的東西”的結(jié)果。那么，為什么還需要知道那個你沒看到的東西是什么？

我們的洞見是：把每個用戶查詢當(dāng)作一個微型實驗。在這個實驗里，有一個用戶看到的東西和一個用戶沒看到的東西。然后我像分析一堆微型實驗一樣分析數(shù)據(jù)，把它們平均起來。

具體操作流程是：白天記錄用戶查詢和實際回復(fù)；晚上GPU空閑時重新調(diào)用API獲取反事實曝光；然后運行一個分類器來標(biāo)記兩條回復(fù)的特征（比如“語氣是否溫暖”）；最后，扔掉所有實際曝光和反事實曝光在目標(biāo)特征上相同的數(shù)據(jù)（即“一致對”），只對“不一致對”（Discordant Pairs）做均值差。

05

與傳統(tǒng)方法的本質(zhì)區(qū)別

如果與傳統(tǒng)離線策略評估（Off-Policy Evaluation）對比，差異就很清楚了。離線策略評估試圖估計：如果換一種內(nèi)容分配策略，會有什么效果？這需要估計傾向得分作為用戶特征的函數(shù)——而這正是高維空間中最難估計的對象。

我們的方法也需要概率，但概率是在“用戶內(nèi)部”計算的：“這個特定用戶，在這次特定查詢中，看到不同內(nèi)容的概率是多少？”我甚至不需要記錄用戶查詢本身。如果擔(dān)心隱私問題，我可以在拿到反事實曝光后就扔掉用戶查詢，仍然能得到因果效應(yīng)。這是與傳統(tǒng)因果推斷文獻(xiàn)的根本性分歧。

我們把每個用戶看作一個n=1的實驗，然后對所有微型實驗求平均。我們最終估計的是：在那些實際經(jīng)歷了特征變化的用戶中，該特征的平均因果效應(yīng)。如果語言模型的temperature較高、兩條回復(fù)的概率差不多，那甚至不需要加權(quán)，直接做簡單平均就好。

06

這個因果效應(yīng)到底回答了什么問題？

聽到這里，你可能會覺得我像是在變魔術(shù)（即憑空做成了一件不可思議的事），甚至想問：兔子是怎么憑空變進帽子的？（pull a rabbit out of the hat）因為我看似扔掉了傳統(tǒng)觀測數(shù)據(jù)因果推斷中的許多底層硬性假設(shè)。但這個“魔術(shù)”的玄機其實在于：我們并沒有解決那個龐大的全局難題，而是將視角轉(zhuǎn)向回答了一個范圍更窄、更具體的問題。

假設(shè)你聽了這場演講后回到實驗室，決定試一試。你可以在向用戶展示兩條備選回復(fù)之前，選擇那條語氣更溫暖的。你實際在做的，恰好就是我們估計的那個因果效應(yīng)。所以這個估計值回答的問題就是：“當(dāng)系統(tǒng)在兩種回復(fù)之間近乎無差異時，選擇更溫暖的那一條，會有什么效果？”

如果你想讓這個因果效應(yīng)與修改系統(tǒng)提示對應(yīng)起來，可以這樣寫提示詞：“如果你在考慮是否要友好一點，請向友好的方向傾斜?！蔽覀兊囊蚬?yīng)衡量的就是這種“輕微推動”（Nudge）的效果——在系統(tǒng)本來就在兩種選擇之間“猶豫”的邊界上，朝某個方向輕輕推一把。

但我們的方法不適合另一種場景：先生成回復(fù)，然后在后處理中“強行”讓它變溫暖。因為那種情況下，你沒有在觀測數(shù)據(jù)中見過“本來不溫暖卻被強行變溫暖”的例子，也就無法學(xué)到這種干預(yù)的因果效應(yīng)。

07

與負(fù)采樣文獻(xiàn)的關(guān)系

在推薦系統(tǒng)領(lǐng)域，有一個與我們的方法精神相近的文獻(xiàn)——負(fù)采樣（Negative Sampling）。它處理的也是“大多數(shù)物品沒有與大多數(shù)用戶互動”的問題。研究者從物品目錄中采樣一些用戶沒看過的物品作為負(fù)樣本，然后在增強后的數(shù)據(jù)集上做分析。

但關(guān)鍵區(qū)別在于：負(fù)采樣文獻(xiàn)通常不關(guān)心用戶到底被曝光了什么，它們用“假零”（Fake Zeros）來補全數(shù)據(jù)，知道這些估計是有偏的，但作為一個工程妥協(xié)，在實踐中效果不錯——它給我們推薦了讓我熬夜追的好電影。

而我們的方法是無偏的。我們保留了真實的0/1結(jié)果，但創(chuàng)建的反事實樣本來自于“我們知道用戶沒看到、但本可以看到”的內(nèi)容。這更接近一種精心設(shè)計的實驗，而非工程妥協(xié)。

08

勞動力市場：用Transformer分解性別工資差距

由于時間關(guān)系，第二個項目我只能簡要介紹。這是一個高度跨學(xué)科的團隊，涵蓋了經(jīng)濟學(xué)、市場營銷、計算機科學(xué)、工程學(xué)和統(tǒng)計學(xué)。

我們做的事情是：用Transformer模型對職業(yè)序列建模，而非對詞語序列建模。這對研究者來說是個很好的實驗平臺——因為職業(yè)詞匯表只有330個職業(yè)，而不是30000個單詞。這意味著我在2022年就能用斯坦福的機器訓(xùn)練一個基礎(chǔ)模型。

我們先用抓取的非代表性簡歷數(shù)據(jù)預(yù)訓(xùn)練基礎(chǔ)模型，然后在一個包含工資數(shù)據(jù)的較小數(shù)據(jù)集上做fine-tuning。這個數(shù)據(jù)集有數(shù)千名工人、數(shù)萬次職業(yè)轉(zhuǎn)換，來自政府調(diào)查數(shù)據(jù)，任何人都可以下載。

因果推斷在這里的應(yīng)用是性別工資差距分解（Gender Wage Decomposition）。性別工資差距被分解為兩部分：一是“如果男女有相同的職業(yè)歷史，工資差距會是多少？”二是“男女職業(yè)歷史本身的差異貢獻(xiàn)了多少？”這個分解直接指導(dǎo)政策制定。

技術(shù)的核心在于改造fine-tuning的目標(biāo)函數(shù)。傳統(tǒng)fine-tuning用均方誤差（MSE）作為損失函數(shù)。我們改用“殘差對殘差回歸”（Residual-on-Residual Regression）：先取結(jié)果變量減去模型預(yù)測結(jié)果的殘差，再對“性別減去模型預(yù)測性別”的殘差做回歸。這個目標(biāo)函數(shù)有三十年的理論歷史，能讓你在控制正確混雜因素的前提下得到因果效應(yīng)。

讓我特別興奮的是：這只是一個例子。你可以通過改變隨機梯度下降的目標(biāo)函數(shù)來回答各種因果問題。后訓(xùn)練（Post-Training）一度失寵，但現(xiàn)在它回來了，我一直知道它會回來的。所以，對于那些對訓(xùn)練后調(diào)整感興趣的人來說，這真的是一種有趣的做法，即改變目標(biāo)函數(shù)，使其針對特定的感興趣參數(shù)，并集中精力確保該參數(shù)正確。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實時論文跟蹤與硬核技術(shù)探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關(guān)注的 AI 方向。

搞科研/搞技術(shù)，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。