斯坦福 Susan Athey 教授：以彼之矛攻彼之盾，用 LLM 的隨機性破解因果推斷難題 | ICML 2026

在首爾舉行的國際機器學習大會（ICML）2026 年會上，史丹佛大學商學院技術經濟學教授 Susan Athey 發表了一場主題為「基於 Transformer 模型的因果推斷」的 keynote 演講，提出一套利用大語言模型（LLM）內在隨機性來破解因果推斷難題的新方法。Athey 曾獲約翰·貝茨·克拉克獎與約翰·馮·諾伊曼獎，並擔任過美國司法部反壟斷部門首席經濟學家及微軟首席經濟學家，長年專注於人工智慧與因果推斷的跨領域研究。隨著生成式 AI 的普及，每位用戶每次查詢得到的回覆幾乎都是獨一無二的，這讓傳統因果推斷方法面臨嚴峻挑戰。

Athey 指出，過去二十年間，學界發展出許多處理觀測數據的因果推斷工具，但當內容維度因 LLM 而急劇爆炸時，那些「勉強能用」的方法可能失效。然而，她也看見了轉機：LLM 在 temperature 大於 0 時會為同一查詢產生不同回覆，這項隨機特性恰好可以轉化為天然的隨機實驗。Athey 在演講中介紹了一篇尚未正式發表、但已在 Zenodo 上公開的論文（與 Guido Imbens 及 Zoe Gu 合作）。該方法的核心是引入一種稱為「已記錄的反事實曝光」的數據結構。

研究人員只需在白天記錄用戶的查詢、實際看到的回覆以及用戶行為反饋，並同步記錄至少一條用戶「本可以看到但沒看到」的內容，以及用戶看到 A 而非 B 的相對機率。夜間 GPU 空閒時，再次呼叫 API 並在 temperature>0 的條件下對同一查詢進行多次採樣，即可低成本獲得反事實回覆。這個框架有三項顛覆性特點：第一，它繞過了傳統因果推斷中最棘手的步驟——估計傾向得分作為用戶特徵的函數。在新框架中，機率計算只在「用戶內部」進行，亦即「這個特定用戶在這次特定查詢中，看到 A 而非 B 的機率是多少？」如此一來，甚至不需要記錄用戶查詢本身就能估計因果效應，有助於保護隱私。

第二，它充分利用 LLM 的內在隨機性，僅需夜間重跑 API 就能取得反事實暴露，無須另外招募實驗對象。第三，它回答的問題非常務實：當系統在兩種回覆之間近乎無差異時，朝某個方向（例如讓語氣更溫暖）輕輕推一把，會產生什麼效果？這正是 AI 產品經理每天在調整系統提示時所關心的問題。在實際操作中，研究人員先利用分類器標記兩條回覆中是否具有目標特徵（例如語氣是否溫暖），然後丟掉實際曝光與反事實曝光在該特徵上一致的配對，僅對「不一致配對」計算結果的均值差。若 language model 的 temperature 較高，兩條回覆的出現機率相近，甚至不需要加權即可直接平均。

Athey 強調，這個效應衡量的是「輕微推動」的影響，適合對應於修改系統提示的情境，但不適用於在回覆生成後再「強行」改變內容的做法。Athey 也將這個方法與推薦系統領域常見的負採樣文獻做了對比。負採樣通常從物品目錄中隨機抽取用戶沒看過的物品作為負樣本，但這些樣本並非用戶真正「可能看到」的內容，因此估計可能帶有偏差。而新方法所創建的反事實樣本來自律師系統在相同查詢下實際可能生成的回覆，保留了真實的 0/1 結果，屬於無偏估計。除了上述方法，Athey 還簡介了另一個跨學科團隊正在進行的計畫：用 Transformer 模型對職業序列（而非詞語序列）進行建模，並應用於性別工資差距分解。

團隊先以非代表性的簡歷數據預訓練基礎模型，再在包含工資資訊的政府調查資料上進行微調，其中包含數千名工人與數萬次職業轉換。因果推斷的目標是將性別工資差距分解為「若男女擁有相同職業歷史時的差距」以及「職業歷史差異本身造成的差距」。技術關鍵在於修改微調時的目標函數：將傳統的均方誤差改為「殘差對殘差迴歸」，先計算結果變數減去模型預測結果的殘差，再對「性別減去模型預測性別」的殘差做迴歸。這個源自三十年前計量經濟學的目標函數能在控制正確混雜因素後得到因果效應。

Athey 在結語中指出，改變隨機梯度下降的目標函數就能回答各類因果問題，後訓練調整正在復興，這為那些對模型產出進行事後調整的研究者提供了新的操作方向。她的演講不僅為生成式 AI 時代的因果推斷打開新視角，更讓過往難以施力的高維個性化場景有了可行的解方。