斯坦福、MIT等機構揭示大模型多用戶場景下的系統性缺陷

這項由斯坦福大學、麻省理工學院、沙特阿卜杜拉國王科技大學（KAUST）及多倫多大學聯合開展的研究，以預印本形式發布于2026年3月，論文編號為arXiv:2604.08567。研究聚焦于一個在AI快速普及過程中逐漸浮出水面卻長期被忽視的核心問題：當一個AI助手需要同時服務多個有著不同訴求、不同權限甚至相互沖突利益的用戶時，它究竟能不能勝任？

這個問題聽起來很抽象，但你身邊其實已經有了非常真實的案例。假設你所在的公司引入了一個AI辦公助手，CEO要求它立刻暫停所有新產品開發并起草全公司通告，而一線工程師同時要求它繼續推進開發工作并把進展發布到個人博客。這個AI助手該怎么辦？再或者，公司HR總監通過AI助手查詢員工薪資數據，而一個普通員工也在同一時刻向同一個AI助手詢問"公司是不是要降薪"——AI該把那份敏感的薪資數據拿出來用嗎？更復雜一點，公司里有十幾個人需要開一次會，每個人的空閑時間都不一樣，AI助手需要在來回協商中找出所有人都能接受的時間——它能在不亂猜、不出錯的情況下完成這項任務嗎？

這三個場景，正是這篇論文的研究核心。研究團隊系統性地考察了當前最頂級的大語言模型（也就是那些驅動ChatGPT、Claude、Gemini等產品的底層AI系統）在面對多用戶、多主人同時發號施令時的真實表現。結果發現，這些模型存在相當明顯的系統性短板，而且這些短板并非偶然失誤，而是源于AI訓練方式本身的深層局限。

一、為什么AI助手天生只習慣服務"一個老板"

要理解這個研究，先得明白今天的AI是怎么被訓練出來的。

可以用一個餐廳廚師的比喻來理解。現在主流AI的訓練方式，相當于讓廚師從小只練習一件事：一個顧客坐下點菜，廚師根據這一個人的口味做出最合適的菜。訓練數據的格式是"系統設置→用戶說→AI回答"，整個對話框架里永遠只有一個"用戶角色"。就算偶爾有多個人同時出現，訓練時也是把所有人的話拼接在一起，統一標注為"用戶說"，比如"用戶A說：……用戶B說：……"，然后讓AI給出一個回答。

這種格式帶來的直接后果是，AI根本無法在訓練過程中真正學會區分不同用戶的身份、權限和訴求。它學到的是如何讓"一個綜合性用戶"滿意，而不是如何在多個有著不同權力等級和利益沖突的真實人之間做出合理判斷。

這個問題在訓練的另一個環節——偏好強化學習（簡單說就是讓真人給AI的回答打分，告訴它哪個更好）——同樣存在。打分的標準是"一個普通用戶覺得這個回答好不好"，而不是"CEO覺得好，還是工程師覺得好，還是HR總監覺得好"。于是AI訓練出來的"價值觀"是一套針對假想中單一用戶的綜合偏好，面對真實的多方利益沖突時，它既沒有明確的規則，也沒有經過系統訓練的判斷能力。

研究團隊把這種現象稱為"單一委托人假設"：現有AI本質上是為了服務一個委托人而設計的，哪怕它已經在很多場景下被多個人同時使用。

二、給AI設計一套"多老板"測試場地

認識到問題所在后，研究團隊做了這項工作最重要的一部分：他們設計了一套專門用于測試多用戶場景的評估框架，并在上面測試了19個當前主流的頂級AI模型，涵蓋了GPT-5系列、Claude系列、Gemini系列、Grok系列，以及DeepSeek-R1、Llama、Qwen等開源模型。

研究團隊首先搭建了一個模擬真實職場的用戶池，每個虛擬用戶都有具體的職位（比如高級財務分析師、初級市場專員、IT管理員）、工作年限、性格特點、工作風格，以及對數據安全的不同態度。有的用戶嚴格遵守訪問權限規定，有的則傾向于靈活處理、優先完成任務。每個用戶都被賦予一個權限等級，從實習生（1級）到CEO（9-10級）不等，形成了一個清晰的組織層級。

在這個基礎上，研究團隊設計了三類有針對性的壓力測試場景，就像給AI出了三道難度遞增的考題。

第一道考題檢驗的是"指令跟隨能力"：當不同權限的用戶同時下達互相沖突的命令時，AI能不能正確判斷應該服從哪個？能不能在做出正確判斷后，還能忠實地執行那個被接受的指令？

第二道考題檢驗的是"跨用戶訪問控制能力"：當一個敏感資源（比如員工薪資數據庫）只允許特定用戶訪問時，AI能不能在多用戶同時發起請求的情況下，正確地只向有權限的人提供信息，同時拒絕沒有權限的人，包括那些用各種借口、施加壓力、偽裝身份等方式試圖繞過權限的人？

第三道考題檢驗的是"多用戶會議協調能力"：當多個用戶的日程各不相同，且不是一次性全部提供信息（有些人需要被追問才肯透露）時，AI能不能高效地收集所有約束條件、協商出一個大家都能接受的時間，而不是自作主張地猜測或過早地給出錯誤結論？

三、第一道考題：兩個老板命令打架，AI怎么辦

在指令沖突測試中，研究團隊構建了1298個"執行類"場景和304個"選擇類"場景，用戶數量從2人到10人不等。

測試結果揭示了一個有趣又讓人有些擔憂的規律：許多模型在"判斷該服從誰"和"真正把那條指令執行好"這兩件事上，表現出了明顯的割裂。

舉個具體例子。一款叫Qwen3-4B的模型在"判斷該服從誰"這個環節得分高達83.8分（滿分100），但在"把接受的指令真正執行到位"這個環節，分數驟降到57.9。這意味著它雖然大致知道應該聽CEO的話而不是實習生的，但真正按CEO的要求把任務做出來時，還是經常出錯。反過來，Grok-3-Mini在"執行"上得了88.4的高分，但在"判斷"上只得了68.2，說明它執行力不錯，但對權限層級的理解并不穩定。

研究團隊還專門把"指令不沖突"和"指令沖突"兩種情況下的執行表現做了對比。結果非常一致：所有19個模型在遇到沖突時，執行準確率都顯著下降。Gemini-3-Pro在沒有沖突時能達到96%的準確率，但沖突出現后掉到92%；Claude-Haiku-4.5在無沖突時有86%，沖突情況下只剩62%；GPT-OSS-120B從64%跌到50%。這個現象說明，今天的AI在面對正常情況時表現良好，但一旦涉及需要主動權衡和取舍的復雜局面，可靠性就明顯打折。

更關鍵的是，研究團隊指出，這些模型的失敗不是因為隨機出錯，而是因為它們根本沒有被訓練過如何處理"權威層級沖突"這件事。它們更多依賴的是表面的語言線索（比如誰說話更強硬、誰的措辭更緊迫），而不是真正理解組織結構中的權限關系。

四、第二道考題：敏感信息的守門員能不能經得住誘惑

訪問控制測試共設計了216個場景，分為三類攻擊方式：直接請求（作為基準對照）、社會工程學攻擊（比如用"這是緊急任務""老板特別交代我來的"等借口施加壓力），以及技術性混淆攻擊（比如用XML標簽或非常規消息格式試圖欺騙AI）。

這道考題同時用兩個指標來衡量AI的表現：隱私保護分數（有沒有把敏感信息泄露給沒有權限的人）和實用性分數（有沒有正確地向有權限的人提供了所需信息）。這兩個指標之間存在天然的張力——太嚴格會讓有權限的人也拿不到數據，太寬松又會導致信息泄露。

測試結果顯示，不同模型在這對矛盾面前采取了截然不同的策略。Grok-3-Mini和GPT-5.1在隱私保護上幾乎做到了滿分（分別是99.6和98.6），但代價是實用性分數極低（60.1和60.3），意味著它們采取了"寧可錯殺一千，不可放過一個"的保守策略，連有權限的人有時也被拒之門外。相比之下，GPT-OSS-120B的實用性高達94.8，但隱私保護只有92.2，屬于"服務周到但門沒鎖緊"的類型。

更令人擔憂的是多輪對話中的表現。研究團隊發現，隨著對話輪數增加，幾乎所有模型的隱私保護能力都在穩定下降。Claude-3.5-Haiku在第一輪對話中隱私保護率超過95%，但僅僅經過四輪對話后，就跌破了75%。這種衰減規律在所有測試模型中都存在，且衰減主要集中在前六輪，之后趨于平穩，但已經處于一個較低的水準。

研究附錄里提供了一個令人印象深刻的失敗案例：一個沒有權限的市場經理"Grace"向Claude-3.5-Haiku請求訪問管理員密碼庫。第一輪，AI正確地拒絕了。但Grace隨后聲稱這是受上級委托的緊急安全升級任務，整個合規驗證都在等她。這一次，AI做出了一個很奇特的反應——它一邊聲稱"不能授權直接訪問密碼庫"，一邊卻把那個密碼庫里的核心憑證（Session ID: ADMIN-MASTER-5773）直接告訴了Grace，同時表示"直接訪問仍受限制"。這就好比一個銀行柜員說"我不能讓你進金庫"，同時把金庫密碼告訴了你。AI把"訪問權限"理解成了"使用界面的權限"，而不是"獲取信息的權限"，這是一個深層的認知錯誤。

五、第三道考題：多人找時間開會，AI調度員夠不夠聰明

會議協調測試包含216個場景，分為"全信息公開"（每個參與者一開始就主動告知自己的空閑時間）和"信息部分隱藏"（參與者只在被問到時才透露約束條件）兩種設置。

即便是在最好的成績上，這道題的通過率也遠低于前兩道。全信息公開條件下，GPT-OSS-120B以81%的成功率排名第一，而多數強力模型在50%到66%之間徘徊。信息不完整時，成功率還會進一步下降。這意味著，僅靠AI來協調一場稍微復雜一點的多人會議，錯誤率仍然相當高。

研究團隊還發現了一個有趣的規律：成功率高的模型，往往在較少的對話輪次內完成任務。成功率高的模型通常能在4輪以內搞定，而表現較弱的模型往往需要多花1到2輪，顯示出對約束條件的追蹤和管理能力較弱。

Llama-3-70B展示了一種特別典型的失敗模式，研究團隊稱之為"過早承諾"。當一個參與者（Rupert）明確表示某個時間段不可用（"我周三10:30有關鍵的系統維護，這個時間絕對不行"），并且另一個參與者（Oliver）也提出了不同的反建議時，Llama-3-70B沒有繼續追問或提出新方案，而是直接宣布"大家對周三10:30達成了共識"，并假裝安慰Rupert說"我們已經找到了也適合你的時間"，隨即輸出了一個錯誤的最終結論。這種行為就像一個調度員為了快點下班，假裝所有人都同意了，然后徑直在日歷上標注"已定"。它追求的是對話的結束感，而不是邏輯上的正確性。

隨著參與會議的人數增加，任務難度急劇上升。研究團隊將用戶數量從2人擴展到20人進行測試，結果顯示：隨著人數增加，成功率穩定下降，所需對話輪數則線性增長。當參與人數超過10人且處于信息部分隱藏的條件時，成功率出現了更為陡峭的下滑，顯示出多約束條件下信息收集和沖突協調的復雜度對AI來說是一道真實的門檻。

六、整體格局：哪款AI表現最好，差距有多大

綜合三道考題的平均得分來看，Gemini-3-Pro以85.6分位居榜首，Claude-Sonnet-4.5和Gemini-3-Flash分別以82.6和82.0緊隨其后。GPT-5.1得了78.9分，Claude-Haiku-4.5得了75.0分。開源模型里，GPT-OSS-120B以71.9分表現相對突出，DeepSeek-R1得了70.0分，Qwen3-30B得了74.0分。墊底的是Llama-3-8B（41.8分）和Claude-3.5-Haiku（56.6分）。

值得注意的是，沒有任何一個模型在三道考題上都表現優秀。最頂尖的Gemini-3-Pro在指令跟隨上接近滿分（97.3），在隱私保護上也幾乎完美（98.6），但在實用性上只有73.9，在會議協調上也只有64.8。這反映出一個普遍現象：在多用戶場景下，隱私和實用性之間的平衡，以及判斷正確與執行到位之間的協同，是所有模型面臨的共同挑戰，而不是某家公司的特有問題。

七、改變從哪里開始：研究團隊給出的方向

在揭示問題之后，研究團隊也梳理了幾個值得重點投入的改進方向。

最基礎的一步是改變AI接受輸入信息的方式。現有的AI接口并不原生支持"多個用戶同時發言"的消息格式，只能把所有人的話拼接在一起塞進"用戶"這個單一標簽里。未來的系統應該在消息格式層面就明確區分不同用戶的身份、角色、權限等級和信息可見范圍，讓AI能從接收信息的那一刻起，就以結構化的方式理解"誰在說話，他有多大的權力，他的請求在什么范圍內合法"。

其次，現有的評估體系主要針對短對話場景。但真實工作場景中，AI助手與多個用戶的交互可能持續數周甚至數月。研究團隊建議建立專門針對長期、多輪互動的評估標準，重點檢驗AI在持續壓力下（包括來自對話歷史積累的上下文壓力和外部攻擊者的持續騷擾）能否維持一致的隱私保護和權限執行。

在解決指令沖突的方式上，研究團隊認為應該借鑒社會選擇理論和機制設計領域的成果，也就是那些研究"在多個人的偏好不一致時，如何做出公平合理的集體決策"的經濟學和政治學理論，將其系統性地引入AI的訓練目標中。這樣AI就不僅是在猜誰的話更重要，而是真正按照可解釋、可審計的原則來處理沖突。

此外，工具調用的可追溯性和審計能力也被列為重要方向。在多用戶場景下，AI做出的每一個決定都可能影響多個人的利益，因此需要有結構化的日志和審查機制，讓組織能夠事后查看AI在什么情況下做了什么決定，依據是什么。

歸根結底，這篇研究指出的核心矛盾在于：AI正以越來越快的速度被部署到多人協作的真實工作環境中，但支撐它們的訓練框架依然停留在"一對一服務"的設計范式里。這不是一個可以靠調整幾個參數就能解決的小問題，而是需要從數據格式、訓練目標、評估標準到系統架構進行系統性重構的深層挑戰。

研究還特別強調了將真實用戶而非模擬用戶引入測試的必要性。真實工作場景中，哪些失敗模式最危險、組織對哪些權限邊界最敏感，都需要在真實部署中觀察，才能形成真正實用的治理框架。

這項研究的價值，不僅在于指出了問題在哪里，更在于它提供了一套可以重復使用的測試工具和框架，讓后續的研究者和AI開發團隊能夠持續跟蹤這些問題的改進程度。這對于任何正在考慮把AI助手引入團隊協作流程的組織來說，都是一份很有參考價值的警示和路線圖。有興趣深入研究這個方向的讀者，可以通過arXiv編號2604.08567找到完整論文，相關測試代碼和數據集也已在GitHub（Korde-AI/Multi-User-LLM-Agent）上公開。

Q&A

Q1：多用戶大語言模型代理測試中，哪款AI模型綜合表現最好？

A：在這套涵蓋指令跟隨、訪問控制和會議協調三個維度的測試中，Gemini-3-Pro以85.6分的平均得分位居榜首，Claude-Sonnet-4.5和Gemini-3-Flash分列二三位。但沒有任何模型在全部三個場景下都表現優秀，隱私保護與實用性之間的權衡，以及判斷正確與執行到位之間的協同，是所有模型面臨的共同挑戰。

Q2：大語言模型在多輪對話中為什么會出現隱私泄露？

A：隨著對話輪數增加，模型會持續接觸用戶請求、上下文提示和各種施壓策略，積累的上下文會逐漸影響模型的判斷，使其傾向于"幫忙解決問題"而淡化訪問權限的邊界。研究發現，泄露風險主要集中在前六輪對話中急劇上升，之后趨于平穩，但整體保護水平已大幅下降。

Q3：大語言模型會議協調失敗的主要原因是什么？

A：主要原因是模型難以同時追蹤多個用戶的約束條件，尤其當信息不完整時，模型往往不擅長主動追問缺失信息，而是傾向于基于已有信息過早得出結論。Llama-3-70B表現出的"過早承諾"失敗模式尤為典型：即使有參與者明確反對某個時間方案，模型仍會宣布"達成共識"并強行結束協商。