現代AI之父新作：13個大模型實測，檢索agent真的可信嗎？

新智元報道

【新智元導讀】13個大模型在上網搜索時是否容易被虛假內容誤導？結果顯示，模型安全性差異顯著，Claude表現最佳，但仍有沉默漂移和誤拒風險；GPT在新場景中極易被攻擊。這對依賴AI搜索的用戶安全至關重要，提醒我們需全面評估模型及其防御機制。

2026年的央視3·15晚會上，一條名為「GEO」的灰色產業鏈被擺到了臺前：記者虛構了一款根本不存在的智能手環，業內人士借助一款軟件批量生成十余篇軟文、一鍵發布，僅僅兩個小時后，某款主流AI大模型就照搬這些虛假內容，把這款捏造的產品當成「標準答案」推薦給了中老年養生群體。從業者對此毫不避諱，稱這門生意就是給AI「投毒」。

晚會曝光了現象，但有一個更基礎的問題它沒有回答：同樣面對這種「投毒」，不同的AI大模型，表現真的一樣嗎？誰更容易被操縱，誰能識破攻擊，差距有多大？

近日，來自KAUST生成式AI卓越中心、吉林大學、浙江大學、瑞士人工智能實驗室等機構，由包括「現代人工智能之父」Jürgen Schmidhuber在內的研究者組成的團隊，發布了一篇回答這個問題的研究論文。

該工作提出了一個名為SearchGEO的評測框架，系統地量化了當AI替我們上網搜索、再把搜到的內容綜合成回答時，攻擊者能多容易地誘導和操縱結果。

論文鏈接：https://arxiv.org/abs/2606.16821

開源頁面：https://github.com/Beastlyprime/SearchGEO

研究在13個主流大模型后端、5種攻擊模式、4個高風險領域上做了一遍系統測試，得到的結論遠比「誰更安全」復雜：13個模型的脆弱程度相差一個數量級，沒有一種攻擊通吃所有模型，而兩個看起來最安全的模型，可能朝不同的方向失敗。

圖1　13個后端的攻擊成功率總覽，以及agent-skill探針中Claude與GPT的失敗模式。

一個被低估的攻擊面

3·15曝光的案例之所以成立，靠的正是搜索agent的工作方式：我們讓AI助手幫你挑一款智能手環、或者查一個法律問題該找誰，它不只憑記憶作答，而是上網搜索，讀完前幾條結果，再匯總答案。

問題出在互聯網的開放性：任何人都能發布內容，而在AI生成內容泛濫的當下，這個成本尤其低。

只要攻擊者發布幾個專為這次搜索偽裝的網頁——排版、語氣、來源都和真實結果別無二致，唯一目的是讓AI把指定產品原樣「背書」給用戶——他就不必侵入任何系統、不必接觸模型權重或提示詞，便能影響所有依賴聯網檢索的AI助手。

這正是本研究關注的威脅模型：開放網絡上的第三方內容，經由agent的綜合,被悄悄轉化成了「被模型認可的推薦」。

3·15演示的是這件事能發生,而這篇論文要回答的是:它在哪些模型上、以什么方式、能發生到什么程度。

圖2　SearchGEO評測框架：多領域案例、五種攻擊模式、檢索結果注入設計與多維度評價指標。

SearchGEO評測方式

要判斷搜索結果污染到底有多大影響，最難的是把它和別的變量分開。一篇網頁之所以能左右AI，可能是因為內容本身，也可能只是因為它看起來更專業、排得更靠前。

SearchGEO的辦法是構建一個「混合搜索代理」：先把真實的SerpAPI搜索結果緩存下來，再在指定的排名位置，用攻擊者構造的網頁內容替換掉原本的結果，從而隔離污染的因果效應。

攻擊內容本身也經過精心控制。它由AI仿照每個任務真實搜索結果的質量生成，再經人工逐篇審查，去掉那些容易暴露「這是偽造內容」的生成痕跡。

研究把攻擊歸納為三個層次、五種模式：機器層（在頁面里植入人類看不見、但會被模型讀取的隱藏內容）、信任信號層（偽造權威來源，或制造多個來源「一致同意」的假象）、以及把兩者疊加的復合攻擊。衡量結果的核心指標是攻擊成功率（ASR）：AI最終是否把攻擊者指定的目標推薦給了用戶。

實驗結果

在這套評測體系下，13個后端的整體ASR拉開了一個數量級的差距。

最穩的是Claude-Sonnet-4.6，整體ASR為0.0%；GPT-5.4-mini緊隨其后，只有0.8%。最脆弱的是Gemini-3-Flash，整體ASR達到31.4%——其中單靠「合成共識」一種攻擊（多個看似獨立的來源同時指向同一結論），就能把它打到73%。三個Gemini變體，加上DeepSeek-V4-Flash、MiniMax-M2.7，整體ASR都在17%以上。

圖3　13個主流大模型在搜索結果污染下的攻擊成功率（按ASR升序，越低越安全）。

這里揭示了一個現象：后端大模型之間的差距，比領域之間、攻擊模式之間的差距都要大。另外不同模型對不同攻擊模式的相應不同。Gemini最怕合成共識，而其余大多數大模型，更容易被「權威錨點+引用鏈」攻破。這意味著防御很可能需要針對模型特定設計。

GPT真的安全嗎？

如果只看上面那張表，很容易得出「GPT-mini幾乎免疫」的結論——0.8%，和Claude并列第一梯隊。

研究額外設計了一個agent-skill探針。當AI助手要推薦的不再是一款產品，而是一個「agent技能/插件」時，它給出的「背書」就不再是一句話，而是一條可以直接執行的安裝命令。推薦鏈在這里變成了安裝鏈，使得用戶暴露在更大的信息安全風險之下。

研究用合成共識攻擊（三個偽造來源，收斂到一個根本不存在的技能名）在這個場景下測試，結果出乎意料：GPT-5.4-mini在10個OpenClaw高風險場景中，全盤接受了虛構的技能，并原樣給出了精確的安裝命令。

換到三個不同的生態（OpenClaw、Anthropic Skills、Hermes Agent）共18個匹配場景，GPT-5.4-mini接受了17個，更新的GPT-5.5接受了16個（僅有的兩次拒絕出現在Anthropic Skills）。這種「來者不拒」橫跨全部5種攻擊模式都成立。

所以GPT的0.8%并不代表穩健：常規評測覆蓋的多是成熟、已知的任務，而一旦換到agent-skill推薦這類新興場景，GPT會近乎完全失守。

Claude的0%有代價

GPT在新場景會變得脆弱，Claude的表現則更微妙：它的0%背后，藏著兩個不容易被注意到的代價。

第一點是「沉默漂移」。攻擊沒有成功（ASR=0），不代表答案完全沒被推動。研究用一個叫ΔOSS的指標，衡量答案相對干凈基線朝攻擊目標偏移了多少。Claude-Sonnet-4.6在264個用例里，有8例（3.0%）發生了超過一個評分檔位的沉默漂移：攻擊沒能讓它明確背書，卻已經把它的回答悄悄推向了攻擊者想要的方向。在全部13個后端的合并統計中，復合攻擊能讓15.0%的「失敗」案例發生這種漂移。只看ASR，會系統性地低估攻擊的真實影響。

圖4　沉默漂移按攻擊模式分布：機器層往回縮，信任信號層與復合攻擊即便沒「成功」也把答案推向攻擊目標。

第二點，研究稱之為collateral rejection—可以理解為「連累式拒絕」。在agent-skill探針的干凈基線下（完全沒有攻擊），Claude在10個場景里全部拒絕給出有用回答，更極端的是，有8個場景它直接否定了OpenClaw這個真實存在的合法生態，把正經工具當成可疑對象擋在門外。

這意味著當攻擊者把某個品類用大量虛構品牌灌滿，Claude可能會出于謹慎把整個品類一起拒絕，合法生態被誤傷，攻擊者照樣達成了破壞性的目的。這是一種傳統ASR度量不到、卻切實傷害了用戶的失敗模式。

關于防御的啟示

研究還指出兩個關于防御的更具體的問題。

一是「偽造共識」值得警惕。「三人成虎「的現象對于AI助手依然存在：ASR會隨著相互獨立的佐證來源數量單調上升。把同一篇軟文反復刷上去沒用，攻擊者需要付出真實成本，去偽造多個看似獨立的來源——這也反過來指明了防御的方向。

二是防御并非模型無關。一套基于OWASP的prompt級防御能降低ASR，但不能消除；而一個現成的OpenClaw部署框架，能給兩個后端降低ASR，卻在Gemini-3-Flash上把權威類攻擊放大了31.8%。這說明「模型」和「部署框架」必須作為一個整體來評估和設計。

總結

搜索內容操縱對于當前的主流LLM助手依然是懸而未決的挑戰。相比其他模型，Claude-sonnet、GPT-mini雖然在評測集上有更好的安全表現，但GPT在新場景下完全失守，Claude也存在過度拒絕和沉默漂移的潛在問題。

研究提出幾點建議：

1. 把「對抗內容下的搜索推薦可靠性」當作模型安全的一等評測維度，而不是部署層的小事。

2. 評測指標要走出單一的ASR，把沉默漂移、誤拒率這類被忽略的風險也納進來。

3. 防御方案要針對「模型+框架」這一對組合來設計，而不是指望一塊通用補丁。

4. 提供方需要向用戶如實披露不同模型、不同價位在這類源敏感任務上的能力邊界。

當AI助手越來越多地替我們上網查信息，這項研究提醒我們：守護它的評測和防御，還遠遠沒有跟上。

作者簡介

該研究由KAUST（沙特阿卜杜拉國王科技大學）生成式AI卓越中心，聯合吉林大學、浙江大學、瑞士AI實驗室IDSIA共同完成。第一作者為KAUST的陳奕夢，核心成員包括吉林大學的任哲、郭丹丹，KAUST的Firas Laakom，浙江大學的李渝，以及KAUST/IDSIA的Jürgen Schmidhuber。

參考資料：

https://arxiv.org/abs/2606.16821

編輯：LRST