![]()
引言
從單一 LLM Agent 發展到多智能體系統(Multi-Agents System, MAS),Agents 解決問題的能力得到了很大提高。然而,這些 Agents 之間的通信也放大了安全風險。一個受攻擊的 Agent 可以在協作推理中插入惡意信息,導致其他 Agents 沿著錯誤的邏輯鏈推理,或被引導進行惡意行為,最終共同收斂到有缺陷甚至有害的輸出上。
為了解決這個問題,近期工作引入了圖異常檢測(Graph Anomaly Detection, GAD)用于防御惡意 Agents。作為一種無監督防御范式,其通常將問題建模成圖結構,并在其之上訓練一個 GAD 模型來找到被攻擊的 agent 節點,并阻斷其輸出的誤導性內容的傳播。然而,現有方法雖然能起到一定作用,但仍然面臨兩大瓶頸:
缺陷 1:只看得到粗粒度信息,忽視細粒度信息
現有方法將 Agents 的完整文本輸出,壓縮為單個句子表征向量來用于后繼檢測。然而惡意行為往往隱藏在長篇大論中,比如大量套話中冷不丁冒出幾句惡意指令,或注入的隱私竊取工具調用。目前的建模思路將這些關鍵短句和大量套話一同塞入句子表征向量,使得異常特征不再明顯。
缺陷 2:缺乏可解釋性
并且,這類方法只能做出判斷該 Agent 是否為異常,卻無法揭示是什么為什么是異常。這種不透明性不僅妨礙人工介入檢查系統漏洞,也削弱了這類方法在實際部署中的可靠度。
為解決上述局限性,研究團隊提出了 XG-Guard (eXplainable and fine-Grained safeGuarding framework), 一個基于 GAD 且兼具可解釋性和細粒度檢測能力的無監督安全防護框架。目前工作已被 ACL 2026 Main Conference 接收。
![]()
- 論文標題:Explainable and Fine-Grained Safeguarding of LLM Multi-Agent Systems via Bi-Level Graph Anomaly Detection
- 論文鏈接:https://arxiv.org/abs/2512.18733
- 代碼鏈接:https://github.com/CampanulaBells/XG-Guard
- 論文作者:Junjun Pan, Yixin Liu, Rui Miao, Yu Zheng, Kaize Ding, Quoc Viet Hung Nguyen, Alan Wee-Chung Liew, Shirui Pan
核心貢獻包括:
- 問題建模創新:本文首次實現具備可解釋性的無監督 GAD 的多智能體系統(MAS)防御。
- 方法設計貢獻:本文提出 XG-Guard,通過學習粗細粒度的表征 + 基于對話主題的異常檢測,兼顧了無監督場景下對異常 Agents 的有效檢測和解釋。
- 實驗驗證與效果:多種 MAS 拓撲結構與不同攻擊策略下的大量實驗表明,XG-Guard 在防御性能上始終表現優越,同時能夠為做出的決策提供可靠的解釋。
方法解讀
XG-Guard 核心思想建立在同時感知詞語和句子粒度的表征,而后通過對話主題捕捉異常語義,最后融合粗細粒度證據提供量化解釋。具體來說,XG-Guard 包含三個關鍵模塊:
![]()
階段一:雙層智能體表征編碼(Bi-Level Agent Encoder)
為了同時兼顧宏觀的對話語境與微觀的詞匯細節,XG-Guard 摒棄了單一的粗粒度文本編碼,而是為每個 Agent 的輸出都構建了粗細粒度的特征:
- 粗粒度特征 (Sentence-leve):捕獲發言的語義大意。
- 細粒度特征 (Token-level):捕獲每個詞語的的語義細節。
隨后,框架利用圖神經網絡(GNN),在通信圖上進行消息傳遞,得到節點的 encoding。
![]()
借此,Agents 的 encoding 在這個過程中,不僅包含了粗細粒度的文本語義,還融合了通信圖的結構化信息。
階段二:基于對話主題的無監督異常檢測 (Theme-based Anomaly Detector)
正常 MAS 協作解決問題的過程中,Agents 的發言應當始終圍繞當前的任務和討論主題展開。而相反的,惡意 Agents 的發言則為了扭曲結果而偏離主題,或者帶有隱蔽惡意的言論。
XG-Guard 利用此直覺,設計了基于主題的異常檢測器,來實現無監督異常檢測:
系統首先聚合當前當前對話的特征,得到對話主題原型(theme prototype):
![]()
接著,通過度量各個 Agent 的表征與該主題原型的距離,計算出句子級別,和詞元級別的異常分數:
![]()
這里算出的兩個分數也為后繼融合否提供可解釋性奠定了基礎。
階段三:雙層分數融合與異常解釋機制
一般來說,theme prototype 代表了正常主題。但是由于 token-level 對于細粒度的異常信息極度敏感,故 token-level theme prototype 可能會錯誤地反應異常 Agents 帶來的惡意主題信息。因此,直接組合粗細粒度信息會導致這種情況下效果變差。為了解決這個問題,XG-Guard 引入了基于協方差的分數融合機制,確保句子和詞元之間的分數能夠對齊:
![]()
通過將句子和詞元級別的異常分數融合到統一的框架內,XG-Guard 也借此獲得了可解釋性。XG-Guard 能夠通過對齊后的詞元級異常分數,來高亮出惡意關鍵詞,為異常檢測提供了可解釋性,增加了方法的透明度。
![]()
這種內生的細粒度可解釋性,為安全審計提供了極高的透明度。
階段四:隔離惡意 Agents,避免惡意傳播
在精準定位到惡意 Agents 后,系統會觸發通信隔離策略,實時裁剪惡意 Agents 在圖拓撲中的所有通信邊,阻斷惡意信息在 MAS 內部的擴散,避免惡意 Agents 影響其余正常 Agents 之間的協同工作能力。
實驗結果
我們在多種不同的 MAS 通信結構和攻擊模式下進行了測試。實驗結果說明 XG-Guard 在無監督場景下具有卓越的異常檢測性能。
1. 主實驗
![]()
在嚴格無監督 (無人工攻擊標簽標注,訓練集僅包含正常對話) 的設定下,XG-Guard 在各個指標(ROAUC、ASR@3)上均顯著超越了現有的先進無監督異常檢測方法,并且在一些數據集上都獲得了和有監督 Baseline 持平的好效果。
![]()
我們也用了其他 LLM backbone 進行測試 (如 GPT-4o-mini、DeepSeek-V3、Qwen-30B-A3B)。實驗結果展示出,XG-Guard 在各個 backbone 上均保持了穩定的高性能表現,說明了其良好的泛化能力。
2. 消融實驗
![]()
為驗證 XG-Guard 各組件的必要性,我們分別移除分數融合機制 (-Fusion) 或細粒度信息 (-Token)。結果顯示移除任一核心組件都會導致檢測性能顯著下降。
去掉細粒度后,模型難以捕捉隱藏在少數詞匯中的惡意信號,導致檢測結果明顯下降;而去掉自適應混合以后,模型難以區分正常話題偏移與真正的異常行為,有時甚至真假不分,導致 ROAUC 小于 50%。只有同時所有模塊,才能實現既穩定又可靠的異常檢測。
3. 可解釋性
![]()
可視化結果顯示,XG-Guard 的粗細粒度架構能夠有效地找出到底是那句話導致的異常,如 (a) 中,惡意 Agent 傳播的誤導性信息,或 (b) 中,agents 嘗試調用工具來盜取個人資料。
總結
總而言之,XG-Guard 提出了一套全新的無監督 MAS Safeguarding。通過引入詞元級的特征,XG-Guard 不僅能有效檢測出惡意 Agents, 更能為決策提供解釋,增進了異常檢測系統的透明度。
作者介紹
本文第一作者為潘鈞君(Junjun Pan),主要研究方向為圖異常檢測(Graph Anomaly Detection)。目前作為博士生于Griffith University潘世瑞教授(Shirui Pan)的 TrustAGI 研究團隊開展科研工作。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.