當 AI 開始替你花錢，誰來替 AI 踩剎車？

智能體時代，讓AI付錢，正在從嘗鮮變成日常。

編輯丨李希

今年春節，在千問App里說一句“幫我點杯奶茶”，AI就能自己找店、下單，用戶只需在最后確認支付。短短三個月，支付寶“AI付”的支付筆數就突破3億。

AI付的入口也在從手機屏幕蔓延到車機、AI眼鏡和智能手表。理想汽車的車主對著車載智能系統說一句“點份肯德基”，AI就能完成推薦、下單、免密支付，并自動導航到取餐門店。

用戶能看見的，是最后那一下支付；看不見的，是在此之前，AI讀過什么郵件、搜過什么網頁、調用過哪些服務，又根據什么生成了這筆訂單。

風險往往就從這些看不見的環節進來。

微軟的辦公大模型助手 Microsoft 365 Copilot 就中過招。一封構造好的郵件被發到用戶收件箱，用戶不用點開，Copilot 就可能被誘導，把用戶權限內的敏感文件和聊天記錄往外送。這也被視為首個進入真實生產系統的“零點擊提示注入”（Zero-click Prompt Injection）攻擊案例。

安全專家 Simon Willison 將這類風險概括為“致命三件套”：讀取外部內容、接觸隱私數據、向外部系統采取行動。一旦三樣占全，攻擊者甚至無須先盜走賬戶，只要把一句話塞進智能體正在讀取的郵件或網頁，就可能借它讀取用戶數據、執行越權操作。

過去的風控一直在判斷“這是不是你”。智能體時代，系統還得多問一句：AI正在做的，到底還是不是你的意思？

面對這種系統性的操作風險，業界的防御邏輯正在重構。近日，螞蟻集團開源了 SingGuard 與 SingGuard-NSFA 兩套安全框架，分別回應模型內容安全和智能體操作安全兩類問題。

那么，當AI開始真正替人進入現實世界辦事，安全護欄究竟應該長什么樣？這是整個行業都在尋找的答案，也是螞蟻這次兩套開源框架試圖回答的問題。

01

100毫秒內，怎么攔住危險操作

傳統風控數十年來的經驗主要解決一件事：操作賬戶的到底是不是本人。陌生設備突然轉走一筆錢，傳統風控很容易看出異常。

但這套邏輯在智能體時代并不管用，智能體完全可以在正常設備上，用用戶親手授予的權限完成操作。唯一出錯的環節在于，AI已經分不清究竟是誰在發號施令。

究其原因，大模型會把用戶命令和外部資料一起讀進上下文，它未必總能分清哪句該執行、哪句只該閱讀。

既然不能保證模型永遠不會被帶偏，就必須在它把理解變成行動之前，額外檢查一次。

想攔住危險，首先得知道危險長什么樣。

現有的智能體安全工具，有些工具只覆蓋幾種固定攻擊，有些則把風險定義完全交給部署方。前者容易漏掉新出現的攻擊，后者則很難知道自己究竟漏了什么安全死角。

SingGuard-NSFA 的解決方案則是先為智能體風險畫了一張地圖。它用信息安全經典的 CIA 三要素（保密性、完整性、可用性）作為底座，再逐條對照國際應用安全組織 OWASP 的3套指南，拆出7個大類、28個子類和185種具體風險。

這里面既有提示詞注入、隱私竊取和惡意代碼，也有更貼近智能體行動的風險：篡改轉賬金額、繞過審批、擴大工具權限，或者把讀出來的私鑰發到外部服務器。

過去模糊的“這個智能體好像不太安全”，由此變成一張可以檢查、評估和繼續補充的邊界。

SingGuard-NSFA的風險地圖：左為用戶請求側，右為智能體響應側，共7大類、28子類、185種風險

知道危險長什么樣之后，下一個問題是，怎么在動作落地前攔住它。

智能體一旦被帶偏，下一步就可能真的調用工具：改掉數據庫里的內容，把敏感文件發給外部地址，或者生成一筆不該出現的訂單。等動作落地后再發現問題，很多后果已經無法挽回。

因此，護欄必須趕在工具調用前作出判斷，SingGuard-NSFA 把實時攔截和事后審計分開處理。在線運行時，系統直接利用輕量分類頭判斷風險，跳過逐字生成分析的過程，實測僅需45至57毫秒，能夠控制進100毫秒左右的攔截窗口。需要復盤時，再讓模型進行生成式推理，說明哪里危險、命中了哪類風險。

它還把用戶請求和智能體輸出分別設為兩道檢查點。請求側盡量在智能體調用工具前發現惡意意圖；如果風險從網頁、知識庫或工具返回結果中途混入，輸出側還能繼續檢查模型是否生成了危險命令、惡意代碼、攻擊方案或明文密鑰。

檢測得快還不夠，護欄也不能見到一點可疑跡象就全部攔下。

讀取私鑰可能是竊取，也可能是用戶備份自己的密鑰；提到端口掃描，可能是在發起攻擊，也可能是在講如何防御。如果模型只會認“私鑰”“刪除”“端口”這些表面詞匯，正常操作會最先被堵死。

SingGuard-NSFA 的訓練數據里，危險樣本會配上表面相似、意圖卻安全的“難負樣本”。模型必須結合操作對象、授權范圍、真實目的和可能后果作出判斷。它要學的不是哪些詞看起來危險，而是操作本身為什么危險。

實驗結果也驗證了這套方法。研究團隊把 NSFA 的分類頭接到凍結后的業界主流安全基座模型 Llama Guard 3 上，期間未對模型主干進行重訓。在用戶請求安全測試里，衡量模型綜合識別準確度的核心指標 F1 分數從 67.66 升到 85.23，超過了所有外部護欄。

這說明分類頭不只適用于螞蟻自己的模型，也能作為插件式增強接到其他護欄上。對企業而言，它提供了一條不必重訓模型主干的升級路徑。

另一組3435道題改編自5個公開的智能體安全數據集，題型和數據來源并不由螞蟻自己定義，更接近“別人出的卷子，螞蟻當考生”。9B版本模型在這組測試中取得91.29的 F1 分數，比最強外部競品高出6個多點。

三組基準上的二分類F1：藍色為SingGuard-NSFA，灰色為各家對比護欄。左、中為自建的用戶請求與模型響應基準，右側為改編自5個公開數據集的跨源基準

出現新風險后，系統支持僅訓練對應的分類頭，免去了重訓整套模型的麻煩。論文把分類頭從5個擴到5萬個，端到端延遲只增加約9毫秒。這意味著增加風險類別，并不會讓在線檢測的延遲隨分類頭數量同步膨脹。

02

Anthropic也翻車的漏洞，怎么防守？

除了智能體的操作風險，模型自身的內容輸入也是迫在眉睫的安全威脅。

今年6月，Anthropic 發布旗艦模型 Claude Fable 5，沒幾天就被研究者繞過了安全護欄。攻擊者用 Unicode 字符和外形酷似英文字母的西里爾字符替換敏感詞，安全分類器把它們當成陌生拼寫，模型卻仍能還原原意，系統提示詞也由此被套了出來。

這不只是某個敏感詞漏檢，而是模型和護欄對同一段輸入產生了不同理解。模型越能讀懂變形文字、圖片和跨模態信息，外部護欄就越不能停留在關鍵詞識別上。

不止文字會變形，風險也會藏進圖文組合。攻擊者可以把動作留在文字里，把對象藏進圖片里。兩邊單獨看都沒有問題，放在一起才顯出完整意圖。傳統護欄往往為文字、圖片各搭一道門，這就如同安檢時把行李的X光片和乘客的對話分開審查，很容易漏掉跨模態的隱蔽惡意。

SingGuard 則把它們連同模型生成的回復，放進同一套框架中進行聯合判斷。

新的風險和業務規則不斷出現，護欄不能只認訓練時見過的固定類別。SingGuard 可以在運行時讀取新增的自然語言安全規則，不必為了調整一條規則就重新訓練整個模型。

兩篇論文都把安全判斷分成快慢兩層，具體做法各有側重。NSFA 把實時分類和生成式審計分開；SingGuard 則采用混合模式，先給出初步判斷，結論足夠確定就立即結束，遇到低置信度的復雜內容才啟動慢思考，繼續核對規則。

研究團隊發現，模型也會“先入為主”。一旦開頭先說了“安全”，后面的推理極有可能只是在替第一反應尋找理由。為此，SingGuard 在強化學習階段刻意弱化了第一個判斷詞對后續訓練的權重影響，讓后續推理仍有機會推翻最初判斷。

這樣一來，清楚的內容可以快速通過，模糊的內容才進入深入審查，推理成本不必平均花在每一次請求上。

在覆蓋文本查詢、文本回復、圖像、多模態和多語言的6大類評測中，在35個數據集及評測切分上，SingGuard 的平均 F1 均為最高。它的對標對象，涵蓋了 Llama Guard 3、谷歌的 ShieldGemma 等目前業內最具代表性的主流護欄。

SingGuard-8B在圖像、多模態、文本與多語言等安全維度上的F1表現，最外圈為SingGuard-8B

六類基準上的逐項對比：藍色為SingGuard系列，斜紋柱為該項最強的非SingGuard基線，對比對象包含ShieldGemma、Llama Guard 3、GPT-5.1、Gemini3-Pro等

統一處理文本、圖像、多模態內容和動態規則，并不必然以犧牲基礎檢測能力為代價。

03

AI安全，需要雙管齊下

SingGuard 和 SingGuard-NSFA在同一時間出現，代表AI的能力正沿兩個方向外擴。

一方面，模型能夠理解的信息越來越復雜，文本、圖片、多模態內容交織在一起，傳統內容安全面臨新的挑戰；另一方面，智能體能夠執行的動作越來越真實，錯誤已經不再停留在聊天窗口，而會直接影響現實世界。

因此，AI時代的護欄也開始分工。

SingGuard 負責模型內容安全，判斷輸入輸出是否越過安全邊界；SingGuard-NSFA 負責智能體操作安全，識別可能導致信息竊取、越權調用、惡意代碼和資源濫用的風險。

螞蟻將兩套框架和評測體系開源，也為行業繼續驗證和擴展這些方法提供了一個公開起點。

回頭看過去二十年的互聯網發展，每一次技術能力跨越，都伴隨著一次新的安全體系建立。PC互聯網時代，首先要解決的是賬戶安全；移動互聯網時代，支付安全成為信任的基礎；云計算普及之后，數據安全又成為新的重點。而今天，當AI開始擁有調用工具、訪問數據、完成交易的能力，安全問題也第一次從“模型說什么”，演變成了“模型會去做什么”。

這也是為什么，AI安全正在從內容審核演變為系統安全，從模型能力的一部分，逐漸變成智能體時代的重要基礎設施。

螞蟻此次開源SingGuard和SingGuard-NSFA，與其說是在發布兩套安全模型，不如說是在嘗試把支付時代積累的安全能力，延伸到AI時代的新信任體系中。它能否成為行業標準，還有待更多開發者和企業共同驗證；但至少，一個新的共識已經越來越清晰——未來決定AI能走多遠的，不只是模型能力，還有安全能力。

在AI付時代，用戶能看見最后的支付確認，卻未必知道在訂單生成之前，AI讀過什么、聽了誰的話、調用過哪些服務。護欄要守住的，正是這段看不見的過程。

當AI開始替人進入現實世界辦事，系統不僅要確認賬戶屬于誰，還要確認它執行的，仍然是用戶原本的意思。

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。