鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI
2026年,AI安全終于被推到了臺前。
就在前兩天,工信部NVDB平臺發布風險預警,明確指出Claude Code存在安全后門隱患,可在用戶不知情的情況下收集敏感信息。
時間線撥回更早,年初紅遍全網的OpenClaw也屢屢被曝出高危險漏洞。
從橫空出世到快速普及,再到漏洞頻發、信任受損,這幾乎是當前Agent產品共同的發展軌跡。
現在的AI能力是越來越大了,但闖出的禍也跟滾雪球似的。
濫用工具、惡意代碼生成、提示注入等諸如此類的行為風險,早已不是一兩個補丁就能徹底解決的。
![]()
圖片由AI生成
面對新的風險形態,一個越來越明顯的趨勢是,行業開始把注意力從“漏洞修補”轉向“安全框架”本身。
最近螞蟻開源的SingGuard-NSFA和SingGuard,就是其中比較值得關注的一次嘗試。
前者看住智能體的行為,后者看住多模態大模型的感知。
其目的也很明確,就是在AI動手之前,將安全風險扼殺在搖籃之中。
![]()
之所以聊到這個項目,也是因為它的背景比較有意思。做這個框架的團隊來自螞蟻,一家在安全領域擁有長期積累的公司。
先是支付安全、風控體系,再到如今的AI安全,安全能力在這家公司內部本身就是一條持續演進的技術路徑。
AI安全,正在換一套打法
其實OpenClaw也好,Claude Code也罷,它們的背后都指向同一個事實:風險的源頭,已經從內容變成了行為本身。
過去做AI安全,本質還是互聯網時代的那套打法,只需要緊盯模型輸出完成內容審核即可。
但大模型早就不滿足于聊天了,調工具、跑代碼,它的手越伸越長,能觸及的風險自然也越來越多。
光盯著模型說什么,顯然不夠,現在真正的問題是還要看模型做了什么。
偏偏這一塊,是傳統內容安全分類體系無法企及的盲區。
![]()
在此基礎之上,多模態也來橫插一腳。現在風險不止于文本,還可能藏在圖像細節、圖文組合,甚至模型自己的響應中。
更棘手的是,不同業務的安全紅線也在持續動態變化,昨天合規,今天換個場景就可能踩線。
已知風險平時靠打打補丁還能勉強應付,所謂兵來將擋水來土掩,那么未知風險和不斷變化的規則又如何解決呢?
所以答案很清晰了,單靠打補丁抑制風險是治標不治本,行業缺的不是一個又一個補丁,歸根結底是一套能定義安全邊界、應對未知風險和規則變動的底層框架。
兩套框架,一個方向
螞蟻安全最近開源的兩大安全框架,就是沖著這個底層問題來的。
先看面向智能體安全的雙模推理護欄框架SingGuard-NSFA,包括0.8B、2B、4B、9B四個尺寸。
![]()
它的核心思想是把安全檢查前置到智能體執行之前,然后在請求攔截和響應兜底兩端同時設卡,共同發力把防線從文本合規推進到行為安全。
支撐起這個判斷的,是一套系統性的NSFA風險分類體系和多語種評測基準。
螞蟻以經典的CIA三元組,也就是機密性、完整性、可用性為理論底座,再結合三份OWASP大模型與智能體安全指南的實踐經驗,把智能體可能出現的風險依次拆解排列。
然后借助SFT生成式推理與判別式分類頭,兩種模式同步進行風險攔截:
- 生成式模式:逐條輸出基于NSFA定義的鏈式推理分析,讓每一步判斷都有據可查,適用于離線合規審計;
- 判別式模式:每次前向傳播就直接給出各風險域的置信度,延遲可以壓到45~57ms,可用于高吞吐的實時在線攔截。
這里還有個討巧的設計,由于骨干網絡是凍結的,真正下判斷的是外掛在上面的輕量分類頭,所以以后一旦冒出新風險,只需要補訓一個小頭就行,輕松實現原生可擴展。
![]()
換言之,這套架構還能當插件用,比如給Llama Guard 3額外增加一個分類頭,用戶請求安全基準的F1值直接提升17.6個百分點。
從整體效果來看,SingGuard-NSFA在3大評測基準(用戶請求安全、模型響應安全、跨數據集泛化)上均取得SOTA,最小的0.8B模型就能比肩8B競品,9B大小更是在泛化上達到91.29% F1,精度與召回更加均衡。
另一個開源框架則是面向多模態大模型的SingGuard,同樣包括0.8B、2B、4B、8B四個尺寸。
![]()
它最大的特點,是把安全規則做成了運行時輸入。不同業務域可以現場下發各自的紅線,模型據此逐條判定。
也就是說,它回答的不只是有沒有風險,也包括是否違反當前防控規則。
推理側同樣講究快慢分工,快思考負責低延遲秒判,慢思考負責逐規則深度推理,兩者之間還能通過early exit自動切換,在效率和準確性之間尋找平衡。
針對線上多條規則并行審核的效率瓶頸,螞蟻還提出了RI-Mask,讓共享的圖文上下文只編碼一次,多條規則并行判斷,這樣多模態推理最高可提速5倍以上。
![]()
顯然,SingGuard-NSFA和SingGuard這兩個框架各自面向的對象有所不同,一個更關注AI行為,另一個更關注AI感知,但它們的底色是一致的,都強調過程可解釋、新增風險可擴展。
具體觸犯了哪條規則、依據是什么,審核和追溯都拿得出理由,不是黑箱操作或簡單下結論;新增風險都僅需輕量擴展,不影響已有的檢測能力。
如果說很多安全產品解決的是具體問題,那么這一類框架更像是在定義未來智能體運行所依賴的安全基礎設施。
再把時間線拉長來看,這次開源其實不是孤立事件。
今年早些時候,在全網關注OpenClaw漏洞的同時,螞蟻AI安全實驗室就曾發現多個高危漏洞并協助官方完成修復。
隨后,螞蟻與清華大學聯合開源了ClawAegis,為智能體提供了一套覆蓋產品全生命周期的安全方案。
![]()
再到最新的安全框架開源,這條脈絡其實相當清晰:從漏洞挖掘到場景化解法,再到可復用的底層框架。
顯然螞蟻在AI安全上的布局,是在逐步收束成體系。
前不久,螞蟻智能體安全產品還通過了信通院泰爾實驗室的最高等級評級。這類第三方認證,至少也說明在工程落地上,螞蟻確實走在了前面。
![]()
可以說,靠補丁續命的時代已經過去了,行業需要有人往前一步,去定義風險的邊界,去搭建一套大家都能穩穩站上去的底座。
Claude Code、OpenClaw帶來的討論,某種程度上只是開始。隨著Agent越來越深入辦公、開發和生活場景,AI安全也將進入新的階段。
相比不斷追趕漏洞,如何建立一套能夠持續適應風險變化的安全基礎設施,或許才是整個行業下一步真正需要解決的問題。
從這個角度再回頭看最近的這些開源動作,它們真正值得關注的,不只是性能指標,而是開始嘗試回答一個更底層的問題:
AI時代的安全邊界,究竟應該如何定義。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.