AI 時代會讓企業發現：所有系統都經不起無限審查

本文來自微信公眾號： HavenlonLabs ，作者：HavenlonLabs

一、從一個很小的現象說起

如果你最近用AI寫過東西，大概率經歷過這樣一個循環。

你讓一個AI寫一篇文章，覺得還不錯，于是讓另一個AI來評價。第二個AI幾乎一定能找出問題：論證不夠扎實、結構有些松散、觀點缺少支撐。你老老實實改完，再交給第三個AI，它依然能繼續指出缺陷。更讓人困惑的是，即便是同一個AI，換一套提示詞，也可能對同一篇文章給出完全相反的意見——一會兒說不夠深入，一會兒說過于復雜；一會兒嫌觀點不夠鮮明，一會兒又批評表述過于絕對；缺少案例是問題，案例太多沖淡主線也是問題；太像技術文章不行，不夠專業也不行。

很多人把這歸結為AI不穩定、不可靠。但如果只停留在這個解釋上，就錯過了一個重要得多的信號。

這個現象揭示的是一個長期被忽略的事實：評價系統并不是在尋找一個最終正確的答案，而是在不斷切換觀察角度。一篇文章在"深度"這個角度下有一種缺陷，在"傳播"這個角度下有另一種缺陷，在"嚴謹"這個角度下還有第三種缺陷。這些角度彼此沖突，永遠無法被同時滿足。

只要觀察角度可以無限增加，缺陷就永遠不會被徹底消滅。

過去這件事之所以不明顯，是因為審查是昂貴的。請一位編輯、一位專家、一位律師來挑毛病，都需要時間和金錢，所以任何作品、方案、系統，實際上只經受過有限次數、有限角度的審查。所謂"挑不出毛病"，從來不是因為毛病不存在，而是因為挑毛病的人不夠多、角度不夠刁鉆。

而AI把審查的成本壓到了接近于零。于是一個殘酷的事實浮出水面：不是AI讓文章變得有缺陷了，而是AI讓"無限審查"第一次變得可行——而沒有任何復雜產物經得起無限審查。

文章只是最容易被看見的入口。同樣的邏輯，正在向企業治理、產品設計和安全工程蔓延。

二、企業正在進入"無限評價時代"

過去，一個產品方案、一套管理制度或者一個技術架構，通常只會經過有限的人評審：幾輪會議、幾位專家、一次合規檢查。評審的角度是有限的，遺漏是默認存在的，大家心照不宣。一個方案"通過評審"，本質上只是說它通過了這一小群人、在這一小段時間里、從這幾個角度進行的檢查。

今天，AI可以低成本地扮演幾乎所有角色。同一份方案，你可以讓它以客戶的身份挑體驗問題，以法務的身份挑責任邊界，以投資人的身份挑商業邏輯，以安全工程師的身份挑攻擊面，以財務負責人的身份挑成本結構，以監管者的身份挑合規漏洞，甚至以競爭對手和惡意攻擊者的身份，專門尋找可以利用的入口。過去組建這樣一個"全角色評審團"需要巨大的組織成本，現在只需要換幾個提示詞。

結果幾乎是注定的：不同角色會給出不同甚至完全沖突的結論。安全部門會說權限太寬，業務部門會說限制太多；財務會說成本太高，產品會說體驗太差；法務會說責任邊界不清晰；而攻擊者，則會找到所有人都沒有想到的那個入口。

這不是評審質量變差了。恰恰相反，是評審能力被無限放大了——放大之后，任何方案都會顯得千瘡百孔。

不妨做一個簡單的實驗：把你們公司最引以為傲的那份制度文件，交給AI，讓它分別扮演十個不同的角色來審查。你會發現，沒有一份文件能全身而退。這不說明制度寫得差，而說明"經得起所有角度的審查"這個標準，本身就是不可能達成的。過去我們從未意識到這一點，只是因為從來沒有人真的用十個角度審過同一份文件。

這意味著企業決策的前提正在發生變化。過去的隱含目標是"設計出一個通過評審的方案"，因為評審是有限的，這個目標是可以達成的。而當評審變得無限，這個目標在邏輯上就不再成立。企業今后面對的不是"能否設計出一個無人反對的系統"，而是一個更艱難、也更誠實的問題：

如何在永遠存在反對意見、剩余風險和未知缺陷的前提下，仍然做出決策。

那些不理解這個轉變的組織，會陷入兩種典型的失敗姿態：要么被無窮的反對意見拖入決策癱瘓，什么都不敢上線；要么干脆對所有批評脫敏，退回到"評審只是走流程"的老路。兩者都錯了。正確的姿態是第三種——接受缺陷永遠存在，然后把注意力從"缺陷有沒有"轉移到"缺陷發生后會怎樣"。

三、"總能挑出問題"不是失敗，而是復雜性的必然結果

有人會問：這是不是說明我們的系統做得還不夠好？只要繼續打磨，總有一天能拿出一個挑不出毛病的版本？

不會有那一天。這不是悲觀，而是復雜系統的基本性質。

一個系統越簡單，越容易被完整描述，也就越接近"可以被證明正確"。一百行代碼可以被逐行審查，一條數學定理可以被嚴格證明。但企業系統從來不是這樣的對象。它同時包含人、軟件、數據、權限、激勵、流程和外部環境，而且這些要素之間的關系還在持續變化。人會流動，軟件會升級，數據會積累，權限會漂移，激勵會扭曲，外部環境會突變。

所以企業面對的根本不是一道存在標準答案的數學題，而是一個不斷移動的目標。今天正確的制度，明天可能因為業務變化而失效；今天安全的接口，接入AI Agent之后可能出現全新的攻擊面；今天合理的權限設計，組織規模擴大一倍之后就可能變成單點風險；今天表現良好的模型，換一個場景就可能產生完全不同的行為。

這類故事在每一家上了規模的公司里都發生過。某個沿用多年的報銷流程，在公司只有兩百人時運轉良好，到兩千人時成了效率黑洞；某套為網頁端設計的風控規則，在開放API之后被腳本輕松繞過。沒有人做錯什么，只是環境變了，而系統還停在為舊環境優化的版本上。

在靜止的世界里，缺陷是可以被逐個消滅的存量；在變化的世界里，缺陷是隨著環境不斷生成的流量。你消滅的速度，永遠趕不上它生成的速度。

完美系統不是暫時還沒有被造出來，而是在多數復雜環境中，它本來就不存在。

承認這一點并不丟人。真正危險的是不肯承認這一點的組織——它們會把資源持續投入到"再改一版就完美了"的幻覺中，卻從來沒有為"缺陷一定會出現"這個必然事件做過任何結構上的準備。當缺陷真的出現時，前者損失的是一次迭代，后者損失的可能是整個業務。

四、安全行業尤其容易陷入"完美幻想"

在所有行業里，安全行業對"完美"的執念最深，也最危險。

安全領域長期存在一種隱含的追求：只要身份驗證足夠強、權限設計足夠細、模型判斷足夠準、審計記錄足夠完整，系統最終就會安全。每一次安全事故之后，行業的反應幾乎都是同一個方向——再加一層驗證、再細一層權限、再多一份日志。防線越壘越高，預算越花越多，而事故并沒有消失。

這背后有一個樸素的期待：安全是一門工程，工程問題總有工程解。加人、加錢、加流程，問題就會收斂。但安全和其他工程有一個根本不同——它的對手是活的。橋梁工程師不需要擔心重力會學習新的攻擊方式，而安全工程師的每一道新防線，都會立刻成為對手研究的新題目。

因為現實反復證明：攻擊者并不需要擊敗整個系統，他只需要找到一個系統設計者沒有覆蓋的組合。而在這個組合里，每一個單獨的步驟都可能是完全合法的——用戶身份是真的，權限審批通過了，接口調用符合格式，Payload校驗成功，簽名也是真實的。每一環都對，結果仍然是錯的：資金被轉走了，數據被導出了，系統被接管了。

這和AI評價文章的現象驚人地相似。一篇文章的每一句話都可以沒有語法錯誤，整體卻可能完全失去方向；一次執行中的每一個步驟都可以通過校驗，最終結果卻違背了所有人的真實意圖。

局部正確，從來不自動等于整體正確。

換個角度看，安全體系的每一層防護，本質上都是一個"觀察角度"：認證看的是"你是誰"，權限看的是"你能做什么"，校驗看的是"格式對不對"，審計看的是"發生過什么"。攻擊者做的事情，就是尋找一條所有角度都看不到的路徑。角度是有限的，可能的路徑卻是組合爆炸的——這就是為什么"把每一層都做到極致"永遠推導不出"系統是安全的"。

更麻煩的是，AI正在把攻擊者的這種能力平民化。過去，找到那個"沒人想到的組合"需要頂尖的經驗和漫長的探索；現在，生成攻擊假設、構造異常輸入、批量測試邊界條件的成本，和生成一篇文章的成本一樣，正在趨近于零。防守方面對的不再是少數聰明的對手，而是一臺可以無限出題的機器。

五、真正成熟的安全，不再追求"證明系統不會出錯"

如果承認不存在完美系統，安全設計的目標就必須發生一次根本性的轉向。

不再是：如何確保錯誤永遠不會發生。而是：當錯誤不可避免地發生時，它最多能夠走多遠。

這個轉向聽起來只是措辭的變化，實際上會引出一組完全不同的企業問題。一個錯誤的判斷，是否可以不經任何攔截直接進入執行？一個管理員，是否可以單獨造成不可逆的結果？一個AI Agent，是否擁有完整的行動權？一個被攻破的SaaS服務，是否能夠順勢控制本地的關鍵系統？一次錯誤的配置，是否會擴散到全部業務？一個在形式上完全合法的請求，是否仍然可以在最終的執行邊界上被拒絕？

注意這些問題的共同點：沒有一個是在問"錯誤會不會發生"，全部是在問"錯誤發生之后會怎樣"。這就是從"消滅缺陷"轉向"限制災難半徑"。

可靠系統的標志，不是它從不犯錯，而是任何一次錯誤都不能自動獲得無限權力。

在這個框架下，很多傳統上被視為"冗余"甚至"低效"的設計，突然有了新的價值。雙人復核不是不信任員工，而是不讓任何單點判斷直接變成現實結果；金額和頻率的硬限制不是束縛業務，而是為最壞情況畫出止損線；執行邊界上那道獨立的、不信任任何上游的最終校驗，不是重復建設，而是在認證、審批、模型全部被欺騙之后，系統保留的最后一次說"不"的機會。

評價一套安全體系，與其問"它擋住了多少次攻擊"，不如問一個更尖銳的問題：假設你的模型判斷錯了、你的管理員被釣魚了、你的上游服務被攻破了——同時發生——損失會在哪里停下來？答不出這個問題的體系，無論用了多先進的技術，都還停留在完美幻想里。

六、企業真正需要的是"有邊界的不完美"

自然界從來沒有進化出完美的生物。一個物種能夠存活億萬年，不是因為它沒有弱點，而是因為它的弱點沒有在環境變化中導致整個種群同時毀滅。冗余、分散、隔離——生命對抗不確定性的方式，從來不是消滅缺陷，而是限制任何單一缺陷的殺傷范圍。

對企業來說，這個類比比聽起來更嚴肅。生物從不試圖預測每一種病毒，它選擇的是另一條路：免疫系統、細胞隔離、組織再生——一整套"感染之后如何不死"的機制。數億年的演化壓力最終選擇的生存策略，不是無懈可擊，而是可以受傷。這對花費重金追求"零事故"的企業，是一個值得反復咀嚼的提示。

企業也是一樣。好的組織不可能消除所有錯誤判斷，但它會刻意避免幾種致命結構：一個人控制全部系統，一個決策不可撤銷，一次失敗波及所有業務，一個模型直接決定現實結果，一條錯誤指令可以不受阻攔地穿透整個執行鏈。

因此，未來企業需要設計的目標，不是完美，而是有邊界的不完美（Bounded Imperfection）。它包含三個基本原則。

第一，錯誤可以發生，但不能無限擴散。一個模型可以判斷錯誤，一個員工可以決策失誤，但任何單一的錯誤判斷都不應該自動獲得完整的執行權。判斷和執行之間，必須存在結構性的隔離——不是靠"下次更小心"，而是靠架構本身。

第二，系統可以失效，但不能同時失去所有拒絕機制。上游服務可能被攻破，審批流程可能被繞過，管理員甚至Owner本人都可能犯錯或被欺騙。這些都允許發生，但最終執行的位置上，必須保留一道不依賴任何上游的獨立約束。所有防線可以逐一失守，唯獨不能設計成"一榮俱榮、一損俱損"。

第三，風險無法清零，但必須被限制在可承受范圍內。企業真正需要計算的從來不是"有沒有風險"——答案永遠是有——而是"最壞情況下，損失到哪里停止"。能明確說出止損位置的企業，才有資格談激進創新；說不出的企業，每一次冒險都是在賭命。

企業要回答的不是"會不會出錯"，而是"出錯之后，損失在哪里停止"。

值得注意的是，這三條原則考驗的都不是技術能力，而是組織的誠實程度。承認自己的模型會錯、自己的管理員會被騙、自己的流程會被繞過，在很多公司的文化里近乎"唱衰自己"。但恰恰是這種誠實，決定了一家企業是在為真實世界設計系統，還是在為PPT里的理想世界設計系統。真實世界里，欺騙會發生，故障會發生，誤操作會發生——系統的價值，就體現在這些事情發生的那一刻。

七、AI會把這個問題推到極致

有人可能會問：這些原則聽起來并不新鮮，為什么現在突然變得如此緊迫？

因為過去有一道我們從未意識到的天然防線：人的速度。

一個員工判斷失誤、越權操作、甚至蓄意作惡，他的破壞力都受制于人類的執行速度。他再快，也不可能在一秒之內修改十萬個賬戶、調用數百萬次接口、同時影響全球所有業務。很多企業的安全體系之所以看起來"夠用"，不是因為設計得好，而是因為錯誤的執行速度足夠慢——慢到總有人來得及發現、來得及阻止、來得及回滾。

AI Agent徹底摧毀了這道隱形防線。它不僅可能判斷錯誤，還可以高速、并發、持續地執行錯誤。人犯錯是一次一次地犯，機器犯錯是一批一批地犯。過去一個錯誤決策需要幾天才能造成的損失，現在可能在幾秒鐘內完成，并且在任何人察覺之前已經不可逆。

想象一個再普通不過的場景：一個負責客戶運營的Agent，被授權讀寫CRM和發送郵件。某天它被一封精心構造的郵件注入了錯誤指令，于是開始"勤奮地"向全部客戶批量發送帶有錯誤報價的合同。整個過程中沒有任何一步是越權的——它本來就有這些權限。區別只在于：有邊界的系統會在第一百封郵件時觸發頻率限制，沒有邊界的系統會在十分鐘內發完十萬封。

AI時代最危險的，不是一次錯誤的判斷，而是一個沒有邊界的錯誤，獲得了機器級的執行速度。

在這個前提下，再去糾結"能不能讓AI更準確一點"已經遠遠不夠。無論準確率多高，只要不是百分之百，剩余的錯誤就必須被結構性地控制。即使準確率達到99.99%，在百萬級的執行量中，錯誤仍然會出現上百次。真正決定后果的，不是那99.99%的正確，而是那0.01%的錯誤發生時，系統有沒有最后一道邊界。

可以這樣概括：準確率決定錯誤出現的頻率，架構決定錯誤造成的后果。前者是模型廠商的問題，后者是每一家企業自己的問題——而且沒有任何模型升級可以替你解決。

八、競爭的分水嶺：誰的系統在失控邊緣仍然穩得住

把視線拉回商業本身。

AI讓創造的成本下降，這已經是共識。但同樣重要、卻遠未被充分討論的是：它也讓評價、攻擊、測試和反駁的成本同步下降。未來，任何企業方案都能被快速找到缺陷，任何產品都能被生成新的反例，任何安全體系都會遇到設計時從未想象過的場景。這不是某個行業的特殊風險，而是所有把AI接入業務的企業共同面對的新常態。

這會改變企業競爭的重心。過去比的是誰的系統更強大——功能更多、性能更好、防線更厚。未來比的是誰的系統在不完美、被誤用和被攻擊時，仍然不會失控。前者決定你能跑多快，后者決定你會不會在某個深夜突然歸零。

過去比的是誰的系統更強大，未來比的是誰的系統在被誤用和被攻擊時，仍然不會失控。

那些率先放棄完美幻想的企業，反而會獲得一種新的競爭力。它們不再把資源浪費在"證明自己不會出錯"上，而是把架構建立在"假設自己一定會出錯"之上：判斷與執行分離，權力有邊界，失敗有隔艙，最壞情況有明確的止損位。它們的系統未必更聰明，但一定更難被任何一次錯誤摧毀。而這種"難以被摧毀"，會在一次次行業事故中，轉化為客戶信任、監管信任和資本信任——這是AI時代最稀缺的資產。

對決策者來說，這意味著一組新的追問要進入每一次架構評審和每一次AI項目立項：這個Agent最壞能做什么？它的判斷和執行之間隔著什么？當它出錯時，誰有能力、有權限、有時間按下停止鍵？如果這些問題的答案是"不知道"或者"應該不會出錯"，那么無論演示效果多驚艷，這個項目都還沒有準備好進入生產環境。

AI時代最成熟的企業，不是相信自己已經找到了完美答案，而是從一開始就假設答案可能是錯的，并且為此做好了結構上的準備。

我們無法建造一個永遠正確的系統，但可以建造一個即使犯錯，也無法輕易造成災難的系統。

這句話，值得每一個正在把AI接入核心業務的決策者，寫在架構評審的第一頁。

本內容由作者授權發布，觀點僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4875308.html?f=wyxwapp