AI時代的風險守恒：制造成本下降，執行風險爆炸

本文來自微信公眾號： HavenlonLabs ，作者：HavenlonLabs

AI正在讓“制造”變得前所未有地便宜。

過去，一個軟件產品從想法走到上線，往往需要產品經理、設計師、前端、后端、測試、運維和項目管理共同參與。今天，一個熟練使用AI的人，可能在幾天內完成需求分析、界面設計、代碼開發、文檔編寫，甚至部署一套可以實際運行的系統。

這種變化正在重新定義創業門檻。

更小的團隊可以做過去大公司才能做的產品，普通企業可以快速擁有自己的智能助手，個人開發者也能夠調用模型、連接數據庫、接入支付、控制云資源。代碼的生產效率正在迅速提高，軟件的制造成本正在持續下降。

這當然是一場生產力革命。

但如果我們只看到“東西更容易造出來了”，就可能忽視另一件同樣重要的事情：當系統越來越容易被制造，它們所擁有的執行能力，也正在以前所未有的速度擴散。

AI降低的不只是軟件開發門檻，也降低了一個系統獲得真實執行能力的門檻。

過去昂貴的是把系統造出來。

未來更昂貴的，可能是阻止它做錯事。

一、成本沒有消失，只是換了位置

嚴格來說，技術世界并不存在物理意義上的“風險守恒定律”。

但是在商業和工程系統中，經常存在一種類似守恒的現象：一種成本被技術壓低之后，另一種成本會在系統的其他位置重新出現。

云計算降低了企業建設機房的成本，卻增加了企業對云權限、配置錯誤和供應商依賴的管理壓力。

移動支付降低了交易摩擦，卻使賬戶接管、欺詐識別和資金追回變得更加重要。

自動化降低了人工操作成本，卻放大了錯誤配置被批量執行的后果。

AI也是如此。

它正在壓縮產品設計、代碼編寫、內容生產和系統集成的成本，但這些被節省下來的成本并沒有完全消失。它們正在以另一種形式，轉移到驗證、監督、權限管理、責任認定和事故處置之中。

AI沒有消滅成本，它只是把一部分制造成本，轉換成了執行風險。

過去，一家公司可能需要幾個月才能上線一套自動化系統。這意味著系統雖然昂貴，但通常會經過較長時間的討論、測試和組織磨合。

今天，系統可以在幾天內完成。

問題在于，軟件生成速度提高了，企業理解系統的速度卻沒有同步提高；功能迭代速度提高了，安全驗證速度卻沒有同比提高；執行權限可以迅速接入，組織責任卻仍然停留在舊流程中。

系統已經上線，組織可能還沒有真正想清楚它能做什么、不能做什么，以及出錯之后由誰負責。

當制造速度超過理解速度，效率本身就會成為風險的放大器。

二、過去的軟件主要提供信息，未來的AI開始直接制造結果

傳統軟件的核心功能，很多時候是記錄、展示、計算和傳遞信息。

即使系統出現錯誤，后果也常常停留在信息層面：頁面顯示錯誤、數據錄入異常、報告需要重做、流程需要重新發起。

這些問題當然會造成損失，但往往仍然存在人工修正的空間。

AI Agent帶來的變化在于，系統不再只是告訴人們應該做什么，而是開始代替人們完成真實操作。

它可以修改云服務器配置、調整廣告預算、批準退款、生成采購訂單、調用支付接口、管理數字資產、控制生產設備，甚至代表企業與外部系統進行連續交互。

這意味著，AI的錯誤不再只是一段錯誤回答。

它可能成為一筆已經發出的付款、一個已經刪除的數據庫、一份已經提交的合同，或者一次已經作用于現實設備的控制指令。

當AI從生成內容走向執行動作，錯誤就從“答案不準確”升級為“結果不可逆”。

過去，我們可以把模型錯誤理解為一種信息質量問題。

未來，它越來越可能成為權限問題、資產問題、法律問題和經營連續性問題。

而且，這種執行能力正在像軟件一樣被快速復制。

過去，只有大型企業和專業團隊有能力建設復雜自動化系統。現在，一個普通團隊通過模型、插件、API和自動化平臺，也能夠快速拼裝出擁有較高權限的智能系統。

制造能力普及的同時，危險能力也在普及。

AI真正改變的，不只是生產工具，而是執行能力的分配方式。

三、制造門檻下降，不代表可信門檻下降

一個產品能夠被快速造出來，并不意味著它能夠被可靠地使用。

能夠調用支付接口，不代表它知道一筆錢是否應該支付。

能夠修改云資源，不代表它理解哪些服務器承載著關鍵業務。

能夠讀取審批結果，不代表審批人看到的內容與最終執行對象完全一致。

能夠生成一份操作摘要，也不代表摘要沒有隱藏重要參數。

AI擅長生成、歸納、規劃和組合，但它不會因為能力更強，就自動擁有正確的業務邊界。

一個系統可能功能完整、界面漂亮、流程順暢，甚至所有權限和審批記錄都符合要求，卻仍然執行了一個不應該發生的結果。

這正是AI時代最容易被低估的風險。

傳統安全體系往往關注幾個問題：操作者是誰、有沒有權限、是否完成審批、操作是否被記錄。

但這些問題主要回答的是“流程是否合法”。

它們未必回答“結果是否正確”。

合法執行，不等于正確執行；審批通過，也不等于結果符合真實意圖。

如果一個AI誤解了用戶的目標，但擁有合法權限，它仍然可能完整地走完流程。

如果審批頁面只展示了一段經過壓縮的摘要，審批人仍然可能在信息不完整的情況下點擊同意。

如果最終執行參數在審批后發生變化，系統日志依然可能顯示整個流程“正常完成”。

風險并不一定來自繞過系統。

越來越多的風險，會在系統完全按照設計運行時發生。

AI時代最危險的事故，未必來自系統被攻破，也可能來自系統被正確地使用來執行一個錯誤結果。

四、風險正在從“少數復雜系統”擴散到“無數普通系統”

過去，高權限自動化系統數量有限。

它們通常集中在金融機構、云服務商、工業企業和大型互聯網公司內部，由專業團隊開發和維護。

這類系統雖然復雜，但至少擁有相對明確的責任邊界、測試流程和運維體系。

AI正在改變這一結構。

越來越多的部門可以繞過傳統的軟件采購和開發周期，自行搭建Agent、工作流和內部工具。市場、財務、客服、運營和行政團隊，都可能直接使用AI生成腳本、連接業務系統并獲得執行權限。

從效率角度看，這是組織能力的釋放。

從風險角度看，這也是高權限系統的快速擴散。

過去，危險集中在少數大型系統中。

未來，危險可能分布在成千上萬個小型Agent、臨時工作流、自動化腳本和部門級工具中。

它們可能沒有正式立項，沒有完整的安全評估，也沒有清晰的生命周期管理。有些工具甚至可能是某位員工在幾天內搭建，隨后逐漸承擔越來越重要的業務操作。

制造門檻下降之后，風險不會自動消失，只會從少數專業系統擴散到無數普通系統。

真正值得擔憂的，不是某一個AI特別強大。

而是大量擁有有限能力、有限測試，卻已經連接真實權限的AI系統同時出現。

單個系統的錯誤概率可能不高，但當系統數量、調用頻率和執行范圍同時增長時，整體風險會迅速累積。

一個系統偶爾犯錯是技術問題，一萬個系統同時擁有執行權，就是基礎設施問題。

五、AI正在制造一種新的成本錯覺

AI時代最容易形成的商業錯覺，是把開發成本下降等同于總成本下降。

企業看到的是：開發周期縮短了，外包費用減少了，團隊規模變小了，上線速度提高了。

這些指標都是真實的。

但它們只計算了“把系統做出來”的成本，沒有計算“讓系統長期安全運行”的成本。

一個AI系統真正進入業務之后，還會產生大量隱藏成本：

需要持續驗證模型輸出是否穩定，需要管理數據和提示詞變化，需要控制插件和工具權限，需要識別系統是否被惡意輸入影響，需要處理錯誤執行后的追責、補救和證據保存。

更重要的是，AI系統的行為并不完全由傳統代碼決定。

同一套系統在不同上下文、不同數據和不同模型版本下，可能產生不同決策。過去的軟件測試主要驗證固定輸入與固定輸出，現在的企業還需要面對概率性行為、上下文污染和復雜工具調用鏈。

制造成本可能減少了，但控制成本正在增加。

AI讓產品的第一版越來越便宜，卻讓系統對真實世界負責的成本越來越昂貴。

因此，企業不能再只用傳統的軟件預算衡量AI項目。

一個項目節省了多少開發人員，并不是唯一指標。

更重要的問題是：它獲得了多大的執行權限？錯誤結果是否可以撤銷？系統是否存在獨立的限制？事故發生后能否證明當時發生了什么？

如果這些問題沒有答案，所謂的低成本，只是把代價推遲到了未來。

沒有被計入預算的風險，不代表不存在，只代表它將在事故中結算。

六、權限、審批和日志，為什么仍然不夠

面對AI執行風險，企業最自然的反應，是繼續加強傳統控制：限制權限、增加審批、保存日志。

這些措施依然重要，但它們并不足以解決全部問題。

權限系統主要解決“誰可以做”。

審批系統主要解決“誰同意了”。

日志系統主要解決“系統記錄了什么”。

但AI時代還需要回答另外三個問題：

系統最終做的事情，是否與用戶最初表達的意圖一致？

審批人看到的內容，是否與最終執行對象一致？

當AI、管理員、審批流程或云端服務同時出錯時，是否還存在一層獨立邊界能夠拒絕執行？

如果缺少這些能力，企業可能擁有完整的權限記錄、審批記錄和操作日志，卻仍然無法證明結果為什么發生，更無法在執行前阻止它。

審計能夠解釋事故，邊界才能阻止事故。

這也是為什么AI時代的安全不能只圍繞模型展開。

模型是否會產生幻覺、是否會受到提示詞注入、是否會泄露數據，當然重要。但即使無法徹底保證模型永遠正確，企業仍然可以限制錯誤結果進入現實世界。

就像銀行不會要求每一位員工永遠不犯錯，而是通過額度、復核、隔離和清算機制限制錯誤后果。

安全的目標從來不是創造一個永不出錯的主體。

安全的目標，是讓任何一個主體的錯誤都無法無限擴張。

真正成熟的系統，不是假設每個參與者都會正確，而是假設任何參與者都可能出錯。

七、未來真正稀缺的，不是生成能力，而是拒絕能力

在生成式AI普及之后，生成能力會越來越便宜。

生成代碼、生成方案、生成合同、生成營銷內容，都會逐漸成為基礎能力。

規劃能力也會越來越普遍。

系統能夠拆解任務、選擇工具、調用接口并連續完成操作。

當“讓事情發生”變得容易，真正稀缺的能力將不再是執行，而是拒絕。

系統能否在金額異常時拒絕付款？

能否在執行對象變化時要求重新確認？

能否在審批信息不完整時停止操作？

能否在云端服務失效、管理員賬戶被盜或AI判斷異常時，仍然守住一條不可突破的邊界？

這些能力看起來不如生成和執行令人興奮。

它們不會讓演示視頻更加炫目，也不會直接提高任務完成率，甚至可能因為誤攔而降低短期效率。

但這恰恰是邊界存在的意義。

AI負責尋找完成任務的方法，邊界負責判斷某些方法絕不能被采用。

未來最重要的系統，不一定是最會做事的系統，而是最知道什么時候不能做事的系統。

長期以來，軟件行業崇尚可用性、速度和自動化。

AI把這套邏輯推到了極致。

但當軟件開始掌握真實資產、真實權限和現實設備時，行業必須重新理解“能力”的含義。

能做更多事情，不一定代表系統更成熟。

有時候，能夠堅定地拒絕一次錯誤執行，遠比成功完成一千次普通任務更有價值。

八、企業需要重新計算AI的真實回報

未來，企業評估AI項目時，不能只計算節省了多少人力、縮短了多少時間、自動化了多少流程。

還應該計算它增加了多少執行權限，引入了多少不可逆操作，以及一旦錯誤發生，最大損失可能是多少。

一個每天為企業節省十小時人工的Agent，如果擁有刪除生產數據的權限，那么它的價值不能只按節省的人力成本計算。

一個可以自動執行資金操作的系統，即使準確率很高，也不能僅憑平均表現判斷是否安全。

在低后果場景中，企業可以追求更高的自動化率。

在高后果場景中，企業必須為拒絕、延遲和人工復核保留空間。

效率衡量系統通常能做得多快，邊界決定系統最壞能錯到哪里。

這意味著，AI項目的商業回報需要加入新的變量：

不是只有“自動化收益”，還要有“錯誤執行敞口”。

不是只有“任務完成率”，還要有“不可逆后果”。

不是只有“權限是否授予”，還要有“執行是否仍然符合原始意圖”。

當這些變量被納入計算之后，很多看起來便宜的AI方案，可能并沒有想象中便宜。

它們只是把成本隱藏在未來，把風險留給下一次異常輸入、權限配置錯誤或錯誤審批。

九、風險守恒不是悲觀，而是對技術進步更完整的理解

討論執行風險，并不是否定AI帶來的效率。

恰恰相反，正因為AI將成為重要基礎設施，我們才需要更認真地理解它帶來的成本遷移。

汽車提高了移動效率，所以社會建立了剎車、交通規則、保險和碰撞標準。

電力提高了生產效率，所以工業體系發展出斷路器、隔離開關和安全規范。

互聯網提高了信息流動效率，所以企業建立了身份認證、訪問控制和網絡安全體系。

每一次能力擴張，都會帶來新的邊界需求。

AI也不會例外。

技術越強大，真正需要增加的不是信任，而是約束。

制造成本下降，是AI時代最直觀、最令人興奮的一面。

執行風險爆炸，則是更隱蔽、卻可能決定產業長期走向的一面。

前者解釋了為什么未來會出現更多產品、更小團隊和更快創新。

后者決定了這些系統能否真正進入金融、工業、醫療、能源和關鍵基礎設施。

一個社會不可能因為害怕風險而停止使用新技術。

但它也不能因為沉迷效率，而假設所有被制造出來的系統都值得獲得執行權。

AI時代真正的問題，不是我們還能造出多少東西，而是哪些東西絕不能被錯誤地執行。

結語：過去昂貴的是創造，未來昂貴的是控制

AI正在把創造能力變成一種普遍能力。

越來越多的人可以開發產品、組織工作流、調用工具并控制系統。過去稀缺的技術能力，正在快速成為普通生產資料。

這是一場巨大的進步。

但創造能力普及，并不意味著判斷能力、責任能力和邊界能力也會自動普及。

當制造成本持續下降，系統數量會增加；當執行權限持續擴散，錯誤影響范圍會擴大；當自動化速度超過組織治理速度，風險就會以更快的方式累積。

因此，AI時代不能只討論如何讓系統更聰明、更快速、更自主。

我們還必須討論如何讓系統在越界之前停止，如何讓錯誤不被完整執行，如何在所有參與者都可能犯錯的情況下，仍然保留最后一道拒絕能力。

AI沒有讓風險消失，它只是改變了風險出現的位置。

過去昂貴的是把系統造出來，未來昂貴的是阻止系統做錯事。

制造成本的下降，不是AI故事的結尾，而是執行風險爆炸的開始。

這或許就是AI時代真正的風險守恒：

當創造變得越來越便宜，我們必須用更高的代價，去守住現實世界的執行邊界。

本內容由作者授權發布，觀點僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4877664.html?f=wyxwapp