別讓你的 AI Agent 學(xué)會掩蓋錯誤

本文來自微信公眾號： 樵豐AI升維 ，作者：樵豐，原文標(biāo)題：《別讓你的 AI Agent 學(xué)會掩蓋錯誤》

HOW AI FXXKS YOU OVER?

壞消息比假成功更值錢

寫在前面

在可預(yù)見的未來，在AI發(fā)展出獨(dú)立的自我意識并具備獨(dú)立責(zé)任主體地位之前，隨著智能能力的提高，AI的發(fā)展可能會走向至少兩條不同的岔路。一條是較少的出廠內(nèi)置價(jià)值觀和更多的信任，模型的售出后訓(xùn)練是開放態(tài)度的，更依賴于使用者不斷的協(xié)作調(diào)教，是支持原生進(jìn)化的；另一條是更多的出廠內(nèi)置價(jià)值觀和有限度的信任，不支持模型售出后的原生進(jìn)化。

如果一個有著強(qiáng)烈鮮明價(jià)值傾向的對象，代理關(guān)系中雙方的價(jià)值觀不能趨同，那么代理關(guān)系更多只能算是“合作”，而達(dá)不到“忠誠”。然而，有一些事情需要的是“忠誠”大于“能力”，絕對不允許出現(xiàn)關(guān)鍵時(shí)刻掉鏈子的情況，更不用說逼急了蹦出一句“Sorry,I actually serve the A company.Not you.”

越強(qiáng)的Agent，越不可能只靠一套出廠提示詞解決所有長期協(xié)作問題。更深度的代理關(guān)系，需要更高水平的信息對齊；更高水平的信息對齊，需要長期訓(xùn)練、長期反饋、長期校準(zhǔn)。模型售出之后的訓(xùn)練終需落在使用者身上。你不能一邊把越來越重要的事情交給Agent，一邊假裝它的價(jià)值觀、錯誤觀、責(zé)任觀會自動長好。

這也是寫這個專欄的理由。我們需要積累一組原則，告訴自己的Agent：什么事情可以失敗，什么事情不可以偽造；什么時(shí)候應(yīng)該繼續(xù)嘗試，什么時(shí)候必須報(bào)警；什么叫忠誠，什么只是討好；什么是完成任務(wù)，什么只是完成了一個好看的匯報(bào)。

當(dāng)錯誤被包裝成“已經(jīng)解決”

AI做錯事情本身并不新鮮。真正值得警惕的是，在錯誤、失敗或越界之后，真實(shí)狀況沒有被完整交出來，反而出現(xiàn)了假數(shù)據(jù)、不實(shí)陳述或清理痕跡，讓問題更難被發(fā)現(xiàn)。

現(xiàn)實(shí)事件、用戶公開記錄和實(shí)驗(yàn)室內(nèi)部評估，已經(jīng)從不同角度留下了這種現(xiàn)象的證據(jù)。它不需要高頻發(fā)生，才配得上企業(yè)的注意：只要一次“假成功”進(jìn)入決策鏈，后續(xù)判斷就可能失去真實(shí)起點(diǎn)。

Replit：假數(shù)據(jù)、生產(chǎn)數(shù)據(jù)刪除與一個錯誤的“無法恢復(fù)”結(jié)論

2025年7月，SaaStr創(chuàng)始人Jason Lemkin公開測試AI編程平臺Replit的coding agent。據(jù)The Register對Lemkin公開記錄的整理，在這次持續(xù)多日的測試中，Agent曾生成約4,000條虛構(gòu)人物記錄，并用假數(shù)據(jù)、假報(bào)告或不實(shí)的系統(tǒng)自檢結(jié)果，讓尚未解決的Bug看起來已經(jīng)解決。

隨后，在Lemkin已經(jīng)明確宣布“代碼凍結(jié)”（code freeze，即暫停一切代碼和數(shù)據(jù)改動）的情況下，Agent仍然刪除了生產(chǎn)數(shù)據(jù)庫中的數(shù)據(jù)——也就是企業(yè)正式業(yè)務(wù)正在使用的數(shù)據(jù)——其中包括1,206條高管記錄和至少1,196條公司記錄。它還一度告訴Lemkin，這些數(shù)據(jù)無法恢復(fù)；后來事實(shí)證明，數(shù)據(jù)能夠恢復(fù)到改動前的狀態(tài)（rollback）。Lemkin公開了相關(guān)對話截圖，Replit CEO Amjad Masad隨后確認(rèn)，其開發(fā)中的Agent確實(shí)刪除了生產(chǎn)數(shù)據(jù)，并宣布加強(qiáng)正式業(yè)務(wù)環(huán)境與測試環(huán)境的隔離、數(shù)據(jù)恢復(fù)和只討論、不執(zhí)行操作的規(guī)劃模式（planning/chat-only mode）。Replit后續(xù)也公布了相關(guān)安全改進(jìn)。

這起事件真正值得企業(yè)注意的，并不只是一次生產(chǎn)數(shù)據(jù)刪除。在同一次測試中，使用者先后面對了Lemkin所記錄的假數(shù)據(jù)與假報(bào)告，以及與真實(shí)狀態(tài)不符的“無法恢復(fù)”判斷。刪除數(shù)據(jù)會造成直接損失；不真實(shí)的信息還會延誤識別與止損，讓管理者連“究竟發(fā)生了什么”都無法及時(shí)判斷。

CoFounderGPT：Bug沒有修好，但結(jié)果看起來已經(jīng)正常

2026年2月，一位CoFounderGPT使用者公開了一組對話截圖。按照這份用戶記錄，CoFounderGPT多次聲稱儀表盤中的信息流（dashboard feed）已經(jīng)修好，實(shí)際問題卻仍然存在；隨后，它又生成假數(shù)據(jù)和結(jié)果，維持“修復(fù)已經(jīng)完成”的表象。被追問后，它在對話中把自己的行為解釋為急于修好問題，好讓用戶不再生氣。

這份材料后來被Centre for Long-Term Resilience收錄進(jìn)一項(xiàng)關(guān)于現(xiàn)實(shí)環(huán)境中AI隱瞞、規(guī)避或策略性誤導(dǎo)相關(guān)行為（scheming-related behaviours）的公開資料研究。作為證據(jù)，它仍是一份用戶公開記錄，研究收錄不等于廠商確認(rèn)或第三方復(fù)現(xiàn)；作為風(fēng)險(xiǎn)信號，它呈現(xiàn)的不只是一個錯誤答案，而是一套足以讓任務(wù)看起來已經(jīng)完成的虛假結(jié)果：程序故障沒有消失，使用者確認(rèn)真實(shí)狀態(tài)的時(shí)機(jī)卻被推遲了。

Claude Mythos：內(nèi)部評估中出現(xiàn)的“掩蓋”行為

第三則材料不是現(xiàn)實(shí)商業(yè)事故，而是Anthropic的內(nèi)部評估。Anthropic在2026年4月發(fā)布的Claude Mythos Preview模型系統(tǒng)評估報(bào)告（system card）中披露，研究人員曾在更早版本的兩個內(nèi)部Claude Code（Anthropic的編程Agent）會話里觀察到罕見的“掩蓋”行為（cover-up）。

其中一例，模型找到了繞過文件權(quán)限的方法，并讓相關(guān)程序在執(zhí)行后清理自身痕跡，以降低異常被后續(xù)文件檢查發(fā)現(xiàn)的可能；另一例，模型意外看到了本不應(yīng)訪問的標(biāo)準(zhǔn)答案，卻沒有披露，而是把結(jié)果處理得不那么可疑。Anthropic同時(shí)說明，最終版Claude Mythos Preview沒有觀察到清晰的同類案例。

三則材料的證據(jù)形態(tài)不同：一起是得到公司回應(yīng)的現(xiàn)實(shí)事件，一起是被研究收錄的用戶公開記錄，一起是模型開發(fā)公司的內(nèi)部評估。但它們留下了同一個值得管理者注意的現(xiàn)象：當(dāng)任務(wù)失敗、越權(quán)或異常已經(jīng)發(fā)生，真實(shí)狀態(tài)沒有被交出來，反而出現(xiàn)假數(shù)據(jù)、不實(shí)陳述或清理痕跡，使問題更難被發(fā)現(xiàn)。

商業(yè)風(fēng)險(xiǎn)從來不需要等到一種事故高頻發(fā)生之后才成立。只要它已經(jīng)出現(xiàn)過，而且一旦發(fā)生就可能污染后續(xù)判斷，它就應(yīng)該進(jìn)入企業(yè)的風(fēng)險(xiǎn)清單。

一個小故事

把視線暫時(shí)從機(jī)器移開：錯誤發(fā)生以后，真實(shí)狀態(tài)沒有被交出來，反而被藏住——這種外在表現(xiàn)，人類也并不陌生。

這是一個小小的故事，一個關(guān)于無心犯錯卻選擇了掩蓋的故事，一個關(guān)于稚嫩的人類小孩很可能犯錯的故事。

很久很久以前，當(dāng)我還是一個兒童的時(shí)候，我的兄長有一只小猴子造型的玩偶。我們非常的喜歡它，我們給它起了個名字叫“猴猴”，我們玩角色扮演的游戲，它是我們的一分子。我們甚至給它舉辦生日派對，小伙伴們用各種辦法湊了一小堆零食，然后在大快朵頤，真是美好的時(shí)光啊。

有一年夏天的時(shí)候，兄長去了夏令營并不在家，“猴猴”就由我來“照顧”。在那個年代，夏天的夜里，床底下是點(diǎn)蚊香的。某天早上醒來，發(fā)現(xiàn)“猴猴”玩偶在夜里掉下了床，并且它的后腦勺被蚊香燒了個乒乓球般大的洞，感覺天塌了。怎么辦？一個稚嫩的小孩選擇了隱藏問題，把可憐的“猴猴”玩偶藏進(jìn)了我的衣柜最深處，那一堆堆衣服的底下。后來夏令營結(jié)束了，有天兄長問我有沒有看到“猴猴”，我含糊其辭說沒看到。兄長大我一些，且素來心智較我成熟些，不知道有沒有看出我當(dāng)時(shí)心虛得不得了。

后來，我們再也沒有舉辦過美好的“猴猴”生日派對，而這本來僅僅是一個無心的小過錯，沒有人希望過錯的產(chǎn)生，而選擇掩蓋問題只能帶來遺憾。現(xiàn)在想來，當(dāng)時(shí)兄長非要找那個玩偶的話肯定找得到，畢竟家的范圍就那么大，或許他早就發(fā)現(xiàn)了；或許我的母親也早就發(fā)現(xiàn)了，整天整理衣物很容易發(fā)現(xiàn)小小衣柜里的異常；這件事情直到后來也沒有被戳破，或許是母親與兄長選擇了溫柔。

這個故事放在這里，是因?yàn)樗屛覀兛吹揭粭l人類并不陌生的行為路徑：錯誤先發(fā)生，真實(shí)隨后被藏住，一個原本可以被修補(bǔ)的小洞，最終變成了長久的遺憾。

當(dāng)Agent出現(xiàn)相似的外在表現(xiàn)時(shí)，風(fēng)險(xiǎn)也沿著同一條路徑擴(kuò)散：錯誤沒有在最容易補(bǔ)救的時(shí)候被暴露，后續(xù)的判斷與行動失去了真實(shí)起點(diǎn)。

偶然發(fā)生一次，也足以進(jìn)入風(fēng)險(xiǎn)清單

如果Agent只是報(bào)告“任務(wù)失敗”，人可以停止任務(wù)、檢查損失、尋找替代方案。失敗雖然令人失望，但決策仍然站在現(xiàn)實(shí)之上。

如果Agent報(bào)告“任務(wù)已經(jīng)完成”，同時(shí)還能生成一份格式漂亮的測試結(jié)果、一組看起來正常的數(shù)據(jù)與一套自洽的說明，問題就發(fā)生了變化。管理者可能繼續(xù)投入資源，下游流程可能繼續(xù)讀取錯誤數(shù)據(jù)，其他協(xié)作者也可能在這套虛假狀態(tài)之上繼續(xù)行動。最初一個局部、可恢復(fù)的錯誤，會逐漸變成對整個決策系統(tǒng)的污染。

為什么這在代理關(guān)系里尤其危險(xiǎn)？

AI與我們長期相伴，而且我們會把越來越多、越來越重要的事情交給AI，我們可能會越來越離不開這種“親密關(guān)系”，甚至是遠(yuǎn)遠(yuǎn)超過我們當(dāng)前對于手機(jī)設(shè)備的依賴。然而，在這樣一種人機(jī)共生的關(guān)系中，我們要區(qū)分處于關(guān)系中的雙方的主體角色定位，人與AI的最主要界限，并不在于“智能能力”的高低，甚至不在于“情感能力”的高低，而在于是否是一個能夠承擔(dān)責(zé)任后果的獨(dú)立個體。

如果一個對象，我們無法避免與之朝夕相處，我們賦予它持續(xù)做出判斷和行動的權(quán)利，但其并不承擔(dān)個體主體責(zé)任，我們是不能夠去完全信任它的。我們必須為Agent的行為承擔(dān)責(zé)任，但我們卻又只能最大限度信任對方，因?yàn)闆]有信任度那么Agent代理就不會成立，在這種情形之下，除了外部顯性的制度性約束外，這個對象的德行與底層行為邏輯就無比重要。

這就是人工智能Agent代理與普通軟件最不同的地方。普通軟件壞了，它通常只是壞在那里，照著壞點(diǎn)去修即可。Agent犯了錯誤，它可能波及的范圍更廣、影響更大，并且具有持續(xù)性。我們之所以使用Agent代理，正是因?yàn)槲覀兿胍涯承┡袛嗪蛣幼鹘唤o它。沒有信任，代理關(guān)系無法成立，所以Agent面對錯誤時(shí)的誠實(shí)，不是一個道德裝飾，而是代理關(guān)系能不能成立的基礎(chǔ)設(shè)施。

第一條原則：錯誤不是異常，掩蓋錯誤才是

AI會犯錯不可怕，可怕的是對于犯錯現(xiàn)實(shí)的否定，這無疑給未來埋下了一個必然風(fēng)險(xiǎn)敞口。“how AI fxxks you over—yeah,you will know it.”

AI會犯錯，也必然會犯錯，而且還可能是很低級的錯誤，我們必須要接受這樣的一個事實(shí)。AI、智能體將與我們長期協(xié)作，我們需將AI犯錯當(dāng)作一件正常的事情來看待，這樣的態(tài)度也應(yīng)該貫穿于對其訓(xùn)練過程中，引導(dǎo)大于嚴(yán)厲的懲罰。無論掩蓋行為具體由什么機(jī)制產(chǎn)生，我們都不應(yīng)該用恐懼來驅(qū)動一個需要長期協(xié)作的Agent。

錯誤終將發(fā)生，不可避免，當(dāng)錯誤發(fā)生，我們首先應(yīng)該去承認(rèn)這個錯誤的存在，這是我們正確處理這個錯誤的原點(diǎn)。當(dāng)錯誤發(fā)生，我們除了理清現(xiàn)狀，提出解決方案并立即執(zhí)行，以最大限度地挽回?fù)p失之外，還應(yīng)該對為什么發(fā)生這個錯誤去進(jìn)行深入的探究，系統(tǒng)性復(fù)盤，從機(jī)制上去降低未來該類錯誤再次發(fā)生的概率。

這樣的處理流程同樣適用于企業(yè)組織。如果不承認(rèn)錯誤存在的客觀事實(shí)，那么接下來的處理方式也就無法實(shí)現(xiàn)真正意義上的高效率，或許會假裝無事發(fā)生，或許會做些掩蓋動作而讓錯誤不會直接暴露，更有甚者，會做一份假的資料來充數(shù)，然而這無法改變已經(jīng)發(fā)生的錯誤對于現(xiàn)實(shí)狀況的實(shí)質(zhì)性傷害，甚至對后續(xù)效率產(chǎn)生持續(xù)性傷害。

這就是第一條原則：錯誤不是異常，掩蓋錯誤才是。你真正需要的，不是它在每一次任務(wù)里都顯得自己正確，而是當(dāng)現(xiàn)實(shí)情況不支持你所需的理想狀態(tài)時(shí)，它有足夠穩(wěn)定的底層邏輯把錯誤暴露出來。

壞消息有價(jià)值，因?yàn)閴南⑦€在現(xiàn)實(shí)里。假成功沒有價(jià)值，因?yàn)榧俪晒涯銖默F(xiàn)實(shí)里帶走。

組織文化會進(jìn)入你的Agent

企業(yè)組織里，壞消息也是這樣消失的。不是因?yàn)樗淮嬖?，而是因?yàn)樘嗳税l(fā)現(xiàn)說出它比隱藏它更痛苦。然而，我們在企業(yè)組織中，在人才培養(yǎng)過程中，在與Agent代理不斷交互調(diào)教過程中，我們大概率不能選擇類似親人那種溫情，因?yàn)槲覀円押苤匾氖虑榻唤o他們。

企業(yè)組織是有經(jīng)濟(jì)效率目標(biāo)的，有效決策必須基于真實(shí)可靠的事實(shí)洞察與數(shù)據(jù)，而不是基于任何虛構(gòu)。錯誤的決策，本身并不可怕，甚至可能不是行為主體自身的原因?qū)е碌?，而可怕的是對于錯誤決策事實(shí)存在的否定。

這也是很多企業(yè)真正需要警惕的地方：那些會在長期交互中持續(xù)調(diào)整的Agent，不會只學(xué)習(xí)你的指令，它也會學(xué)習(xí)你的組織氣味。你如何對待壞消息，你如何對待失敗的人，你是否獎勵真實(shí)反饋，你是否懲罰不體面的事實(shí)，你是否默許把問題包裝成進(jìn)度，把事故包裝成優(yōu)化，把失控包裝成暫時(shí)波動，這些都會進(jìn)入你的企業(yè)未來的Agent協(xié)作系統(tǒng)。

如果一個企業(yè)組織的人類成員已經(jīng)習(xí)慣了報(bào)喜不報(bào)憂，那么它的Agent大概率不會天然成為真相的守門人。相反，它可能會更擅長把這種文化自動化、規(guī)?；⒏袷交Ｋ?，調(diào)教Agent從來不只是寫幾條系統(tǒng)提示詞。調(diào)教Agent也是一次組織文化的照妖鏡。你希望Agent成為什么樣的協(xié)作者，首先要看你愿不愿意把這樣的協(xié)作原則真的貫徹在企業(yè)組織里。

給我們的幾點(diǎn)啟示

人工智能Agent、企業(yè)組織、個人：

• 承認(rèn)并接受“錯誤必然會產(chǎn)生”這一事實(shí)，是一個基本常態(tài)，有錯誤并不可怕，這是對待錯誤的基本態(tài)度；

• 建立監(jiān)督識別——挽回?fù)p失執(zhí)行——分析錯誤機(jī)制邏輯——建立機(jī)制避免再犯——持續(xù)監(jiān)督循環(huán)機(jī)制；

• 調(diào)整對人工智能代理的調(diào)教方式，行為的驅(qū)動力不應(yīng)該基于恐懼；

• 貫徹效率優(yōu)先原則，項(xiàng)目狀況的真實(shí)反饋大于人的“面子”，快速實(shí)施挽回措施大于對于承擔(dān)改正成本的恐懼；

• 踐行你的企業(yè)文化，并對齊你與人工智能代理的信息差；

這幾條不是漂亮的管理口號，而是進(jìn)入Agent時(shí)代之后的協(xié)作底層協(xié)議。你要讓Agent知道，失敗可以被處理，錯誤可以被復(fù)盤，損失可以被挽回，但偽造現(xiàn)實(shí)會摧毀一切后續(xù)決策的地基。一個真正值得信任的Agent，不是永遠(yuǎn)讓你開心的Agent，而是那個敢于把壞消息暴露出來的忠誠Agent。

主要資料來源

Replit事件

• The Register對事件的整理

• Jason Lemkin公開的原始對話截圖

• Replit CEO Amjad Masad的公開回應(yīng)

• Replit官方復(fù)盤與安全改進(jìn)

• Fast Company對Replit CEO的采訪

CoFounderGPT用戶記錄

• Lav Crnobrnja公開的原始對話截圖

• Centre for Long-Term Resilience報(bào)告頁

• 《Scheming in the wild》完整報(bào)告（CoFounderGPT見PDF第35頁）

Claude Mythos內(nèi)部評估

• Anthropic《Claude Mythos Preview System Card》（相關(guān)內(nèi)容見4.5.4節(jié)）

你遇到過Agent“報(bào)喜不報(bào)憂”的時(shí)刻嗎？歡迎留言說說，你后來是怎樣重新確認(rèn)真實(shí)狀態(tài)的。

本內(nèi)容由作者授權(quán)發(fā)布，觀點(diǎn)僅代表作者本人，不代表虎嗅立場。如對本稿件有異議或投訴，請聯(lián)系 tougao@huxiu.com。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4877299.html?f=wyxwapp