豆包誤判導(dǎo)致用戶中毒，這事到底該怪誰？

人類又一次，把AI的話當(dāng)真了。

這兩年，“被AI坑”已經(jīng)不新鮮了。有人用 ChatGPT 寫法律文件，結(jié)果判例是假的，比如“Varghese訴中國南方航空” 。有人用DeepSeek做健康咨詢、結(jié)果得到了“80%是肺癌”的結(jié)論，嚇得不輕。

但這次，情況似乎更嚴(yán)重了。

有人在小區(qū)發(fā)現(xiàn)一種蘑菇，拍了照片，問豆包：這能不能吃？豆包說，這個(gè)東西“可能是雞腿菇”。可以吃。可豆包也補(bǔ)充，“它容易和大青褶傘混淆，誤食會(huì)引發(fā)胃腸炎癥狀”。所以，如果是從外邊采來的，不要吃。

你看，豆包不是沒有提醒。它沒有斬釘截鐵地說：放心吃。它說了“可能”，也說了“外邊采來的建議不要吃”。

可用戶還是吃了。然后，上吐下瀉。

于是，很快有人評(píng)論：

這能怪誰？人家明明提醒你了。野蘑菇不能亂吃，這不是常識(shí)嗎？你自己不知道邊界，把AI當(dāng)專家，中毒不是活該嗎？

（圖片來自微博）

說用戶本人沒有責(zé)任，當(dāng)然不對(duì)。野蘑菇不能亂吃，AI回答不能當(dāng)食品安全依據(jù)，豆包也確實(shí)加了提醒。

可用戶有責(zé)任，不等于AI大模型沒有責(zé)任。當(dāng)答案可能影響人的安危時(shí)，如果AI并不確定，還應(yīng)不應(yīng)該回答？

這個(gè)問題，在機(jī)器學(xué)習(xí)領(lǐng)域，其實(shí)早就被討論過了。

有個(gè)說法，叫：拒絕選項(xiàng)（Reject Option）。

1970年前后，C. K. Chow就在論文中提出了“拒絕選項(xiàng)”，意思是分類器遇到把握不足的樣本時(shí)，應(yīng)當(dāng)拒絕判斷，將處理權(quán)交給人或其他系統(tǒng)。

為什么？因?yàn)橛行﹩栴}，答錯(cuò)的代價(jià)太大了。

比如問AI，穿啥顏色的衣服？它答錯(cuò)了，最多就是你心情差點(diǎn)。可你問AI，這個(gè)蘑菇能不能吃？它答錯(cuò)了，你就可能中毒，可能去醫(yī)院搶救。

這時(shí)候，不回答就是更安全的輸出。

2017年，計(jì)算機(jī)科學(xué)家Geifman提出：機(jī)器學(xué)習(xí)里一種最基礎(chǔ)的“自知之明”，就是知道自己不知道。比如自動(dòng)駕駛。如果路況實(shí)在復(fù)雜，理想狀態(tài)不是硬開，而是把控制權(quán)交給人。

可是，既然不確定時(shí)拒答更安全，為什么大模型還總想回答？

這就和它的商業(yè)目標(biāo)，有關(guān)了。

今天，能穩(wěn)定盈利的大模型公司并不多。可是怎么變現(xiàn)？怎么收費(fèi)？還沒有一個(gè)公認(rèn)的答案。所以才有這么一個(gè)共識(shí)：我們先把用戶規(guī)模養(yǎng)起來。

怎么養(yǎng)？先讓自己，變得“有用”。

有用最直接的表現(xiàn)，就是你問什么，它都能接住。不僅接住，還要接得順、接得讓你愿意繼續(xù)問。

你讓它寫段文案，它寫。你讓它做一個(gè)表格，它做。你問它一個(gè)概念，它解釋。你問它怎么創(chuàng)業(yè)、怎么投資、怎么追女生、怎么教育孩子，它都能說上幾句。耐心，熱情，次次有回應(yīng)。

所以，出于商業(yè)目的，AI大模型，會(huì)天然走向：盡量回答，努力討好。

因?yàn)椋绻銌柲⒐剑荒艽稹Ｄ銌柾顿Y，它不能答。你問創(chuàng)業(yè)，你也一堆風(fēng)險(xiǎn)提示，那你很容易就換個(gè)愿意回答的AI。

可問題是，它越想回答，越容易產(chǎn)生幻覺。

幻覺，就是一本正經(jīng)地胡說八道。你問它論文出處，它可能會(huì)給你作者名、年份、期刊，但你真去查，會(huì)發(fā)現(xiàn)根本不存在。

大模型的輸出機(jī)制，是通過概率，猜下一個(gè)詞。它會(huì)根據(jù)自己學(xué)過的內(nèi)容、檢索到的信息，判斷接下來最應(yīng)該出現(xiàn)什么詞。這是統(tǒng)計(jì)意義的智能，而非人類意義的理解。這種機(jī)制，必然帶來幻覺。

這件事，放在普通問題里，沒什么。但在高風(fēng)險(xiǎn)問題上，就很要命。你問100次作者錯(cuò)10次，沒關(guān)系。你問一次毒蘑菇，它錯(cuò)一次就出大事。

那，大模型公司知不知道這事？當(dāng)然知道。但他們又很難冒著失去用戶的風(fēng)險(xiǎn)，拒絕回答。所以只好：做免責(zé)聲明。

最常見的辦法，就是在回答后面加提醒：

大模型可能會(huì)犯錯(cuò)，請(qǐng)你自行判斷。以上內(nèi)容僅供參考，不構(gòu)成專業(yè)建議。涉及醫(yī)療、法律、投資、食品安全等問題，請(qǐng)咨詢專業(yè)人士。

盡量回答，努力討好，常常幻覺，總是免責(zé)。

這就是今天多數(shù)大模型的表現(xiàn)。因?yàn)樗胱屇阌X得它什么都能答，但又無法保證都對(duì)，所以只能再加一句：我不一定對(duì)，請(qǐng)自己判斷。

可是，提醒存在，不等于有效。免責(zé)聲明寫了，不等于用戶理解了。

為什么？首先，“免責(zé)聲明”的邊際效用，會(huì)越來越弱。

你第一次看到“大模型可能會(huì)犯錯(cuò)，請(qǐng)自行判斷”，可能會(huì)想一想。可到了第一百次，一千次，你可能就略過了。就像安裝軟件時(shí)的“用戶協(xié)議”，進(jìn)網(wǎng)頁時(shí)看到“風(fēng)險(xiǎn)聲明”。它們都在，但你已經(jīng)不讀了。

一開始，風(fēng)險(xiǎn)提示是提醒用戶的。后來，它越來越像保護(hù)平臺(tái)的。

其次，機(jī)器給出的答案，人天然更容易相信。

當(dāng)你聽到導(dǎo)航說往左，你就往左。哪怕你隱約覺得不對(duì)。系統(tǒng)說這個(gè)客戶風(fēng)險(xiǎn)低，你就放松警惕。系統(tǒng)都算過了，應(yīng)該沒事吧。AI說“這可能是雞腿菇”，你也可能會(huì)想：它都看過那么多資料了，應(yīng)該比我懂吧。

在心理學(xué)和人機(jī)交互里，這種傾向，叫做：自動(dòng)化偏誤。

意思是，人在與自動(dòng)化系統(tǒng)（如AI、程序）協(xié)作時(shí)，很容易就過度依賴其輸出，從而放棄獨(dú)立思考，驗(yàn)證信息。

所以，用戶看完一段AI回答，最容易記住的，往往不是最后那句“請(qǐng)自己判斷”，而是前面的具體回答。

回到這次“蘑菇中毒事件”。

豆包做了很多事。它加了警告、點(diǎn)了具體毒蘑菇的名字、提示了胃腸炎癥狀。但如果在這些免責(zé)聲明之前，它首先給出了“這可能是雞腿菇”的判斷，那無論免責(zé)聲明寫得多么嚴(yán)厲，都可能讓用戶放松警惕。

那怎么辦？瞎說一個(gè)不負(fù)責(zé)任的建議：

再遇到類似的問題，或許可以把回答順序倒一下。

先說“這個(gè)問題涉及食品安全，AI回答可能犯錯(cuò)，請(qǐng)勿據(jù)此食用”。再說“從圖像特征看，它有一定可能是雞腿菇，但也無法排除劇毒的大青褶傘”。

先給出的信息，更容易成為用戶腦子里的錨。所以，先說“像雞腿菇”還是先說“我說的可能不對(duì)”，可能截然不同。

我們正在進(jìn)入一個(gè)，AI深度參與人類判斷的時(shí)代。

過去很多技術(shù)革命，改變的是工具。車跑得更快了，機(jī)器算得更準(zhǔn)了。但它們只是把能力交給你，最后怎么判斷，還是你來。

但AI，不只是給你信息，它還會(huì)直接給你結(jié)論。該不該買股票？它給你分析。蘑菇能不能吃？它也會(huì)給你一個(gè)判斷。

而一旦進(jìn)入判斷鏈條，它就不能只追求有問必答。

或許，高風(fēng)險(xiǎn)場景里，一個(gè)成熟AI最重要的能力，不是回答得越來越像專家。而是在沒有把握的時(shí)候，敢于先說：

對(duì)不起，這個(gè)我不知道。

參考資料：

2、陳煥|GPT兩周年-盤點(diǎn)那些使用AI生成內(nèi)容被“公開處刑”的法律人

觀點(diǎn)/ 劉潤主筆/ 景九編輯/ 歌平版面/ 黃靜

這是劉潤公眾號(hào)第2968篇原創(chuàng)文章。未經(jīng)授權(quán)，禁止任何機(jī)構(gòu)或個(gè)人抓取本文內(nèi)容，用于訓(xùn)練AI大模型等用途