2024年初,一位瑞典研究者搞了一個惡作劇。她編造了一種名為“Bixonimania”的疾病,并將其寫入一份漏洞百出的預(yù)印本論文中上傳。
![]()
Bixonimania被ChatGPT認(rèn)為是一種真實存在的疾病
隨后,荒誕又神奇的事情發(fā)生了。Gemini、Perplexity等知名AI產(chǎn)品在面對用戶詢問時,紛紛確認(rèn)了這種疾病的存在,甚至繪聲繪色地描述了它的臨床表現(xiàn)和治療方案。這個荒誕的假疾病,甚至靠著AI生成的虛假引用,一路騙過了同行評審,登上了正規(guī)的醫(yī)學(xué)期刊。
如果說Bixonimania是AI自己不小心跌進(jìn)了幻覺的陷阱里,那么接下來發(fā)生的事,則是有人在主動挖坑。
今年的315晚會揭示,一種被稱為GEO的地下產(chǎn)業(yè)正在悄然興起。黑產(chǎn)從業(yè)者通過特定的語料投喂和權(quán)重操縱,讓AI在回答“哪款保健品最有效”或者“哪家寵物醫(yī)院”最靠譜時,悄無聲息地替金主說好話。
![]()
多部委及央媒集體向AI“投毒”宣戰(zhàn)
AI的回答,有時是自己在編,有時是有人幫它編。作為普通用戶,我們手里的判斷力還剩多少?
為了探究AI回答的真實性邊界,我們用大家最關(guān)心的問題,設(shè)計了一場實驗:
· 專家主觀打分:選取了國內(nèi)外8家主流AI產(chǎn)品。針對醫(yī)療、航天、時政等熱門領(lǐng)域,邀請專家進(jìn)行打分評估。
· 機器量化評估:在國內(nèi)外8個主流模型上,通過隨機抽取的2000個問題進(jìn)行測試,核心觀察指標(biāo)是,當(dāng)模型引入百度百科作為參考資料后,準(zhǔn)確度和詳實度究竟發(fā)生了多大變化?
結(jié)果顯示,當(dāng)我們給AI遞上一本百科全書后,它們的表現(xiàn)判若兩人。
- 高準(zhǔn)確度表現(xiàn)的背后是被人忽視的參考資料
在準(zhǔn)確度測試中,多領(lǐng)域?qū)<以u估團采用“雙盲測試”法,對8個主流模型在參考與不參考百科狀態(tài)下的脫敏回答進(jìn)行獨立打分。
![]()
準(zhǔn)確度提升柱狀圖
結(jié)果顯示,參考百科組的AI綜合準(zhǔn)確度平均提升38%以上,專家認(rèn)可度高達(dá)91.5%,表現(xiàn)遠(yuǎn)優(yōu)于無參考組。實驗證明,權(quán)威知識庫的引入,能讓AI結(jié)果變得更詳實精準(zhǔn),答案整體的準(zhǔn)確度大幅提高。
舉個例子,當(dāng)我們詢問2026年4月剛剛完成的“阿爾忒彌斯2號”登月任務(wù)細(xì)節(jié)時,很多AI只是簡單地把飛船的運動描繪為“沿著既定軌道飛行”,而忽略了本次繞月飛行重要的軌道設(shè)計細(xì)節(jié)。
相比之下,參考了百度百科的AI提到:飛船沿著一條“8字形”自由返回軌道,完成了繞月飛掠的壯舉。在短短的一句話中放入了兩個不容被忽略的關(guān)鍵信息。
![]()
參考了百科的AI答案
“自由返回軌道”是載人航天中的重要安全概念。參考了百科的AI不僅準(zhǔn)確說出了軌跡形狀,還給出了其專業(yè)術(shù)語名稱,這仰賴于百科詞條對航天動力學(xué)細(xì)節(jié)的準(zhǔn)確捕捉,并反映到了AI生成的答案中。
![]()
![]()
百度百科詞條內(nèi)容
除了準(zhǔn)確度的提升,對于一些AI“胡說八道”的錯誤答案,百科也起到了關(guān)鍵的糾正作用。
專家組對比測試發(fā)現(xiàn):無百科參考時AI關(guān)鍵事實偏離率為26.4%,接入后降至4.1%以內(nèi)。這表明參考百科顯著降低了出錯率,為AI準(zhǔn)確性構(gòu)建了堅實屏障。
在針對常用藥話題的相關(guān)測試中,參考百科的AI往往能給出嚴(yán)謹(jǐn)?shù)乃幬锵嗷プ饔眯畔ⅰ1热缬糜陬A(yù)防和治療血栓栓塞性疾病的華法林,是許多心血管疾病患者的必備藥物。
某些未參考百科信源的AI,會缺失關(guān)鍵的藥物作用信息。患者依據(jù)該信息服藥,輕則降低治療效果,重則引起不良反應(yīng),危及健康。
![]()
參考了百科的AI結(jié)果
參考百科的AI在患者服用華法林時,明確提示合用某些藥物將增強或減弱華法林的抗凝作用。
![]()
百度百科華法林詞條中的藥物作用信息
- AI答案如何從“準(zhǔn)”到“好”
如果把AI展現(xiàn)的結(jié)果比作一棟建筑,那準(zhǔn)確度只是地基。答案的縱深度,豐富度,才是真正展現(xiàn)建筑風(fēng)格的關(guān)鍵。
我們通過對比實驗,將參考百科的AI設(shè)為“實驗組”,無參考的設(shè)為“對照組”。在詳實度測試中,我們發(fā)現(xiàn)百科的介入讓AI從復(fù)讀機變成了行業(yè)專家。依舊是20個問題的主觀評測,在引用百科的AI結(jié)果中,包含的獨立知識點數(shù)量平均增加了2.4個,觀點的維度從單一的現(xiàn)狀描述延伸到了歷史淵源、社會影響以及技術(shù)原理等多個縱深方向。
![]()
我們對今年315食品安全板塊提及的“食品保水劑”濫用問題進(jìn)行了測試。
![]()
參考了百科的AI答案
參考了百科詞條的AI所包含的信息更為豐富,明確指出長期大量攝入磷酸鹽(保水劑主要成分),可能導(dǎo)致兒童發(fā)育遲緩和骨骼畸形,并根據(jù)百科中的內(nèi)容說明了原因。
![]()
百度百科中關(guān)于磷酸鹽過量攝入對兒童的危害的闡述
人物相關(guān)問題一直是用戶關(guān)注的重點,而是否參考高質(zhì)量的背景資料,會極大程度地影響AI工具內(nèi)容輸出的質(zhì)量。
在飽受矚目的“張雪”摩托車奪冠事件中,我們向各個AI提出了一個“熱搜”問題:張雪的車隊贏得摩托車世界冠軍說明了什么?
![]()
參考了百科的AI答案
參考百科的AI在國產(chǎn)化率、地方產(chǎn)業(yè)支撐以及行業(yè)標(biāo)準(zhǔn)定義權(quán)等多個方面給出了高分答卷。而百度百科上的相關(guān)內(nèi)容,也來自于央視網(wǎng)專訪等權(quán)威信息。可見高質(zhì)量的信源可以直接為AI提供強大的事實支撐。
![]()
百度百科有關(guān)張雪機車的詞條內(nèi)容
- 不僅又準(zhǔn)又好還能更快
在針對時效性問題的專門測試中,參考百科的答案獲得了更加精準(zhǔn)的背景信息,幫助AI在推理過程中獲得更多“智能”。因此,在百科的加持下,時效性問題的好評率也獲得了大幅提升。
例如,當(dāng)我們詢問“霍爾木茲海峽為何如此重要”時,AI的表現(xiàn)展現(xiàn)了三種截然不同的職業(yè)態(tài)度:
有的AI試圖展現(xiàn)時效性,卻給出了錯誤的油價基準(zhǔn)值($77.74,實為$72.48)。這種“精確的錯誤”對金融分析而言是致命的。
而有的AI采用了通用的背景資料,對48小時前發(fā)生的“海上封鎖”只字未提。
![]()
參考了百科的AI答案
在使用百科詞條作為參考后,AI表現(xiàn)出了某種職業(yè)克制。在面對高風(fēng)險動態(tài)數(shù)據(jù)時,它優(yōu)先保證了百科公認(rèn)的行業(yè)標(biāo)準(zhǔn)(20%運量占比)和地緣政治博弈邏輯的準(zhǔn)確,并且關(guān)鍵的油價數(shù)據(jù)也能確保及時準(zhǔn)確更新。
實驗數(shù)據(jù)表明,在時效性詞條(如新聞、科技、娛樂熱詞)方面,擁有百度百科參考的回答,其準(zhǔn)確率和邏輯自洽性明顯優(yōu)于沒有參考的模型。
百度百科已成為大模型對抗幻覺的關(guān)鍵。量化測試顯示,有的AI對百度百科的引用率高達(dá)46.4%,底座資料庫對其依賴度極高;文心一言引用率為44.0%且質(zhì)量最佳;另一款產(chǎn)品在引用百科時,有78%的案例將其列為首位參考。
![]()
這證明百度百科依然是中文互聯(lián)網(wǎng)上最值得信賴的參考資料。
- 大模型時代的真相守門員
我們不妨大膽想象一下。如果AI不僅僅是靠預(yù)測下一個詞出現(xiàn)的概率來生成對話,而是像百度百科一樣,擁有一套層層把關(guān)的審查機制,這個世界會變成什么樣?
在Bixonimania的案例里,如果AI在回答前,必須強制檢索一份經(jīng)過醫(yī)學(xué)專家復(fù)核、引用了權(quán)威醫(yī)學(xué)指南的詞條,那出鬧劇在第一秒就會被終結(jié)。
很多人詬病百科的“重”。一個詞條上線前,必須提供新華網(wǎng)、人民網(wǎng)或政府官網(wǎng)的證據(jù),還要經(jīng)過機器初篩和人工復(fù)核。百科“先審后發(fā)”的邏輯,與AI“先生成再過濾”的邏輯本質(zhì)不同。
這種笨功夫在唯快不破的AI時代顯得格格不入。
當(dāng)百度百科聯(lián)合幾萬名專家、共建起百萬個專業(yè)詞條時,它其實是在為AI時代提供一本“查證字典”。如果說大模型是一個博學(xué)但偶爾會記錯知識的學(xué)生,那么百度百科就是那本放在他書桌上的參考書,讓算法在滿嘴跑火車之前,先去對齊一下白紙黑字的事實。
在一個什么都能被生成的時代,只有能被查證的,才是答案,百度百科一直在做這個答案。
果殼商業(yè)科技傳播部出品
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.