“文科危機(jī)”的新鐵證？僅半數(shù)社會科學(xué)論文結(jié)論可復(fù)現(xiàn)？

在歷時(shí)7年，對3900篇社會科學(xué)論文進(jìn)行研究后，一項(xiàng)近日發(fā)表于《自然》的研究指出，僅其中一半論文的結(jié)果能復(fù)現(xiàn)。

在AI崛起頻頻引發(fā)自然科學(xué)“可重復(fù)性危機(jī)”（replicability crisis），社會科學(xué)結(jié)論的可靠性也在被重新審視。

撰文｜劉亞光

“文科危機(jī)”的鐵證？

這項(xiàng)研究名為“開放研究與證據(jù)中的系統(tǒng)置信度”（SCORE），經(jīng)濟(jì)學(xué)、教育學(xué)、心理學(xué)及社會學(xué)等多個社會科學(xué)學(xué)科，865位研究人員對發(fā)表在這些學(xué)科的62種期刊上的論文做了詳細(xì)梳理。研究成果以三篇論文的形式發(fā)表在今年4月1日的《自然》期刊上，旨在開發(fā)出一套能夠?qū)ι鐣茖W(xué)研究成果進(jìn)行“置信度評分”的自動化工具。

對學(xué)術(shù)共同體來說，科學(xué)研究的可復(fù)現(xiàn)事關(guān)知識積累的基礎(chǔ)，它意味著若在相同條件下，對同一組數(shù)據(jù)進(jìn)行完全相同的分析，理應(yīng)得出完全一致的結(jié)論。可惜的是，研究人員在對這些論文的數(shù)據(jù)分析過程進(jìn)行復(fù)現(xiàn)時(shí)發(fā)現(xiàn)，在他們重點(diǎn)關(guān)注的164項(xiàng)研究中，僅有49%的研究結(jié)果在統(tǒng)計(jì)學(xué)意義上得到了成功重現(xiàn)。

開放科學(xué)中心（Center for Open Science）的研究主管蒂姆·埃林頓（Tim Errington）表示，在“不發(fā)表，就出局”的整體學(xué)術(shù)環(huán)境下，這樣的結(jié)果并不令人太意外。或許對公眾來說，這一結(jié)果又成為本就遭遇嚴(yán)重質(zhì)疑的“文科”危機(jī)新的鐵證。

電影《實(shí)驗(yàn)者》劇照。

但埃林頓提醒，這并不必然表示當(dāng)前的科研工作質(zhì)量低劣。可能有少數(shù)研究結(jié)果的不可復(fù)現(xiàn)是由于學(xué)術(shù)不端等原因，但更普遍的原因可能是因?yàn)槠湮茨芴峁┳銐蛳鑼?shí)的數(shù)據(jù)或者實(shí)驗(yàn)細(xì)節(jié)。

對此，埃林頓強(qiáng)調(diào)，對于科研人員來說，應(yīng)該注重更開放地共享數(shù)據(jù)，對采用的研究方法保持更高的透明度，更方便后人檢驗(yàn)。此外，參考前人研究的學(xué)者們也要保持相當(dāng)?shù)呐泻蛻岩删瘢粦?yīng)對論文的結(jié)論“照單全收”。加拿大渥太華大學(xué)“可重復(fù)性研究所”（Institute for Replication）的創(chuàng)始人、經(jīng)濟(jì)學(xué)家阿貝爾·布羅德爾（Abel Brodeur）就表示，他對新發(fā)表的論文總是持懷疑態(tài)度：“我通常會耐心等待數(shù)年，直到看到大量其他研究也進(jìn)行了類似的分析并得出了相似的結(jié)果，我才會對某項(xiàng)特定的研究發(fā)現(xiàn)產(chǎn)生信心。”

比危機(jī)更復(fù)雜的是人

與自然科學(xué)相比，社會科學(xué)領(lǐng)域的可復(fù)現(xiàn)性危機(jī)有其復(fù)雜性。

社會科學(xué)研究的對象是人，人復(fù)雜的社會行為可能更難量化，受到的影響因素也會更多。全美學(xué)者協(xié)會（national association of scholars）的大衛(wèi)·蘭道爾（David Randall）就表示，研究領(lǐng)域內(nèi)部的“政治傾向”與“群體思維定勢”，以及前文提到的巨大發(fā)表壓力，也很容易導(dǎo)致大量不可重復(fù)的研究被批量炮制出來。

如何改善這樣的狀況，讓社會科學(xué)研究的精確性變得更高？蘭道爾指出，首先應(yīng)該強(qiáng)化研究的預(yù)注冊機(jī)制，確保研究數(shù)據(jù)的開放性。更重要的是，要將研究的數(shù)據(jù)收集和分析環(huán)節(jié)分離，將其指派給不同的、相互獨(dú)立的研究人員負(fù)責(zé)。

這并不僅僅是技術(shù)改變，蘭道爾認(rèn)為，這涉及人文社科整體學(xué)術(shù)文化的一場巨變。比如，學(xué)術(shù)體制會面臨一個難題：如何在大規(guī)模的研究團(tuán)隊(duì)中分配職位聘用、晉升的機(jī)會？如何進(jìn)行獎勵？畢竟，在這樣的模式下，可能更難判定哪個環(huán)節(jié)的成員對研究有最大的功勞。

更重要的是，對研究數(shù)據(jù)的嚴(yán)苛，可能讓社科研究變得更加昂貴。在一個世界范圍內(nèi)的文科都遭遇經(jīng)費(fèi)緊張的時(shí)代，這是一個必須考慮的問題。

1. Half of social-science studies fail replication test in years-long project https://www.nature.com/articles/d41586-026-00955-5

2. We Know Social Science Is Shoddy. It's Time to Actually Fix It https://www.realclearscience.com/articles/2026/04/15/we_know_social_science_is_shoddy_its_time_to_actually_fix_it_1176655.html

3. Is AI leading to a reproducibility crisis in science? https://www.nature.com/articles/d41586-023-03817-6 。

本文為獨(dú)家原創(chuàng)文章。作者：劉亞光；編輯：劉亞光 李陽；校對：楊利。未經(jīng)新京報(bào)書面授權(quán)不得轉(zhuǎn)載，歡迎轉(zhuǎn)發(fā)至朋友圈。

最近微信公眾號又改版啦

大家記得將「新京報(bào)書評周刊」設(shè)置為星標(biāo)

不錯過每一篇精彩文章～

查看合訂本信息