告別審稿抽卡！全新LLM校準機制，給AI頂會統(tǒng)一打分尺度

新智元報道

21,575。

這是NeurIPS 2025收到的論文投稿數(shù)量。

與2020年相比，這一數(shù)字增長超過一倍。與此同時，ICLR 2026投稿量也逼近2萬篇。AI頂會熱度持續(xù)走高，海量稿件涌入的背后，同行評審體系長期存在的痛點被無限放大。

不少投稿人都有同款困惑：兩份措辭高度接近的審稿意見，最后給出的分數(shù)卻能相差巨大。如今投一篇頂會論文，體驗越來越像一場純靠運氣的「抽卡游戲」。

例如，兩位審稿人都認為論文「缺少必要的消融實驗」。其中一位認為只是需要補充實驗，因此給出較高分；另一位則將其視為影響論文質(zhì)量的關(guān)鍵問題，直接給出低分。

表面上，兩人的意見高度一致，真正不同的是，他們對同一句評語對應著不同的評分尺度。

隨著投稿規(guī)模不斷擴大，這種評分尺度的不一致，正成為影響同行評審公平性和穩(wěn)定性的重要因素。

近日，來自華中科技大學的李欽賓研究團隊在ICML 2026 Position Paper Track提出了一種新的解決思路：不是讓大語言模型替代人類審稿，而是利用LLM對「評語—分數(shù)」之間的映射關(guān)系進行校準。

論文鏈接：https://openreview.net/forum?id=PEyouQzOLD

為什么沒有選擇讓LLM直接審稿？

面對評審人手不足、打分標準混亂的現(xiàn)狀，很多人會直觀提出解決方案：干脆交給LLM完成全自動審稿。華科大團隊給出的答案是否定的。

在研究者看來，學術(shù)評審絕非簡單對錯判斷，還需要綜合衡量工作創(chuàng)新價值、領(lǐng)域發(fā)展意義、研究長遠潛力等高階學術(shù)認知，這類深度領(lǐng)域判斷依托研究者長期積累的行業(yè)經(jīng)驗，很難完全交由模型獨立完成。

除此之外，完全AI主導評審還會催生投機亂象：若作者知曉論文命運由大模型裁決，寫作重心會轉(zhuǎn)向刻意迎合模型偏好，而非聚焦真實科學問題的突破，徹底偏離學術(shù)研究初衷。

論文指出，目前同行評審實際上包含兩個過程：一是審稿人閱讀論文并形成定性判斷；二是將這些判斷壓縮為一個最終分數(shù)。

真正容易出現(xiàn)偏差的，恰恰是第二步。

因此，這項工作的目標并不是構(gòu)建一個自動審稿系統(tǒng)，而是解決同行評審中另一個長期存在的問題——如何讓文字評語和最終評分保持一致。

在現(xiàn)有評審流程中加入一個「評分校準器」

作者提出的方案沒有改變現(xiàn)有同行評審流程，而是在后臺增加了一層LLM校準模塊（Calibration Layer）。

整個流程可以概括為三個環(huán)節(jié)。

• LLM對審稿意見進行結(jié)構(gòu)化分析，將自由文本整理為論文的Pros（優(yōu)點）和Cons（缺點）。

• 在統(tǒng)一Prompt和固定評分標準下，根據(jù)這些優(yōu)缺點生成一個Anchor Score（錨點分數(shù)），作為一把統(tǒng)一尺度下得到的參考分數(shù)。

• 系統(tǒng)比較審稿人實際評分與Anchor Score之間的差值（Residual）。如果兩者接近，說明評分與評語基本一致，無需額外處理；如果差距較大，則觸發(fā)一次輕量級復核，要求審稿人重新確認評分，或者補充更多文字說明，解釋為何自己的評分明顯偏離常規(guī)尺度。

整個過程中，LLM不會新增任何學術(shù)評價，也不會參與錄用決策，更不會替代領(lǐng)域主席（AC）或程序委員會（PC）的判斷。它承擔的角色更接近于一名「評分審計員」，負責檢查分數(shù)是否能夠被評語合理支撐。

三屆ICLR

評分尺度差異正在擴大

團隊基于ICLR 2023–2025三屆頂會公開數(shù)據(jù)，開展大規(guī)模實證分析，數(shù)據(jù)集覆蓋2.2萬余篇論文、5.2萬條評審記錄，能夠真實反映近年頂會評審狀態(tài)。

數(shù)據(jù)清晰證實，頂會審稿存在明顯的年度尺度漂移：不同審稿人的打分標準差異逐年變大，相同評價對應懸殊分數(shù)的現(xiàn)象愈發(fā)普遍。

從量化指標來看，衡量評審分歧的核心偏差跨度指標逐年上漲，2023年整體偏差相對可控，2024年小幅惡化，到2025年打分離散程度顯著提升，極端不合理打分的占比持續(xù)走高。

隨著投稿量激增，審稿人的主觀打分標準越來越不統(tǒng)一，評審隨機性、不公平性逐年加劇。

校準后的評分

更接近論文的長期影響力

頂會評審中，最具爭議的通常是錄用邊緣論文（Borderline Papers）。這些論文往往處于錄用與拒稿之間，一點評分差異就可能影響最終結(jié)果。

為了驗證校準機制是否能夠改善這一問題，作者以論文長期引用量作為客觀參考指標，對比人工原始評分與LLM錨點校準后的排序結(jié)果。

實驗結(jié)果顯示，經(jīng)過統(tǒng)一評分尺度校準后，論文排序與長期學術(shù)影響力之間具有更高的一致性。

以ICLR 2023數(shù)據(jù)為例，在最難取舍的5–6分臨界區(qū)間，LLM校準篩選出的論文，其平均引用量相比僅依據(jù)人工評分篩選提升了94%。

這一結(jié)果說明，統(tǒng)一評分尺度后，可以在一定程度上減少不同審稿人評分習慣帶來的影響，使評審結(jié)果更加一致，也更容易保留后續(xù)產(chǎn)生較大學術(shù)影響力的邊緣論文。

離線仿真復核實驗

除了離線分析之外，團隊還針對高偏差評審樣本開展了離線仿真復核實驗。

當審稿人的實際評分與Anchor Score存在較大偏差時，系統(tǒng)會自動觸發(fā)輕量級復核流程，請審稿人重新確認當前評分，或者補充更多文字說明，解釋評分依據(jù)。

實驗結(jié)果顯示，這種基于Residual的復核機制能夠有效縮小缺乏評語支撐的評分偏差，在保留合理學術(shù)分歧的同時，減少由個人評分尺度差異帶來的極端打分。

作者強調(diào)，這一機制并不會統(tǒng)一所有審稿人的觀點，也不會改變同行評審的決策流程，而是在保留專家判斷的前提下，為評分提供一套統(tǒng)一的參考尺度。

隨著AI頂會投稿規(guī)模持續(xù)增長，同行評審面臨的壓力仍在不斷增加。

對于這項工作而言，LLM的角色并不是替代審稿人完成評審，而是在現(xiàn)有評審流程之外，為文字評語與最終評分之間增加一層校準機制，希望借此減少評分尺度不一致帶來的隨機性，為同行評審提供更加穩(wěn)定的參考依據(jù)。

參考資料：

https://openreview.net/forum?id=PEyouQzOLD

編輯：LRST