電廠 | 從“力壓英偉達”到排名清零，RoboArena被千尋智能“刷榜”了嗎？

記者 何暢

編輯 高宇雷

正如跑分是手機硬件性能的評估標準之一，Benchmark（基準測試）也被視為判斷模型能力的重要參考。但隨著技術發展和場景變化，維度單一的榜單似乎很難全面呈現模型的水平。與之相伴的另一個問題則是：所謂的榜單是否值得信任？

在6月12日至13日舉辦的智源大會上，多位嘉賓提到了對Benchmark和榜單的看法。智源研究院院長王仲遠認為，從實際情況來看，現階段“榜單確實不那么可信”——各種各樣的榜單令人眼花繚亂，而且部分結果無法驗證。香港大學計算與數據科學學院助理教授李弘揚則表示：“Benchmark現在是一個重災區。”

觀點與現實互為映照。6月14日，具身智能評測平臺RoboArena發布公告稱，經過追溯調查，他們“已經觀察到Benchmark存在被操縱的痕跡”，并剔除了問題數據。對比榜單變更前后的兩個版本，最大的區別在于多個模型從榜單上消失，其中就包括此前位列第一的千尋智能自研具身基座模型Spirit v1.6。

從“力壓英偉達”到排名清零

6月3日，具身智能公司千尋智能通過官方微信公眾號發布了一篇文章：《雙線告捷！千尋智能Spirit v1.6橫掃北美“具身奧林匹克”奪冠，再獲15億元A+輪融資》。

標題稱得上是對正文信息的高度提煉，這家公司公布的正是這兩件事：技術層面，登頂RoboArena榜單，“力壓英偉達Cosmos 3和Physical Intelligence Pi0.5，“打破硅谷霸榜魔咒”；資本層面，再獲15億元A+輪融資，三個月內完成四輪交易，跑出融資加速度。

憑借技術突破吸引資本加碼，再將所融資金投入后續研發——雙線并行，的確達成了完美閉環。然而，幾天之內，就有關注具身智能行業的人士在小紅書等社交平臺提出了質疑：Spirit v1.6累計評測記錄為310次，其中72%的評測來自兩個賬號：一個是ECUST Robot Lab，評測179次，勝率為97.2%；另一個是Robotics Lab，評測45次，勝率為86.7%。作為對比，NVIDIA對Spirit v1.6進行了21次評測，勝率為0。

RoboArena方面也注意到了數據的異常。6月4日，作為聯合發起者之一，賓夕法尼亞大學GRASP實驗室的王杰在相關筆記的評論區回復：“我們已經注意到了這個情況，正在深入調查”。

圖片來源：電廠截圖自小紅書

經過一周的調查和追溯，RoboArena給出了處理方案：將評測完成率低于20%的評測賬號標記為可疑賬號，以防止Benchmark作弊的情況再次發生；根據更新后的規則回滾了評測，將來自前述賬號的評測結果剔除；同時，強制規定只有沒有相關利益的第三方評測者才能自愿參與評測。

RoboArena的核心貢獻者，來自加州伯克利大學機器人學習實驗室的Pranav Atreya也在社交平臺上發文提及此事，并對社區監督表示感謝。

圖片來源：電廠截圖自RoboArena

現在，如果你點進RoboArena的頁面，首先看到的正是被置頂的處理公告，后面跟著RoboArena同時放出的兩版榜單——短的是Official版本，排除了可疑評測結果；長的是All Policies版本，包含所有評測結果。在All Policies版本登頂的Spirit v1.6，并未出現在Official版本，后者的前三名分別來自英偉達和Physical Intelligence。

評測機制與可疑數據的由來

RoboArena的公告，其實在一定程度上解釋了可疑評測數據是如何產生的：“操縱A/B評測結果存在多種手段，其中一種典型表現為待分配評測任務的完成率偏低。”

根據官網介紹，RoboArena是一個分布式評測框架，發起者來自加州大學伯克利分校、斯坦福大學、華盛頓大學、英偉達等高校和科技巨頭，兼具頂尖學術機構、頭部科技公司背書。評測采用“眾包”模式，評測者可以自主注冊賬號，自由選擇場景和任務執行評測。在這個過程中，模型之間的對手關系來自隨機匹配，評測者也不知道自己評測的是哪個模型。

大量分散的雙盲、成對評測結果經過系統的收集和統計，最終匯總為一張榜單。理論上來說，這打破了單一實驗室的評測模式，大幅擴展了評測的多樣性，也意味著個別可疑或惡意評測行為難以輕易影響結果。

圖片來源：電廠截圖自RoboArena

但實際上呢？從結果來看，ECUST Robot Lab和Robotics Lab這兩個評測賬號集中參與了Spirit v1.6的評測，使后者的勝率迅速提高，而且Spirit v1.6的對手多數發布較早，評測結果分布失衡。此前，榜單結果遭到質疑時，王杰曾經在小紅書相關筆記留言“我們的策略分配系統收到了攻擊”。也就是說，Spirit v1.6可能在評測中“繞過了”真正的潛在對手。

圖片來源：電廠截圖自小紅書

至于ECUST Robot Lab和Robotics Lab，則為了給Spirit v1.6貢獻勝率、付出了未完成評測任務過多的代價。在All Policies版本的榜單中，Spirit v1.6和另外9個模型都被打上了“low sample（低采樣樣本組）”的標簽——根據規定，必須完成至少100組A/B評測才能上榜。數據回滾后，Spirit v1.6僅完成25組A/B評測，首次評測時間為4月30日，最后一次評測發生在5月15日。

圖片來源：電廠截圖自RoboArena

還有一個可能被忽略的情況在于，如果去掉英偉達作為評測者的結果，Official版本的第一名將不再是英偉達DreamZero，而是Physical Intelligence Pi0.5，但去掉來自其他主要評測者的結果時，英偉達DreamZero排名并未發生變化。

RoboArena不反對模型提供者參與評測，后者甚至可以借此為自己的模型獲得更多被評測的機會。然而，當評測者就是模型提供者，很難避免“又當裁判員又當運動員”的質疑。

自愿雙盲機制的出發點是好的，前提是確保結果“不可操縱”。對此，一些可能的完善思路包括：不是直接進行模型成對匹配，而是在多個成對匹配中隨機篩選一個結果進行評測；加強賬號關聯校驗、利益相關方隔離和單一對象評測上限設置等，以平衡評測的開放性和結果的公平性。

榜單和排名究竟是給誰看的？

如果刷榜成為組成榜單的一部分，榜單本身的可信程度將被畫上一個問號。在6月中旬舉辦的智源大會上，Benchmark和榜單是被反復提起的熱門話題。

智源研究院院長王仲遠認為，從實際情況來看，現階段“榜單確實不那么可信”。一是榜單太多，各種各樣的榜單讓他“看得眼花繚亂”，二是缺乏結果之外的信息，“很多榜單的結果也沒辦法完全驗證”。

在他看來，敢于現場展示真機、“亮真活兒”的模型公司“是有底氣的”，也能在一些場景下找到數據閉環。“是騾子是馬拉出來遛遛，能拉出來遛，通常還是可以讓大家有一個體感。”

香港大學計算與數據科學學院助理教授李弘揚則表示：“Benchmark現在是一個重災區。”他覺得，目前Benchmark“存在很大的問題”，只是大家都心照不宣，“不愿意提”。他自己也從來不看榜單和排名，“如果你因為（榜單成績）發了個朋友圈，我從心理上是非常鄙視你的”。

究竟是誰在關注榜單和排名？或許要看誰能從中有所收獲。投資人需要客觀評估公司技術實力的標尺，公司需要對外宣傳、吸引資本的素材，學術機構需要突出科研成果的背書。各方似乎都存在需求，但一旦與榜單過度綁定甚至鉆榜單規則的空子，榜單也就失去了原有的意義。

6月5日舉辦的騰訊AI產業應用大會上，騰訊AI首席科學家姚順雨在與騰訊集團高級執行副總裁、云與智慧產業事業群CEO湯道生對話時也提到，國內有一個不太好的傾向是“大家喜歡刷榜”。姚順雨的觀點是，實用性的價值大于刷榜價值——比起所謂的排名，更重要的其實是如何實事求是地基于產品、基于真正的應用來構造更加真實的Eval（評估）。他不否認Benchmark的作用，“只是說這些榜單非常容易Overfitting（過擬合）”。

技術實力終究要落地于真實物理世界，通過操縱評測結果換來的榜單狂歡，只是泡沫而已。正如地瓜機器人算法副總裁隋偉在小紅書相關筆記下所寫的那樣：“這類榜單沒有太大產業指導意義，跟實際落地場景相差太遠，更多的是學術價值。目前操作類模型確實缺少有說服力的Benchmark，是行業痛點，但是無論如何也不能造假，那是credit的問題了。”