ICML放榜！清華阿里拿下最高獎(jiǎng)，谷歌DeepMind再封經(jīng)典

智東西
作者 程茜
編輯 李水青

智東西7月6日?qǐng)?bào)道，今日，全球機(jī)器學(xué)習(xí)領(lǐng)域三大頂會(huì)之一ICML公布獲獎(jiǎng)名單，來(lái)自清華大學(xué)和麻省理工學(xué)院的兩篇與擴(kuò)散模型相關(guān)的論文拿下杰出論文獎(jiǎng)（Outstanding Paper Award），這一獎(jiǎng)項(xiàng)代表本屆獲獎(jiǎng)?wù)撐闹械淖罡咚疁?zhǔn)。

▲ICML官宣獲獎(jiǎng)名單

其中一篇為清華大學(xué)黃高團(tuán)隊(duì)論文。除清華大學(xué)研究人員外，其作者名單還出現(xiàn)了阿里巴巴集團(tuán)研究人員的身影。其論文提出了極簡(jiǎn)算法JustGRPO，該算法在GSM8K數(shù)學(xué)推理數(shù)據(jù)集上準(zhǔn)確率達(dá)89.1%，同時(shí)能完整保留擴(kuò)散模型并行解碼的優(yōu)勢(shì)。

獲得杰出立場(chǎng)論文獎(jiǎng)（Outstanding Position Paper Award）的論文，分析了當(dāng)下的各項(xiàng)對(duì)齊技術(shù)，并發(fā)現(xiàn)惡意主體可輕易利用其實(shí)施信息審查與輿論操控。作者為慕尼黑大學(xué)博士生Sarah Ball，以及獨(dú)立AI治理研究者Phil Hackemann。

獲得時(shí)間檢驗(yàn)獎(jiǎng)（Test of Time Award）的論文來(lái)自谷歌DeepMind 2016年發(fā)表的論文，其引入了一種利用多個(gè)CPU核心來(lái)加速單臺(tái)機(jī)器上訓(xùn)練的強(qiáng)化學(xué)習(xí)框架，在arXiv上的被引用次數(shù)超1.5萬(wàn)次。谷歌DeepMind AlphaGo、AlphaZero首席研究員David Silver，谷歌DeepMind CTO、谷歌首席AI架構(gòu)師Koray Kavukcuoglu均在作者之列。

本次ICML共頒發(fā)了2項(xiàng)杰出論文獎(jiǎng)、1項(xiàng)杰出立場(chǎng)論文獎(jiǎng)、1項(xiàng)時(shí)間檢驗(yàn)獎(jiǎng)。ICML與NeurIPS、ICLR并稱(chēng)機(jī)器學(xué)習(xí)三大頂會(huì)，于1980年創(chuàng)立，是全球首個(gè)專(zhuān)門(mén)聚焦機(jī)器學(xué)習(xí)的頂級(jí)學(xué)術(shù)會(huì)議，曾首發(fā)了大量里程碑論文。

一、清華、阿里聯(lián)手，拿下ICML杰出論文

清華大學(xué)黃高團(tuán)隊(duì)拿下杰出論文獎(jiǎng)的論文題目是《靈活性陷阱：重新思考擴(kuò)散語(yǔ)言模型中任意順序的價(jià)值（The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models）》

擴(kuò)散大語(yǔ)言模型（dLLMs）打破了傳統(tǒng)大語(yǔ)言模型從左至右的剛性生成約束，支持以任意順序生成文本token。直觀來(lái)看，這種生成靈活性使其解空間嚴(yán)格包含自回歸模型固定單向生成路徑所能覆蓋的全部范圍，理論上具備更強(qiáng)的推理能力。

在數(shù)獨(dú)謎題等特定約束滿(mǎn)足類(lèi)任務(wù)中，該特性已被證實(shí)具備顯著優(yōu)勢(shì)。

但該論文提到，針對(duì)數(shù)學(xué)、代碼等通用推理任務(wù)，無(wú)序生成機(jī)制反而會(huì)限制擴(kuò)散大語(yǔ)言模型的推理上限。研究人員發(fā)現(xiàn)，擴(kuò)散大語(yǔ)言模型會(huì)利用生成順序的自由度，刻意回避那些不確定性高、對(duì)探索關(guān)鍵的token，最終導(dǎo)致模型可覆蓋的有效解范圍過(guò)早收縮。

基于這一發(fā)現(xiàn)，該論文重新審視了面向擴(kuò)散大語(yǔ)言模型的強(qiáng)化學(xué)習(xí)方案，現(xiàn)有算法為保留無(wú)序生成特性，需要處理組合式生成路徑、難以計(jì)算的似然值等大量復(fù)雜問(wèn)題。

研究人員證明，只需舍棄任意序生成機(jī)制、采用標(biāo)準(zhǔn)分組相對(duì)策略?xún)?yōu)化（GRPO），就能更好地激發(fā)模型推理能力。他們提出了極簡(jiǎn)算法JustGRPO，其結(jié)構(gòu)簡(jiǎn)潔，且在GSM8K數(shù)學(xué)推理數(shù)據(jù)集上準(zhǔn)確率達(dá)89.1%，同時(shí)能完整保留擴(kuò)散模型并行解碼的優(yōu)勢(shì)。

▲約束模型自由度，可釋放更強(qiáng)推理潛力

黃高為清華大學(xué)自動(dòng)化系長(zhǎng)聘副教授、博士生導(dǎo)師，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）研究員。

根據(jù)清華大學(xué)自動(dòng)化系披露的信息，黃高的研究方向?yàn)锳I基礎(chǔ)模型與算法，包括神經(jīng)網(wǎng)絡(luò)架構(gòu)、高效推理算法、強(qiáng)化學(xué)習(xí)、多模態(tài)感知與生成、具身基座模型與世界模型等，在Nature Machine Intelligence、IEEE TPAMI等期刊、會(huì)議發(fā)表學(xué)術(shù)論文200余篇，其中CCF A類(lèi)論文120余篇。

▲黃高（圖源：清華大學(xué)）

其谷歌學(xué)術(shù)總引用10.5萬(wàn)次，代表性工作DenseNet單篇被引6.2萬(wàn)次，入選AI2000人工智能領(lǐng)域最具影響力學(xué)者。

二、另一杰出論文出自MIT、耶魯研究人員，提出擴(kuò)散模型采樣算法

與清華黃高團(tuán)隊(duì)并列獲得杰出論文獎(jiǎng)的是，麻省理工學(xué)院、耶魯大學(xué)研究人員聯(lián)合發(fā)表的擴(kuò)散模型相關(guān)論文。

論文名稱(chēng)是《擴(kuò)散模型和對(duì)數(shù)凹分布的高精度采樣（High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions）》。

該論文提出一套擴(kuò)散模型采樣算法：若可獲取L2范數(shù)下精度為O?(δ)的分?jǐn)?shù)估計(jì)，該算法僅需polylog(1/δ)步即可達(dá)到δ誤差。

具體復(fù)雜度結(jié)論分三類(lèi)場(chǎng)景：

1、在最簡(jiǎn)數(shù)據(jù)假設(shè)下，算法復(fù)雜度為 O~(dpolylog(1/δ))，其中d為數(shù)據(jù)維度；

2、在非一致L-Lipschitz（利普希茨連續(xù)）條件下，復(fù)雜度降至O~(dLpolylog(1/δ))；

3、若數(shù)據(jù)分布具備本征維度d?，復(fù)雜度可進(jìn)一步簡(jiǎn)化為O~(d?polylog(1/δ))。

此外，該論文方案首次僅依靠梯度求值，就為通用對(duì)數(shù)凹分布構(gòu)造出復(fù)雜度為polylog(1/δ)的采樣器。

獲得杰出立場(chǎng)論文獎(jiǎng)的是《立場(chǎng)：對(duì)齊社區(qū)正在無(wú)意間打造一套審查工具集（Position：The Alignment Community is Unintentionally Building a Censor’s Toolkit）》。作者為慕尼黑大學(xué)計(jì)算機(jī)器學(xué)習(xí)方向博士生Sarah Ball，以及獨(dú)立AI治理研究者Phil Hackemann。

其核心觀點(diǎn)為，現(xiàn)代對(duì)齊技術(shù)最初用于規(guī)避模型生成有害內(nèi)容，但這類(lèi)技術(shù)屬于兩用技術(shù)，惡意主體可輕易利用其實(shí)施信息審查與輿論操控。

該論文梳理了現(xiàn)有各類(lèi)對(duì)齊技術(shù)，并結(jié)合技術(shù)被濫用的潛在風(fēng)險(xiǎn)與真實(shí)案例，論證人們對(duì)“完全對(duì)齊模型”的持續(xù)追求，反而在無(wú)意間為惡意主體打造出性能不斷升級(jí)的信息主導(dǎo)工具。

▲各類(lèi)對(duì)齊技術(shù)的特性及其被濫用的潛在風(fēng)險(xiǎn)

當(dāng)下AI正快速普及、成為大眾核心信息來(lái)源，加之全球政治環(huán)境日趨威權(quán)化，進(jìn)一步放大了該技術(shù)濫用風(fēng)險(xiǎn)，因此學(xué)界亟需即刻研討其兩用屬性帶來(lái)的隱患。

研究人員呼吁整個(gè)AI領(lǐng)域重視安全機(jī)制被蓄意濫用的問(wèn)題，并提出針對(duì)性緩釋方案，防范此類(lèi)兩用技術(shù)遭到不當(dāng)利用。

三、8位谷歌DeepMind資深研究員下場(chǎng)，獲得時(shí)間檢驗(yàn)獎(jiǎng)

獲得時(shí)間檢驗(yàn)獎(jiǎng)（Test of Time Award）的是《深度強(qiáng)化學(xué)習(xí)的異步方法（Asynchronous Methods for Deep Reinforcement Learning）》。

作者均為谷歌DeepMind資深研究人員。ICML的評(píng)語(yǔ)中提到，該論文開(kāi)創(chuàng)性提出了異步強(qiáng)化學(xué)習(xí)（RL）概念，并行Actor學(xué)習(xí)器能夠穩(wěn)定學(xué)習(xí)過(guò)程的觀察，啟發(fā)了眾多后續(xù)研究。

其中，David Silver領(lǐng)導(dǎo)谷歌DeepMind的強(qiáng)化學(xué)習(xí)研究小組，是AlphaGo、AlphaZero的首席研究員和AlphaStar的共同負(fù)責(zé)人；Koray Kavukcuoglu是谷歌DeepMind CTO和谷歌首席AI架構(gòu)師。

研究人員提出一套原理簡(jiǎn)潔、輕量的深度強(qiáng)化學(xué)習(xí)框架，該框架采用異步梯度下降優(yōu)化深度神經(jīng)網(wǎng)絡(luò)控制器。

研究人員基于四種經(jīng)典強(qiáng)化學(xué)習(xí)算法分別設(shè)計(jì)了異步改進(jìn)版本，并驗(yàn)證并行執(zhí)行的智能體-學(xué)習(xí)器結(jié)構(gòu)能夠穩(wěn)定訓(xùn)練過(guò)程，讓上述四種算法均可有效完成神經(jīng)網(wǎng)絡(luò)控制器的訓(xùn)練。

其中性能最優(yōu)的異步演員-評(píng)論家算法，僅依靠單核多線程CPU、無(wú)需GPU，訓(xùn)練耗時(shí)減半，在Atari游戲測(cè)試集上的效果超越了當(dāng)時(shí)的最優(yōu)基準(zhǔn)模型。

▲5款A(yù)tari 2600游戲下，DQN算法與新型異步算法的訓(xùn)練速度對(duì)比

除此之外，該異步演員-評(píng)論家算法不僅能解決各類(lèi)連續(xù)運(yùn)動(dòng)控制任務(wù)，還可基于視覺(jué)輸入完成全新的隨機(jī)三維迷宮導(dǎo)航任務(wù)。

結(jié)語(yǔ)：清華摘頂會(huì)獎(jiǎng)項(xiàng)，擴(kuò)散語(yǔ)言模型站上風(fēng)口

國(guó)際機(jī)器學(xué)習(xí)頂會(huì)ICML作為全球AI領(lǐng)域含金量頂尖的學(xué)術(shù)盛會(huì)，此次清華團(tuán)隊(duì)拿下重磅獎(jiǎng)項(xiàng)，直觀印證國(guó)內(nèi)頂尖科研團(tuán)隊(duì)在機(jī)器學(xué)習(xí)核心賽道的科研硬實(shí)力提升。

與此同時(shí)，本屆ICML同步有兩篇聚焦擴(kuò)散模型的論文獲評(píng)重磅獎(jiǎng)項(xiàng)，也說(shuō)明擴(kuò)散語(yǔ)言模型成為大模型重要演進(jìn)方向，或成為未來(lái)產(chǎn)業(yè)界的核心技術(shù)路線。