ICML 2026｜十篇 Spotlight 論文，效率、智能與邊界的十次突圍

從硬件底層到認知頂層，AI的邊界正在被改寫。

作者丨陳淑瑜

編輯丨岑 峰

7月8日，機器學習領域最具影響力的頂級學術會議ICML 2026進入正會第二天。本次大會共接收6352篇論文，其中Spotlight論文536篇（占投稿總數的 2.2%），Oral 論文168篇 （僅占投稿總數的 0.7 %）。

在投稿量較去年翻倍、評審標準經歷深刻“重新校準”的背景下，這些脫穎而出的論文無疑是本屆會議最值得關注的學術精華。

雷峰網已派出報道小組赴首爾COEX會展中心參會。在會議現場，我們從Poster展區的數千張學術海報中精選出最具代表性的研究成果，以“一張圖+一段解讀”的方式呈現給未能親臨現場的讀者。

本期精選Poster Session 4 的十篇Spotlight論文，覆蓋高效卷積算子、離散擴散模型、低精度訓練、偏好優化理論、MoE路由、大模型魯棒性、黑盒優化、3D點云補全、腦機接口和機器人記憶評估等多方面。

如果你也想讓你的研究成果出現在這里，請與我們聯系：

01

大核卷積的“反常識”突破——窗口越大，速度越快

WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution

大核深度卷積在計算機視覺任務中表現優異，但一直面臨一個效率困局：核尺寸越大，基于gather操作的不規則內存訪問就越是拖累計算速度。現有的Large Kernel Acceleration（LKA）技術雖然在小特征圖上能幫上忙，到了大特征圖上反而適得其反，比不加速還慢。這就造成了一個尷尬的矛盾：模型需要更大的感受野來提升精度，但現有算子根本無法高效支持。

WBMM（Windowed Batch Matrix Multiplication）從根本上改變了游戲規則。它將輸入劃分為連續窗口，通過索引一個緊湊的相對位置偏置表來構建權重矩陣，再用批量矩陣乘法實現規則化的內存訪問。這一轉變帶來一個反直覺的特性：WBMM的吞吐量隨窗口增大而提升。這與深度卷積“窗口越大越慢”的退化規律截然相反。

算子級基準測試給出了硬核數據：使用14×14窗口的WBMM，在速度上超越5×5深度卷積基線，同時提供了7.8倍的單層感受野。配合跨窗口通信和分層窗口重參數化，WBMM在ImageNet-1K、COCO和ADE20K上以1.31-1.88倍訓練加速實現了相當或更高的精度，且在GPU、CPU和邊緣設備上均表現出跨硬件的一致性優勢，無需任何專用加速內核。

論文鏈接：https://arxiv.org/abs/2607.02097

02

離散擴散模型的“左右互搏”——理解與生成兼得

Balancing Understanding and Generation in Discrete Diffusion Models

離散生成建模領域長期被兩種范式割據：Masked Diffusion Language Models（MDLM）擅長語義理解和零樣本泛化，但在少步生成質量上捉襟見肘；Uniform-noise Diffusion Language Models（UDLM）恰好相反，少步生成強勁，理解能力卻差強人意。魚與熊掌，從未兼得。

XDLM通過一個巧妙的靜態噪聲核（stationary noise kernel）架起了兩座孤島之間的橋梁。作者首先從理論層面證明，MDLM和UDLM均可視為該框架的特例，這是一種原則性的統一，而非簡單的工程縫合。在此基礎上，通過對后驗概率的代數簡化，XDLM有效緩解了離散擴散模型的內存瓶頸。

實驗結果是全方位的：零樣本文本基準上比UDLM高出5.4分；少步圖像生成FID從MDLM的80.8降至54.1；在8B參數大語言模型上僅用32步即達到15.0 MBPP，將基線性能翻倍。更關鍵的是，訓練動態分析表明XDLM在長期擴展方面展現出更優潛力。這暗示著它可能是在理解與生成之間實現真正平衡的新起點。

論文鏈接：https://arxiv.org/abs/2602.01362

03

把大模型訓練壓進4-bit——振蕩抑制與異常值控制的雙重突破

TetraJet-v2: Accurate NVFP4 Training for LLMs with Oscillation Suppression and Outlier Control

大語言模型的訓練成本正在成為制約AI研究普及的隱形天花板。4-bit全量化訓練（FQT）若能實現近乎無損的精度，將帶來革命性的效率提升。NVFP4格式已經在硬件層面提供了這種可能，但實際訓練中兩個技術魔鬼始終陰魂不散：權重振蕩和異常值。

TetraJet-v2給出了系統性的回答。它首先提出無偏雙塊量化方法，在NVFP4線性層中實現近乎最優的收斂性。針對權重振蕩這一此前未被充分重視的瓶頸，OsciReset首次有效抑制了這一現象。而OutControl則以混合精度策略專門守衛異常值的精度，防止信息在4-bit表示中丟失。三者合璧，在所有線性層的激活、權重和梯度上均采用NVFP4，實現了端到端的4-bit全量化訓練。

在370M參數、212B訓練token的規模上，TetraJet-v2將FP4與BF16之間的性能差距平均縮小了51.3%，同時相比FP8實現了1.67倍的端到端加速。這意味著在保持接近全精度性能的前提下，訓練成本可以大幅壓縮——對中小型團隊和研究機構而言，這可能是通往大模型時代的“入場券”。

論文鏈接：https://arxiv.org/abs/2510.27527

04

DPO的等價性是一句“謊言”？——當偏好優化走向病態收斂

Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment

DPO（Direct Preference Optimization）因聲稱與RLHF理論等價且實現更簡潔，已經成為對齊訓練的主流選擇。但這篇論文給出了一個令人警醒的答案：這種等價性是有條件的，而非普遍成立的。等價性依賴于一個隱含假設，RLHF最優策略必須偏好人類偏好的響應，而這一假設在實踐中經常被違反。

當假設失效時，DPO出現了一種“病態收斂”：策略在降低DPO損失的同時，卻越來越偏好人類不偏好的響應。換言之，損失在下降，行為在惡化。作者從理論上證明，此時DPO和RLHF實際上優化的是根本不同的目標函數，DPO追逐的是相對于參考策略的優勢，而非與人類偏好的絕對對齊。論文還通過soft margin ranking給出了直觀的幾何解釋：DPO實現的是一種可能帶有負目標的margin ranking。

治療“病態收斂”的藥方是CPO（Constrained Preference Optimization）：通過為RLHF添加約束來實現可證明的對齊保證，同時保持實現簡潔性。在標準基準測試上，CPO達到了當前最優性能。這項工作的最大貢獻或許不在于提出了新方法，而在于它迫使整個社區重新審視一個曾被廣泛視為“已解決”的基礎問題。

論文鏈接：https://arxiv.org/abs/2605.20834

05

給MoE路由器“退個休”——用特征向量實現零訓練的專家路由

Eigenvectors of Experts are Training-free Non-collapsing Routers

稀疏專家混合（SMoE）架構在提升大模型訓練效率方面功不可沒，但專家坍縮（expert collapse）始終是其揮之不去的痛點。現有方案幾乎全在“改進路由器”上做文章，不僅需要從頭訓練或微調，計算成本高昂，而且作者通過理論和實證證明：即便如此，在推進已充分預訓練的SMoE模型時，坍縮問題依然存在。

這篇論文的洞察簡單而優雅：專家權重矩陣的特征向量本身就編碼了豐富的語義信息，為什么還要訓練一個額外的路由器？基于此，作者提出SSMoE（Singular Value Decomposition SMoE），一個完全無需訓練的框架——它直接利用專家權重矩陣的譜屬性（特征向量/奇異值分解）來決定路由。不需微調，不需額外參數，不需計算開銷。

在多樣化的語言和視覺任務上，無論是干凈數據還是損壞數據，SSMoE都展現出強大的泛化能力和魯棒性。這項工作的意義遠超SMoE本身：它揭示了一個更深層的道理——模型內部結構所攜帶的信息，可能比我們重新訓練一個組件來“學習”這些信息要有效得多。

論文鏈接：https://arxiv.org/abs/2605.30992

06

讓大模型不再“玻璃心”——去偏置微調解鎖非對抗魯棒性

Harnessing Non-Adversarial Robustness in Large Language Models

大語言模型有一個鮮為人知的“玻璃心”特性：僅僅是換一種說法、調整一下措辭，語義完全不變，就可能導致模型輸出天差地別。這種非對抗性提示詞變體帶來的性能波動，在真實應用中遠比精心構造的對抗攻擊更為常見，也更難防范。問題在于：能否在不重新訓練整個模型的前提下，賦予LLM面對這類自然擾動時的魯棒性？

答案藏在系統性偏置之中。作者通過理論分析揭示，影響模型魯棒性的關鍵因素是神經網絡模塊輸出中的擾動誘導偏置。基于這一洞察，他們提出了一種極簡的去偏置微調方法：專門針對這一偏置進行校正，無需全量重訓練，僅需輕量級微調即可顯著提升魯棒性。

更有價值的是，作者明確識別了去偏置方法的有效邊界，避免了“萬能藥”式的過度承諾。同時，該方法還能為隨機提示擾動提供形式化的魯棒性認證，從“經驗有效”躍升到“可證明可靠”。這一理論驅動的高效方案，為大模型在真實世界中的穩定部署提供了新的保障。

論文鏈接：https://arxiv.org/abs/2605.29816

07

擴散語言模型跨界黑盒優化——1.5個GPU小時登頂Design-Bench

Training Diffusion Language Models for Black-Box Optimization

離線黑盒優化（BBO）是機器人和DNA設計等領域的核心問題：給定一組設計-標簽對，如何發現性能更好的新設計？自回歸大語言模型雖然已被嘗試用于這一任務，但其從左到右的單向生成模式天然無法捕捉設計問題中強烈的雙向依賴關系，就像寫一個配方卻不能回頭修改前面的步驟。

這篇論文首次將擴散語言模型引入BBO，利用其雙向建模能力解決自回歸模型的單向生成局限。但擴散LLM的自然文本預訓練與BBO的異質信號之間存在領域鴻溝，為此作者設計了統一提示-響應語料庫和分隔符標記來顯式標記字段邊界，并提出兩階段后訓練框架：第一階段通過掩碼響應預測進行監督微調，第二階段以標簽改進為獎勵信號進行強化學習優化。

結果令人驚訝：在Design-Bench基準上達到最先進水平，而離散任務僅需1.5個H100 GPU小時即可完成訓練。這個效率在LLM領域幾乎是不可思議的。在小數據場景下，該方法尤其展現出強大優勢，為擴散語言模型在非自然語言領域的應用打開了一扇新的大門。

論文鏈接：https://arxiv.org/abs/2603.17919

08

跨模態連接為什么會“斷”？——高斯軟散點重塑2D-3D橋梁

SplAttN: Bridging 2D and 3D with Gaussian Soft Splatting and Attention for Point Cloud Completion

多模態學習推動了點云補全的進展，但其理論機制長期籠罩在迷霧之中。這篇論文給出了一個振聾發聵的診斷：標準的硬投影（hard projection）非但沒有建立模態之間的連接，反而將它切斷了。當稀疏點云被硬投影到圖像平面時，產生的支撐集極度稀疏，視覺先驗根本無法有效傳播，作者將這一失敗模式命名為“跨模態熵坍縮”（Cross-Modal Entropy Collapse）。

SplAttN的治療方案是將硬投影替換為可微分高斯散點（Differentiable Gaussian Splatting），將投影重新定義為連續密度估計。這一替換看似簡單，卻帶來了三個根本性改善：避免稀疏支撐坍縮、促進梯度順暢流動、提升跨模態連接的可學習性。2D和3D信息不再是名義上的“多模態”，而是真正做到了水乳交融。

在PCN和ShapeNet-55/34上拿下SOTA只是基本操作。真正令人信服的證據來自KITTI真實世界基準上的反事實評估：當移除視覺信息后，基線方法直接退化為單模態模板檢索器。它們根本不在乎圖像還在不在；而SplAttN保持了魯棒的視覺依賴，證明其真正建立了有效的跨模態連接。這不是“看起來像多模態”，而是“確實是多模態”。

論文鏈接：https://arxiv.org/abs/2605.01466

09

腦信號也有了自己的“分詞器”——離散擴散統一七大腦機任務

Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

腦機接口領域長期被“一任務一模型”的思維定式所禁錮：編碼用一套模型，解碼用另一套，不同任務之間老死不相往來。這種專門化的范式不僅限制了模型的通用性，更致命的是完全忽視了任務間可能存在的協同效應。一個既會編碼也會解碼的模型，理論上應該比兩個各自為政的模型更強。

Mind-Omni首次將七個不同的腦信號編碼與解碼任務統一到一個離散擴散框架之下。其核心創新是一個精巧的Brain Tokenizer，將異構、連續的腦信號轉化為標準化的離散令牌，使得大腦信號、視覺、語言三種模態在共享語義空間中實現令牌級的直接交互。在此基礎上，作者還專門策劃了Brain Question Answering（BQA）指令微調數據集，解鎖了神經信號的高級推理能力。

Mind-Omni不僅在多任務統一框架中建立了新的SOTA，更提供了多任務協同效應的有力證據。統一訓練后的模型在某些任務上的表現甚至超越了規模更大的專用模型。這不僅是一個技術突破，更是一個范式信號：神經活動的基礎模型時代，或許已經悄然到來。

論文鏈接：https://arxiv.org/abs/2605.29591

10

機器人也需要“記憶力測試”——首個VLA記憶評估基準出爐

RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies

在長時程機器人操控中，記憶是不可或缺的，計數重復動作、記住被遮擋物體的位置，這些看似“常識”的能力對機器人而言卻是嚴峻考驗。近期視覺-語言-動作（VLA）模型雖已開始引入記憶機制，但一個根本性問題始終無人回答：我們如何系統性地評估和比較不同記憶方案的有效性？

RoboMME首次給出了一套標準化答案。這個大規模基準包含16個操控任務，按照精心設計的分類法覆蓋時間記憶、空間記憶、物體記憶和程序記憶四個維度。研究團隊基于π0.5骨干網絡構建了14種記憶增強VLA變體，系統性地探索了不同記憶表示形式和集成策略的組合空間。

最重要的發現是：記憶表示的有效性高度依賴任務類型，不存在“一刀切”的最優方案。每種設計在不同任務上各擅勝場，也有各自的盲區。這個結論聽起來像“廢話”，但在缺乏標準化評估的背景下，它恰恰擊中了當前VLA研究的一個核心誤區：想用一個通用的記憶模塊解決所有問題。RoboMME的出現，為這個方向的系統性研究鋪平了道路。

論文鏈接：https://arxiv.org/abs/2603.04639

這十篇Spotlight論文每一篇都在各自的領域提出了獨到的洞察與方法，而這些洞察之間暗藏的共鳴與張力。效率與智能的交織、理論與工程的對話、專用與通用的博弈，這或許正是下一輪突破的起點。

雷峰網&AI科技評論將繼續在現場帶來更多ICML 2026的精彩內容，如果你想推薦ICML上的其他論文，歡迎聯系我們進一步交流探討 。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。