ICML 2026 巡禮：注意力效率革命的九個切面

從注意力加速到基因組可解釋，一次梳理。

作者丨陸 毅

編輯丨岑 峰

7月7日，機器學習領域最具影響力的頂級學術會議ICML 2026進入正會第一天。本次大會共接收6352篇論文，其中Spotlight論文536篇（占投稿總數的 2.2%），Oral 論文168篇 （僅占投稿總數的 0.7%）。今年的論文再次匯聚了從生成模型到隱私保護、從智能體評估到模型壓縮、從脈沖神經網絡到視覺分詞器的多元前沿探索，在投稿量較去年翻倍、評審標準經歷深刻“重新校準”的背景下，這些脫穎而出的論文無疑是本屆會議最值得關注的學術精華。

雷峰網已派出報道小組赴首爾COEX會展中心參會。在會議現場，我們從Poster展區的數千張學術海報中精選出最具代表性的研究成果，以“一張圖 + 一段解讀”的方式呈現給未能親臨現場的讀者。

這份匯總不僅是一次視覺巡禮，更試圖為你勾勒出本屆ICML的學術重心——從大模型可解釋性到AI for Science，從具身智能到理論硬度的回歸，我們希望這些現場捕捉的瞬間，能幫助你快速感知機器學習前沿正在發生什么。

以下精選首日上午Poster Session 1九篇論文，一文看盡AI研究最值得關注的方向。（如果你也想讓你的研究成果出現在這里，請與我們聯系）：

01

MePo：讓預訓練模型學會"持續學習"

MePo: Meta Post-Refinement for Rehearsal-Free General Continual Learning

智能系統需要從不斷變化的復雜環境中持續學習，這種能力被稱為通用持續學習（GCL）。盡管預訓練模型（PTM）極大推動了傳統持續學習的發展，但在面對單次數據流中多樣且時序混合的信息時，現有方法仍難以有效協調，導致GCL性能欠佳。

研究團隊從神經科學中的元可塑性和重構記憶機制獲得靈感，提出了MePo（Meta Post-Refinement）。該方法首先從預訓練數據中構建偽任務序列，通過雙層元學習范式對預訓練骨干網絡進行"后微調"，相當于一次延長的預訓練過程，使模型具備對下游GCL任務的快速適配能力。此外，MePo還初始化了一個元協方差矩陣作為預訓練表示空間的參考幾何，利用二階統計量實現魯棒的輸出對齊。

作為一種即插即用的策略，MePo在無需重放數據的條件下，在CIFAR-100、ImageNet-R和CUB-200等基準上分別取得了15.10%、13.36%和12.56%的顯著提升，展現出跨多種預訓練檢查點的強大泛化能力。

論文鏈接：https://arxiv.org/abs/2602.07940

02

Hamiltonian Asymmetric Fusion：

模態不平衡下的"單向安全"融合

Hamiltonian Asymmetric Fusion: One-Way Safe Directed Refinement under Modality Imbalance

多模態融合通常采用對稱的token交互方式，隱式地允許信息雙向流動。然而，當輔助模態的噪聲遠大于主模態時（即"模態不平衡"場景），這種對稱性會創造一條"回流通道"，將輔助噪聲反向注入主表示，并在迭代精煉階段不斷放大誤差。

研究團隊將這一場景下的融合問題形式化為"具有單向安全性的定向精煉"：主模態定義引導場，僅對輔助表示進行迭代凈化，同時嚴格限制輔助流對主模態的擾動。基于這一思路，他們提出了哈密頓非對稱融合（HAF）——一種輕量級的展開式精煉模塊。HAF通過動量正則化和門控驅動更新輔助token，精煉力由基于FFT的頻譜全局相關性實例化，并以可學習的頻譜響應選擇性強調可靠頻率分量；泄漏動量門和穩定積分器則保障了多步精煉的穩定性。

在理論層面，HAF提供了輔助誤差收縮和主模態擾動有界的數學保證，而對稱融合算子在模態不平衡條件下無法滿足這些性質。在六個RGB-D顯著目標檢測基準上，HAF在受控輔助損壞條件下展現出持續的性能提升和顯著更優的退化表現。

論文鏈接：https://icml.cc/virtual/2026/poster/64876

03

FlashBlock：讓塊擴散模型的注意力"學會復用"

FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion

生成分鐘級視頻和長文本等長篇內容，對現代生成模型越來越重要。塊擴散（Block Diffusion）通過KV緩存和逐塊因果推斷提升推理效率，已被廣泛應用于擴散語言模型和視頻生成。但在長上下文場景下，反復計算對不斷增長的KV緩存的注意力仍帶來大量開銷。

研究團隊發現了一個此前未被充分探索的塊擴散特性：跨步驟注意力冗余。分析表明，當前塊外部token的注意力輸出在擴散步驟間高度穩定，而塊內注意力則變化顯著。基于這一觀察，他們提出了FlashBlock——一種緩存塊外部注意力機制，通過復用穩定的注意力輸出，大幅減少注意力計算和KV緩存訪問，且不修改擴散過程本身。

值得注意的是，FlashBlock與稀疏注意力方法正交，可作為互補的殘差復用策略組合使用，在激進稀疏化下顯著提升模型準確率。實驗顯示，該方法在擴散語言模型和視頻生成中實現了最高1.44倍的token吞吐量提升和1.6倍的注意力時間減少，且對生成質量幾乎沒有影響。

論文鏈接：https://openreview.net/forum?id=4jfuNNghPS

04

Stem：從信息流視角重新審視

因果稀疏注意力

Stem: Rethinking Causal Information Flow in Sparse Attention

自注意力機制的平方復雜度仍是將大語言模型擴展到長上下文的根本瓶頸，尤其在預填充階段。現有稀疏方法通常在每層中對所有token位置應用統一的top-k選擇，但這一策略忽略了因果架構中固有的token信息累積依賴性——由于因果約束，初始位置的token參與了每個后續token的聚合，它們的信息重要性是逐步累積的。

基于這一分析，研究團隊提出了Stem，一種與信息流對齊的即插即用稀疏注意力模塊。Stem包含兩個核心設計：Token Position-Decay策略在每層中應用位置相關的top-k選擇，為初始token保留更多注意力預算以維持遞歸依賴；Output-Aware Metric則基于近似輸出量級優先選擇高影響力token，確保信息豐富的token不被遺漏。

大量評估表明，Stem在減少計算量和預填充延遲的同時實現了更優的準確率，為長上下文場景下的高效注意力提供了新思路。

論文鏈接：https://arxiv.org/abs/2603.06274

05

PBS-Attn：通過Token置換

實現更稀疏的塊稀疏注意力

Sparser Block-Sparse Attention via Token Permutation

擴展大語言模型的上下文長度帶來顯著收益，但自注意力的O(N2)復雜度對內存和延遲都是重大瓶頸。塊稀疏注意力將序列分塊并跳過部分塊的計算，是一種有前景的解決方案。然而，其有效性高度依賴底層的注意力模式——當單個塊內查詢所需的重要key token分散在眾多其他塊中時，塊級稀疏效果大打折扣，產生大量計算冗余。

研究團隊注意到注意力機制具有置換不變性，據此提出了置換塊稀疏注意力（PBS-Attn）。該方法首先按"全局重要性"對段內的key進行重排，將散落各處的重要token聚攏成連續的高密度塊，再進行塊稀疏計算，從而大幅提升塊級稀疏率。配合自研的置換FlashAttention內核，PBS-Attn在保持精度近乎追平全注意力基線的同時，實現了端到端最高2.75倍的長上下文預填充加速。

該方法即插即用，在多個真實長上下文數據集上持續優于現有塊稀疏注意力方法，證明了置換策略在注意力效率優化中的實用價值。

論文鏈接：https://arxiv.org/abs/2510.21270

06

TabSwift：輕量級表格基礎模型的效率之道

TabSwift: An Efficient Tabular Foundation Modelwith Row-Wise Attention

表格基礎模型（如TabPFN）通過上下文學習實現預測——直接從標注訓練樣本推斷測試標簽，在中小規模數據集上表現出色。然而，近期的表格基礎模型為提升精度不斷堆疊復雜架構，推理成本隨之攀升，限制了實際部署。

研究團隊重新審視了TabPFN的原始設計，發現僅靠輕量級的行級注意力骨干網絡，配合兩項簡單增強，就能保持高度競爭力。第一項是門控注意力穩定機制，用于穩定訓練過程；第二項是少量可學習的注冊token，提供全局上下文信息并提升預訓練質量。最終模型TabSwift同時支持分類和回歸任務，在精度上與TabPFN v2、TabICL等更強的表格基礎模型相當，但推理效率更高。

此外，針對延遲敏感的部署場景，TabSwift還引入了自適應逐層早退機制，根據樣本難度動態調整推理深度，實現高效的"隨時"表格上下文學習。

論文鏈接：https://arxiv.org/abs/2606.07345

07

基因組模型的可解釋性：不能只看"成功案例"

Position: Genomic Model Research Must Move Beyond Evaluation of Interpretability Methods

機器學習已充分釋放了人類基因組的預測潛力，但生物學家現在要求模型不僅能預測，還要能揭示背后的生物學機制。盡管可解釋機器學習（IML）技術被越來越多地用于彌合這一鴻溝，但研究界普遍存在對"軼事式驗證"的依賴——絕大多數研究僅使用單一IML方法，且只報告孤立的成功案例。

通過對轉錄因子結合的基準測試，研究團隊揭示了現有實踐的三大風險：不同IML方法常對同一預測給出矛盾解釋；無法準確定位已知的調控motif；且不能忠實反映模型的內部決策過程。作者主張建立一個類似臨床試驗的嚴格驗證框架——正如臨床試驗需要嚴謹的設計和不良事件報告，基因組可解釋性也必須超越"挑選性合理"的驗證方式，走向對一致性、忠實度和生物學有效性的系統評估。

為此，該論文提出了一個分層框架，用于指導基因組IML方法的嚴格評估與報告，呼吁整個研究社區從個案式驗證轉向系統化評估。

論文鏈接：https://arxiv.org/abs/2606.07607

08

EchoAttention：讓長視頻生成的注意力"學會回聲"

EchoAttention: Exploiting Token-Pair Redundancy and Frame-Block Similarity for Efficient Video Generation

基于擴散Transformer（DiT）的視頻生成模型發展迅猛，但長視頻推理的計算瓶頸始終制約其實用化——3D全注意力的二次方復雜度可占據整體推理算力的60%至82%。現有稀疏注意力方法通過剪枝query-key對來緩解瓶頸，但其效果受限于大量"非稀疏注意力頭"——這些頭無法被有效稀疏化，導致純稀疏方法存在難以逾越的速度-質量天花板。

研究團隊發現了視頻DiT中一個此前被忽視的規律——幀塊相似性：注意力權重矩陣中同一塊行（或塊列）內的各幀塊分布高度相似，差異可由輕量對角線性標定精確刻畫。基于此，他們提出了EchoAttention雙算子框架：Sparse算子利用token對冗余處理高稀疏頭，Echo算子利用幀塊相似性處理非稀疏頭，計算復雜度從O(n2?2)降至O(n?2)。通過三階段蒸餾學習的細粒度路由策略，模型在去噪時間步、層和頭三個維度自動選擇最優算子。

在公開視頻DiT上，EchoAttention相較于SOTA稀疏注意力基線持續改善速度-質量前沿，端到端延遲最多降低2.42倍，且生成質量與全注意力持平。

論文鏈接：https://openreview.net/forum?id=vZZUCDcjSx

09

混合注意力的表達力層級：

首次給出理論證明

A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention

為緩解標準全注意力的二次復雜度，線性注意力、混合注意力等多種高效注意力機制被相繼提出。然而，一個基本問題始終懸而未決：這些高效注意力相對于全注意力的表達力差異，缺乏嚴格的理論刻畫。

研究團隊從理論上回答了這一問題。他們聚焦于"序列函數復合"這一必須在模型前向傳播中完成的多步推理任務，建立了一個表達力層級：L+1層全注意力網絡即可求解該任務，而任何交替使用L-1層全注意力與遠更多（2^(3L2)層）線性注意力層的混合網絡都無法求解。這一結論適用于所有可表述為遞歸的線性注意力變體，包括Mamba、DeltaNet等。

這是混合注意力與標準全注意力之間首次被證明的表達力分離，為理解不同注意力機制的根本能力與局限提供了理論視角。

論文鏈接：https://arxiv.org/abs/2602.01763

10

結語

以上9篇論文涵蓋了注意力效率優化、持續學習、多模態融合、表格建模和基因組可解釋性等多個方向，從不同維度折射出當前AI研究的前沿趨勢。如有遺漏或感興趣的論文，歡迎聯系我們進一步交流。

一個人讀論文太孤單，一群人刷頂會才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討，拒絕灌水。

進群傳送門：掃碼進群或添加微信Vin_Vivid，備注：論文群 + 關注的 AI 方向。

搞科研/搞技術，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會精華

可獨家暢覽：

專家演講PPT

大會報告全文

熱門論文解讀

學術新星訪談

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。