![]()
攻克隱變量因果發現、VLA自適應剪枝,看頂會如何打破性能瓶頸。
作者丨陳淑瑜
編輯丨岑峰
7月8日,機器學習領域最具影響力的頂級學術會議ICML 2026進入正會第二天。本次大會共接收6352篇論文,其中Spotlight論文536篇(占投稿總數的 2.2%),Oral 論文168篇 (僅占投稿總數的 0.7 %)。
作為國際頂級的機器學習會議,今年的ICML吸引了數千篇論文投稿,其中Spotlight論文更是百里挑一,代表著當前AI研究的最前沿方向。
雷峰網已派出報道小組赴首爾COEX會展中心參會。在會議現場,我們從Poster展區的數千張學術海報中精選出最具代表性的研究成果,以“一張圖+一段解讀”的方式呈現給未能親臨現場的讀者。
本期精選Poster Session 5 的9篇Spotlight論文,覆蓋高效卷積算子、離散擴散模型、低精度訓練、偏好優化理論、MoE路由、大模型魯棒性、黑盒優化、3D點云補全、腦機接口和機器人記憶評估等多方面。
如果你也想讓你的研究成果出現在這里,請與我們聯系:
01
WestWorld:面向多樣機器人系統的知識編碼軌跡世界模型
WestWorld: A Knowledge-Encoded Scalable Trajectory World Model for Diverse Robotic Systems
論文鏈接:https://arxiv.org/abs/2603.14392
軌跡世界模型在機器人動力學學習、規劃和控制中至關重要,但現有方法難以擴展到大量不同的系統動力學場景,且忽略了機器人物理結構的領域知識。WestWorld提出了一個知識編碼的可擴展軌跡世界模型,通過系統感知混合專家模型(Sys-MoE)動態路由不同機器人系統的專業化專家,并引入結構化嵌入將軌跡表示與形態學信息對齊,從而在可擴展性和零樣本泛化能力上取得突破。
該模型在89個復雜環境上進行了預訓練,覆蓋仿真和真實世界的多種形態學設定。實驗表明,WestWorld在零樣本和少樣本軌跡預測任務上顯著優于競爭基線,并展現出強大的跨環境可擴展性。研究還發現,物理結構知識的引入有效提升了模型的零樣本泛化能力,顯著改善了不同機器人下游基于模型的控制性能。
此外,研究團隊將模型部署在真實的Unitree Go1四足機器人上,驗證了其在實際場景中的穩定運動性能。這一工作為構建通用機器人世界模型提供了新范式,展示了知識驅動與數據驅動融合的巨大潛力。
![]()
02
DS-TS:用物理動力系統求解時間依賴微分方程
Solving Time-Dependent Differential Equations with PhysicalDynamical Systems
論文鏈接:https://openreview.net/forum?id=0YHSZPkMp8
時間依賴微分方程(TDDE)廣泛應用于科學和工程的動態過程建模,但傳統數值求解器面臨延遲與精度的根本矛盾——小步長精度高但速度慢,大步長速度快但軌跡失真。現有的動力系統機(DSM)雖提供了一種連續時間計算的替代方案,但在捕捉時空復雜性方面仍有不足,難以滿足時間敏感應用的需求。
DS-TS提出了一種新型TDDE求解器,集成了三項核心創新:興奮-抑制啟發式耦合建模復雜空間交互,狀態感知動態非線性實現豐富的節點間交互和狀態依賴的時空相關性,層次化時間積分捕捉長距離時間依賴。這些設計使模型能夠充分利用物理動力系統的連續時間計算能力,同時實現高精度和超高效率。
實驗結果令人矚目:DS-TS在保持高保真解的同時,速度提升約1000倍,能效提升約10萬倍。這項工作打破了傳統數值求解器中延遲與精度的權衡,為時間敏感的科學計算應用開辟了全新的物理計算路徑。
![]()
03
From Pixels to Tokens:VLA模型中潛在動作監督的系統性研究
From Pixels to Tokens: A Systematic Study of Latent Action Supervision for Vision-Language-Action Models
論文鏈接:https://arxiv.org/abs/2605.04678
潛在動作(Latent Actions)作為中間表示,能夠在異構數據集上實現視覺-語言-動作(VLA)模型的一致性建模。然而,現有利用潛在動作監督VLA的方法各自為政,缺乏系統性比較,研究者難以明確不同策略的優劣和適用場景,這成為制約VLA訓練效率提升的關鍵瓶頸。
該研究在統一VLA基線框架下,從兩個視角(基于圖像的潛在動作正則化和基于動作的潛在動作統一目標空間)實例化并比較了四種代表性集成策略。實驗揭示了一種"公式-任務對應關系":基于圖像的潛在動作有利于長時域推理和場景級泛化,而基于動作的潛在動作在復雜運動協調方面表現優異。
更重要的是,研究發現直接用離散潛在動作Token監督視覺語言模型能取得最優性能,并初步驗證了潛在動作監督在混合數據場景下的優勢。這項工作為VLA訓練策略的選擇提供了清晰的實證指南,強調了"沒有一種萬能策略"——任務特性決定了最優的潛在動作表示方式。
![]()
04
Poisson分支結構因果模型的可識別性研究
On the Identifiability of Poisson Branching Structural Causal Model Using Probability Generating Function
論文鏈接:
https://proceedings.neurips.cc/paper_files/paper/2024/hash/15aaa9224a35527d76188b4d40e02308-Abstract-Conference.html
從觀測數據中進行因果發現是科學和工業場景中的核心問題,尤其針對計數數據。現有方法大多使用貝葉斯網絡建模計數數據,但忽視了常見的分支結構,例如一個瀏覽事件可能觸發添加購物車或購買事件。此外,基于累積量的因果發現方法雖然理論上可靠,卻存在可識別性缺口,部分因果方向無法被識別。
該研究采用概率生成函數(PGF)來探索Poisson分支結構因果模型(PB-SCM)的可識別性,使用二項細化算子建模分支結構,開發了PB-SCM概率生成函數的緊湊且精確的閉式解。研究證明閉式解中每個組件唯一編碼了特定局部結構,這意味著可以通過測試PGF中相應組件的出現來識別局部因果結構。
基于這一理論突破,研究團隊提出了一種實用的因果骨架學習和因果方向識別算法,并在合成和真實數據集上驗證了有效性。這一工作填補了計數數據因果發現的理論空白,為生物學、經濟學和網絡運維等領域的因果分析提供了新工具。
![]()
05
EcoVLA:面向VLA模型的環境感知自適應剪枝
EcoVLA:Environment-Aware Adaptive Pruning with Interleaved Inference Orchestration for Vision-Language-Action Models
論文鏈接:https://arxiv.org/abs/2602.00780
視覺-語言-動作(VLA)模型在具身智能領域潛力巨大,但龐大的參數量導致推理延遲顯著,阻礙實時操控。更棘手的是,VLA執行過程中環境不斷變化,最優稀疏模式也隨之改變,靜態剪枝缺乏對環境動態的適應性,而固定間隔的動態層剪枝粒度粗且再訓練開銷大。
EcoVLA提出了一個無需訓練、即插即用的自適應剪枝框架,包含兩個核心組件:環境感知自適應剪枝(EAP)引入物理環境的時間一致性來動態更新稀疏模式;交錯推理編排(I2O)則利用VLA推理中的計算氣泡實現并行剪枝調度,確保對延遲的影響可忽略不計。該框架可與現有VLA加速方法正交組合,具有良好的通用性。
實驗表明,EcoVLA單獨使用時達到1.60倍加速,成功率僅下降0.4%;與token剪枝結合時達到2.18倍加速,性能僅下降0.5%。該方法在真實機器人上也得到了驗證,為VLA模型的實時部署提供了實用方案。
![]()
06
NASH:讓Data Shapley重新有效的數據選擇框架
Is Data Shapley Not Better than Random in Data Selection? Ask NASH
論文鏈接:https://arxiv.org/abs/2605.10684
Data Shapley被一些研究主張用于選擇高質量訓練數據子集,因為它能捕捉數據子集之間的交互關系。然而,另一些工作指出Data Shapley在實踐中有時效果不佳,所選子集甚至不如隨機選擇。這一矛盾引發了關鍵問題:是否存在某些"Shapley-informative"的設置,使Data Shapley能夠持續有效?
NASH框架的核心思路是兩步走:首先將目標效用函數(如驗證準確率)分解為更簡單的、Shapley-informative的組件函數,然后通過非線性方式聚合這些組件,構建優化目標來選擇數據。這種"分解+非線性聚合"的組合策略,顯著提升了基于Shapley值的數據選擇方法的有效性。
實驗表明,NASH在幾乎不增加額外運行時間成本的前提下,大幅提升了數據選擇的性能,讓Shapley類方法重新變得有效且高效。這一工作為數據估值與選擇領域提供了重要的理論和實踐貢獻。
![]()
07
Rapid Poison:針對快速響應框架的實際投毒攻擊
Rapid Poison:Practical Poisoning Attacks Against the Rapid Response Framework
論文鏈接:https://arxiv.org/abs/2606.16242
Rapid Response(RR)框架已部署于生產系統(包括Anthropic的ASL-3安全防護),通過持續改進越獄檢測分類器來防御新型攻擊。然而,該研究揭示了RR框架訓練管道存在安全漏洞,提示注入可以滲透該流程,將有毒樣本送入分類器的訓練集。
在嚴格的威脅模型下(攻擊者只能修改越獄樣本,不能修改良性數據或標簽),研究實現了兩個攻擊目標:定向投毒攻擊在無害樣本上制造假陽性,基于概念的后門攻擊在越獄輸入上誘導假陰性。團隊還提出了Omission Attack,利用分類器在概念缺失的不安全樣本上訓練時產生的錯誤關聯現象,使后門攻擊對防御方已明確訓練防御的攻擊策略也有效。
實驗顯示,僅1%的投毒率即可使假陽性率最高達100%、假陰性率最高達96%,部分情況下甚至實現近乎完全的標簽翻轉。這一發現對已部署的生產級安全系統具有現實警示意義,凸顯了AI安全框架本身也需要被安全審視。
![]()
08
HelioX:面向生物物理細節網絡的GPU原生框架
Heliox: A GPU-Native Framework for Simulation and Training of Biophysically Detailed Networks
論文鏈接:https://openreview.net/forum?id=XjTRtfxK9g
生物物理細節神經元攜帶著豐富的時空計算能力,這些是點神經元抽象無法直接捕捉的。但其不規則的樹突拓撲結構與密集的深度學習運行時嚴重不匹配,導致難以在現有框架中高效訓練和模擬。傳統深度學習框架為密集ANN執行路徑設計,強行將生物模型塞入這些框架效率低下。
HelioX是一個GPU原生框架,通過定制融合CUDA內核為樹突層級調度和梯度傳播專門設計,解析梯度傳播實現端到端的從模擬狀態更新到參數優化的閉環,多流并發提升GPU執行效率。與以往將生物模型適配深度學習工具的路線不同,HelioX將高性能模擬與可擴展訓練統一在同一運行時中。
在消費級GPU上,HelioX實現了深度生物物理MLP訓練和生物體尺度的線蟲(C. elegans)模型擬合,在數值和學習基準測試中均取得了顯著的速度和內存效率提升。這一工作降低了生物物理模型用于可訓練AI系統的工程和硬件門檻,使詳細神經元研究在計算神經科學和腦啟發學習領域更加實用可行。
![]()
09
DiCoLa:隱變量場景下的遞歸分解因果結構學習
A Recursive Decomposition Framework for Causal Structure Learning in the Presence of Latent Variables
論文鏈接:https://arxiv.org/abs/2605.10651
基于約束的因果發現在高維場景下計算代價極高,原因在于其對條件獨立性檢驗的嚴重依賴。已有"分而治之"框架雖能緩解此問題,但大多數方法都假設因果充分性,即不存在隱變量,這嚴重限制了它們在實際場景中的應用。
DiCoLa框架將全局因果結構學習遞歸分解為更小的子問題,對每個子問題獨立進行因果發現,然后通過有理論保證的重構步驟將子問題的解整合為完整的全局因果結構。其關鍵突破在于:理論上證明了分而治之策略可以推廣到存在隱變量的場景,并保證了正確性和完備性。
合成數據和真實數據集的實驗均驗證了該方法在多種因果發現算法上顯著提升了計算效率,首次實現了隱變量場景下的高效分而治之因果發現,為大規模因果結構學習提供了實用且理論完備的解決方案。
![]()
10
結語
從機器人世界模型到物理計算,從因果發現到AI安全,這九篇Spotlight論文展現了ICML 2026的多元面貌。它們或打破既有權衡,或填補理論空白,或揭示安全隱患,共同指向一個趨勢:AI研究正在向更深層的物理建模、更嚴謹的理論基礎和更安全的工程實踐邁進。
雷峰網&AI科技評論將繼續在現場帶來更多ICML 2026的精彩內容,如果你想推薦ICML上的其他論文,歡迎聯系我們進一步交流探討 。
一個人讀論文太孤單,一群人刷頂會才好玩。
ICML 2026召開在即,我們正在召集一波含金量極高的 AI 研究者。群內主打實時論文跟蹤與硬核技術探討,拒絕灌水。
進群傳送門:掃碼進群或添加微信Vin_Vivid,備注:論文群 + 關注的 AI 方向。
![]()
搞科研/搞技術,信息差很重要。
來,一起快人一步!
上車,帶你看遍全球 AI 頂會精華
可獨家暢覽:
專家演講PPT
大會報告全文
熱門論文解讀
學術新星訪談
![]()
未經「AI科技評論」授權,嚴禁以任何方式在網頁、論壇、社區進行轉載!
公眾號轉載請先在「AI科技評論」后臺留言取得授權,轉載時需標注來源并插入本公眾號名片。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.