ICML 2026現(xiàn)場(chǎng)：8篇論文，從LoRA收斂到VLM「說而不看」

從理論到評(píng)測(cè)，帶你快速把握前沿脈絡(luò)。

作者丨陸 毅

編輯丨岑 峰

7月8日，機(jī)器學(xué)習(xí)領(lǐng)域最具影響力的頂級(jí)學(xué)術(shù)會(huì)議ICML 2026進(jìn)入正會(huì)第二天。本次大會(huì)共接收6352篇論文，其中Spotlight論文536篇（占投稿總數(shù)的 2.2%），Oral 論文168篇 （僅占投稿總數(shù)的 0.7 %）。

作為機(jī)器學(xué)習(xí)領(lǐng)域最頂級(jí)的學(xué)術(shù)會(huì)議之一，ICML 今年的 Spotlight 論文涵蓋了從圖像美學(xué)評(píng)估到無線電信號(hào)理解、從3D生成到Agent優(yōu)化等多個(gè)前沿方向。

雷峰網(wǎng)與 AI 科技評(píng)論記者在現(xiàn)場(chǎng)為大家?guī)硪痪€報(bào)道，從 536 篇 Spotlight 論文中精選 8 篇代表作，涵蓋優(yōu)化理論、智能體評(píng)測(cè)、強(qiáng)化學(xué)習(xí)、多模態(tài)理解、數(shù)據(jù)選擇、長(zhǎng)上下文推理與數(shù)學(xué)評(píng)估等方向，帶你一文速覽機(jī)器學(xué)習(xí)最前沿的研究風(fēng)向。（如果你也想讓你的研究成果出現(xiàn)在這里，請(qǐng)與我們聯(lián)系）

01

無參數(shù)在線保序預(yù)測(cè)新框架

Online Conformal Prediction via Universal Portfolio Algorithms

在線保序預(yù)測(cè)（Online Conformal Prediction, OCP）是機(jī)器學(xué)習(xí)領(lǐng)域一個(gè)經(jīng)典問題——如何在保證預(yù)測(cè)區(qū)間長(zhǎng)期覆蓋率的同時(shí)，生成信息量最大的預(yù)測(cè)區(qū)間。然而，現(xiàn)有方法在學(xué)習(xí)率調(diào)節(jié)和特定算法分析上存在明顯局限，往往需要手動(dòng)調(diào)參且適用范圍有限。研究團(tuán)隊(duì)通過對(duì)線性化遺憾的理論分析，發(fā)現(xiàn)其控制機(jī)制直接影響預(yù)測(cè)區(qū)間的覆蓋率，這為方法的通用性和理論基礎(chǔ)提供了關(guān)鍵支撐。

基于這一發(fā)現(xiàn)，研究團(tuán)隊(duì)提出了UP-OCP 框架，巧妙地將預(yù)測(cè)問題轉(zhuǎn)化為兩資產(chǎn)組合選擇問題，借助普適投資組合算法實(shí)現(xiàn)無參數(shù)的在線保序預(yù)測(cè)。這一設(shè)計(jì)擺脫了對(duì)人工調(diào)參的依賴，讓方法具備更廣泛的適用性。在多個(gè)實(shí)驗(yàn)驗(yàn)證中，UP-OCP 在區(qū)間大小與覆蓋率的權(quán)衡上均優(yōu)于現(xiàn)有基準(zhǔn)方法，展現(xiàn)出卓越的泛化能力。

該研究的核心貢獻(xiàn)在于發(fā)展了一套通用的覆蓋率理論，首次提出了無需手動(dòng)參數(shù)調(diào)節(jié)的在線保序預(yù)測(cè)方法，并通過實(shí)驗(yàn)充分驗(yàn)證了其廣泛適用性和優(yōu)越性能，為在線學(xué)習(xí)領(lǐng)域的預(yù)測(cè)置信度研究開辟了新的路徑。

論文鏈接：https://arxiv.org/abs/2602.03168

02

移動(dòng)端 GUI 智能體的"真實(shí)考場(chǎng)"

VenusBench-Mobile: A Challenging and User-Centric Benchmark for Mobile GUI Agents with Capability Diagnostics

移動(dòng) GUI 智能體近年來發(fā)展迅速，但現(xiàn)有基準(zhǔn)測(cè)試過于以應(yīng)用為中心且任務(wù)單一，無法反映真實(shí)移動(dòng)設(shè)備使用場(chǎng)景的多樣性與不穩(wěn)定性。研究團(tuán)隊(duì)敏銳地觀察到，當(dāng)前智能體在真實(shí)環(huán)境中的感知與記憶能力存在顯著缺陷，且對(duì)環(huán)境變化極度脆弱，而現(xiàn)有基準(zhǔn)恰恰掩蓋了這些關(guān)鍵不足。

為此，團(tuán)隊(duì)構(gòu)建了VenusBench-Mobile——一個(gè)更具挑戰(zhàn)性且以用戶為中心的評(píng)測(cè)基準(zhǔn)。該基準(zhǔn)以用戶意圖為驅(qū)動(dòng)進(jìn)行任務(wù)設(shè)計(jì)，建立了基于能力的標(biāo)注體系，并通過細(xì)粒度行為分析全面評(píng)估智能體性能。大量實(shí)驗(yàn)表明，現(xiàn)有最先進(jìn)的智能體在 VenusBench-Mobile 上性能顯著落后于傳統(tǒng)基準(zhǔn)，揭示了更真實(shí)但復(fù)雜的任務(wù)及評(píng)估方法帶來的全新挑戰(zhàn)。

VenusBench-Mobile 為移動(dòng) GUI 智能體的魯棒性和真實(shí)環(huán)境適應(yīng)能力評(píng)估提供了重要基準(zhǔn)，為其可靠的實(shí)際部署鋪平了道路，也為智能體研究社區(qū)指明了從實(shí)驗(yàn)室走向真實(shí)世界的方向。

論文鏈接：https://arxiv.org/abs/2604.06182

03

連續(xù)場(chǎng)的主動(dòng)感知重建

LASER: Learning Active Sensing for Continuum Field Reconstruction

在稀疏和受限的傳感條件下，實(shí)現(xiàn)連續(xù)物理場(chǎng)的高保真測(cè)量對(duì)科學(xué)研究與工程設(shè)計(jì)至關(guān)重要。然而，傳統(tǒng)方法通常依賴靜態(tài)或離線優(yōu)化的傳感策略，在面對(duì)復(fù)雜的連續(xù)物理場(chǎng)時(shí)缺乏彈性，難以高效捕捉關(guān)鍵信息，更無法適應(yīng)動(dòng)態(tài)物理狀態(tài)的變化。

研究團(tuán)隊(duì)提出了LASER 框架，將主動(dòng)感知建模為部分可觀測(cè)馬爾科夫決策過程（POMDP），利用連續(xù)場(chǎng)潛在世界模型和強(qiáng)化學(xué)習(xí)策略，在潛在狀態(tài)空間中模擬多種傳感場(chǎng)景以動(dòng)態(tài)調(diào)整傳感器位置。這一閉環(huán)設(shè)計(jì)打破了固定傳感器布局的局限，使系統(tǒng)能夠根據(jù)物理場(chǎng)的實(shí)時(shí)變化自適應(yīng)地優(yōu)化信息采集策略。

通過多個(gè)不同連續(xù)物理場(chǎng)的實(shí)驗(yàn)驗(yàn)證，LASER 在稠密和稀疏條件下均顯著優(yōu)于靜態(tài)和離線優(yōu)化傳感方法，表現(xiàn)出一致的高保真重建能力。該研究提出了首個(gè)將主動(dòng)感知與連續(xù)場(chǎng)重建相結(jié)合的閉環(huán)方法，利用潛在世界模型和強(qiáng)化學(xué)習(xí)的創(chuàng)新策略，實(shí)現(xiàn)了動(dòng)態(tài)、高效的高保真連續(xù)場(chǎng)重建，為科學(xué)觀測(cè)和工程監(jiān)測(cè)領(lǐng)域提供了全新的技術(shù)范式。

論文鏈接：https://arxiv.org/abs/2604.19355

04

LoRA 梯度下降收斂性首次獲證

On the Convergence Rate of LoRA Gradient Descent

LoRA（低秩適配）算法因其在低參數(shù)量條件下高效微調(diào)大模型的能力而備受青睞，但其梯度下降的收斂性因缺乏 Lipschitz 平滑性條件，長(zhǎng)期以來尚未被清晰理解。當(dāng)前理論主要集中于漸近性分析或假設(shè)強(qiáng)界限條件，而 LoRA 算法在真實(shí)使用場(chǎng)景中的行為未得到充分解釋。

為避免強(qiáng)加人工約束，該研究首次對(duì)真實(shí)場(chǎng)景中的 LoRA 梯度下降算法進(jìn)行了非漸近性收斂分析。研究團(tuán)隊(duì)重新表述了適配器矩陣的外積問題，使用修正的下降引理處理類似 Lipschitz 性質(zhì)，并嚴(yán)格控制步長(zhǎng)參數(shù)。通過數(shù)值實(shí)驗(yàn)，研究結(jié)果與理論預(yù)測(cè)高度一致，驗(yàn)證了 LoRA 梯度下降能夠以 O(1/log T) 的速率收斂。

該研究首次在無假設(shè)情況下證明了 LoRA 梯度下降的非漸近性收斂性，補(bǔ)充了重要的理論空白并提供了實(shí)踐指導(dǎo)。這一理論突破不僅為 LoRA 算法的超參數(shù)調(diào)優(yōu)提供了科學(xué)依據(jù)，也為低秩適配方法在更大規(guī)模模型中的應(yīng)用奠定了堅(jiān)實(shí)的理論基礎(chǔ)。

論文鏈接：https://arxiv.org/abs/2512.18248

05

VLM"說而不看"的視覺幻覺

Are vlms seeing or just saying? uncovering the illusion of visual re-examination

視覺語言模型（VLMs）在推理過程中常常生成自我反思性語句，如"讓我再仔細(xì)看看這張圖片"，但這些語句是否真正觸發(fā)了視覺再檢查？研究團(tuán)隊(duì)發(fā)現(xiàn)，這一現(xiàn)象尚不明確，模型可能只是在利用學(xué)習(xí)的文本模式"表演"思考，而非真正依賴視覺信息。

實(shí)驗(yàn)結(jié)果令人警醒：模型在檢測(cè)視覺變化時(shí)表現(xiàn)極差，準(zhǔn)確率下降高達(dá) 60%，且"思考型"模型的脆弱性是"指令型"模型的 3 倍，模型尺度擴(kuò)展也無助于改善視覺語義匹配能力。研究團(tuán)隊(duì)提出 VisualSwap 框架，在模型生成推理后替換為語義不同但視覺相似的圖像，以此評(píng)估模型是否真正識(shí)別變化；同時(shí)設(shè)計(jì)了 VS-Bench 基準(zhǔn)測(cè)試集，從 MathVista 等 4 個(gè)數(shù)據(jù)集創(chuàng)建 800 對(duì)圖像對(duì)，深入測(cè)試了 Qwen3-VL、Kimi-VL、ERNIE-VL 等主流模型。

該研究揭示了一個(gè)令人擔(dān)憂的現(xiàn)象：現(xiàn)有 VLMs 存在"說而不看"的問題，證明用戶指令交互能提升視覺信息利用，但自反性語句本身無效。通過注意力機(jī)制分析，研究進(jìn)一步揭示了模型的視覺注意力分配問題，為多模態(tài)模型的真實(shí)視覺理解能力評(píng)估敲響了警鐘。

論文鏈接：https://arxiv.org/abs/2605.15864

06

預(yù)訓(xùn)練數(shù)據(jù)的動(dòng)態(tài)高效選擇

OPUs: Towards Efficient and Principled Data Selection in Large Language Model Pre-Training in Every Iteration

大語言模型預(yù)訓(xùn)練正從追求更多數(shù)據(jù)轉(zhuǎn)向追求更高質(zhì)量的數(shù)據(jù)，但現(xiàn)有數(shù)據(jù)選擇方法存在明顯短板：靜態(tài)過濾過于依賴啟發(fā)式方案，動(dòng)態(tài)方法又無法充分結(jié)合優(yōu)化器特點(diǎn)。與此同時(shí)，高質(zhì)量公共文本資源日益枯竭，LLM 訓(xùn)練亟需從關(guān)注數(shù)據(jù)量轉(zhuǎn)變?yōu)殛P(guān)注數(shù)據(jù)質(zhì)量。

研究團(tuán)隊(duì)提出動(dòng)態(tài)框架 OPUS，通過優(yōu)化器誘導(dǎo)的更新空間定義數(shù)據(jù)效用，并使用 Ghost 技術(shù)結(jié)合 CountSketch 和 Boltzmann 采樣，確保計(jì)算效率和數(shù)據(jù)多樣性。這一設(shè)計(jì)將數(shù)據(jù)選擇過程與訓(xùn)練動(dòng)態(tài)緊密耦合，讓每一輪迭代都能自適應(yīng)地篩選最有價(jià)值的數(shù)據(jù)。在 GPT-2 Large/XL 的 FineWeb 和 FineWeb-Edu 數(shù)據(jù)集上，30B token 訓(xùn)練中 OPUS 顯著超越基線；在 Qwen3-8B-Base 上，僅用 0.5B token 即可優(yōu)于完整 3B token 訓(xùn)練，展現(xiàn)出驚人的跨領(lǐng)域數(shù)據(jù)高效性。

OPUS 提供了一種能結(jié)合動(dòng)態(tài)訓(xùn)練和優(yōu)化器特性的高效數(shù)據(jù)選擇框架，不僅提升了跨規(guī)模和領(lǐng)域的數(shù)據(jù)利用效率，還對(duì)工業(yè)級(jí)預(yù)訓(xùn)練基線產(chǎn)生了顯著優(yōu)化效果，為 LLM 預(yù)訓(xùn)練的數(shù)據(jù)策略提供了新的方法論指導(dǎo)。

論文鏈接：https://arxiv.org/abs/2602.05400

07

長(zhǎng)上下文推理的 KV 緩存優(yōu)化

IndexMem: Learned KV-Cache Eviction with Latent Memory for Long-Context LLM Inference

大語言模型的長(zhǎng)上下文推理能力日益重要，但標(biāo)準(zhǔn)的軟注意力機(jī)制導(dǎo)致 KV 緩存隨序列長(zhǎng)度線性增長(zhǎng)，成為嚴(yán)重的性能瓶頸。現(xiàn)有的 KV 驅(qū)逐策略大多為啟發(fā)式方法，難以捕捉輸入依賴型的重要性分布，且驅(qū)逐操作導(dǎo)致不可逆的信息丟失，極大影響長(zhǎng)距離的注意力檢索性能。

研究團(tuán)隊(duì)提出了IndexMem，包含一個(gè)可學(xué)習(xí)的索引模塊預(yù)測(cè) KV 重要性，同時(shí)設(shè)計(jì)輕量級(jí)潛在記憶模塊壓縮被驅(qū)逐的 token，以殘差形式補(bǔ)償注意力損失。這一雙重機(jī)制既保留了關(guān)鍵信息，又有效控制了緩存規(guī)模。在 RULER、LongBench 等基準(zhǔn)測(cè)試中，通過 Qwen、Mistral 和 Llama 等模型驗(yàn)證，IndexMem 在高強(qiáng)度驅(qū)逐下實(shí)現(xiàn)了高達(dá) 25 點(diǎn)的性能提升，同時(shí)保持了穩(wěn)定的長(zhǎng)距離檢索能力。

該研究提出了結(jié)合可學(xué)習(xí)索引器和潛在記憶模塊的 KV 管理方法，高效進(jìn)行長(zhǎng)上下文推理，顯著提升了大語言模型的性能和魯棒性，為長(zhǎng)上下文 LLM 的推理優(yōu)化提供了實(shí)用的技術(shù)方案。

論文鏈接：https://arxiv.org/abs/2605.25475

08

無需專家的數(shù)學(xué)解答自動(dòng)評(píng)估

Judging What We Cannot Solve: A Consequence-Based Approach for Oracle-Free Evaluation of Research-Level Math

當(dāng)前推理模型在研究級(jí)數(shù)學(xué)問題上取得顯著進(jìn)展，但驗(yàn)證過程耗費(fèi)大量專家時(shí)間，成為制約發(fā)展的瓶頸。研究團(tuán)隊(duì)觀察到，正確解答應(yīng)包含足夠的解題方法信息，可用于提升解決相關(guān)可驗(yàn)證問題的效果，而錯(cuò)誤解答則無法實(shí)現(xiàn)這一點(diǎn)——這一差異為自動(dòng)化評(píng)估提供了突破口。

研究團(tuán)隊(duì)提出了一種基于后果的評(píng)估指標(biāo)，通過測(cè)試候選解作為上下文示例在相關(guān)問題中的表現(xiàn)來評(píng)分，完全不依賴于外部驗(yàn)證者。這一設(shè)計(jì)巧妙地將評(píng)估問題轉(zhuǎn)化為一個(gè)自舉過程：好的解答能夠幫助模型解決更多相關(guān)問題，而差的解答則無此效果。研究團(tuán)隊(duì)構(gòu)建了包含研究級(jí)數(shù)學(xué)問題、專家解答及生成解答的數(shù)據(jù)集，實(shí)驗(yàn)結(jié)果表明，該方法在排名質(zhì)量和評(píng)估準(zhǔn)確性上均顯著優(yōu)于獎(jiǎng)勵(lì)模型和語言模型評(píng)估器。

該研究引入了一種無專家依賴的新型評(píng)估方法，在大規(guī)模語言模型上實(shí)現(xiàn)了顯著性能提升，為數(shù)學(xué)推理任務(wù)的解答評(píng)估提供了一種通用框架，有望大幅降低研究級(jí)數(shù)學(xué)問題評(píng)估的成本和門檻。

論文鏈接：https://arxiv.org/abs/2602.06291

以上 8 篇論文從理論、方法、評(píng)測(cè)到應(yīng)用，展現(xiàn)了 ICML 2026 的多元前沿圖景。雷峰網(wǎng)與 AI 科技評(píng)論將持續(xù)在現(xiàn)場(chǎng)為大家?guī)砀嘁痪€報(bào)道，如有遺漏或希望進(jìn)一步交流，歡迎聯(lián)系我們！

一個(gè)人讀論文太孤單，一群人刷頂會(huì)才好玩。

ICML 2026召開在即，我們正在召集一波含金量極高的 AI 研究者。群內(nèi)主打實(shí)時(shí)論文跟蹤與硬核技術(shù)探討，拒絕灌水。

進(jìn)群傳送門：掃碼進(jìn)群或添加微信Vin_Vivid，備注：論文群 + 關(guān)注的 AI 方向。

搞科研/搞技術(shù)，信息差很重要。

來，一起快人一步！

上車，帶你看遍全球 AI 頂會(huì)精華

可獨(dú)家暢覽：

專家演講PPT

大會(huì)報(bào)告全文

熱門論文解讀

學(xué)術(shù)新星訪談

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。