ICML 2026 | 突破極限！港大提出首個適配300+任務(wù)的持續(xù)學(xué)習(xí)架構(gòu)，破解遺忘難題

本文第一作者為香港大學(xué)計算與數(shù)據(jù)科學(xué)學(xué)院博士生婁蒙。

人類可以在一生中持續(xù)學(xué)習(xí)新知識，而不會輕易遺忘已有技能。然而對 AI 模型而言，這恰恰是一道極具挑戰(zhàn)性的難題：每當(dāng)模型學(xué)習(xí)新任務(wù)時，參數(shù)更新往往會覆蓋歷史知識，產(chǎn)生經(jīng)典的 “災(zāi)難性遺忘” 難題。持續(xù)學(xué)習(xí)（Continual Learning）正是為突破這一瓶頸而生的研究方向。

其中，類增量學(xué)習(xí)（Class-Incremental Learning, CIL）是一項極具挑戰(zhàn)性的持續(xù)學(xué)習(xí)問題：模型需要持續(xù)學(xué)習(xí)新類別，同時保持對歷史類別的準(zhǔn)確識別能力。近年來，借助大規(guī)模預(yù)訓(xùn)練模型（Pre-trained Model, PTM）的豐富先驗知識，CIL 取得了長足進步。然而，現(xiàn)有方法大多只在極短的任務(wù)序列上進行驗證，例如5-20個任務(wù)。一旦任務(wù)數(shù)量擴展至上百個，性能就會顯著下滑甚至崩潰。真實世界中，一個長期運行的系統(tǒng)往往需要不斷地學(xué)習(xí)新知識新概念，這一鴻溝亟待填補。

近日，來自香港大學(xué)的研究團隊提出了一種全新的持續(xù)學(xué)習(xí)范式CaRE(ScalableContinual Learner with efficient Bi-LevelRouting Mixture-of-Experts)，首次將連續(xù)學(xué)習(xí)成功擴展到包含300 個以上非重疊任務(wù)的超長序列，并在性能上大幅超越了現(xiàn)有的基線算法。此外，團隊還精心構(gòu)建了一個極具挑戰(zhàn)性的超長序列評測數(shù)據(jù)集OmniBenchmark-1K。代碼和數(shù)據(jù)已經(jīng)全部開源！

• 論文標(biāo)題：Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
  
• 論文鏈接：https://arxiv.org/abs/2602.03473
  
• 代碼 & 數(shù)據(jù)鏈接：https://github.com/LMMMEng/CaRE
  

研究動機

近年來，基于參數(shù)高效微調(diào)和預(yù)訓(xùn)練模型的持續(xù)學(xué)習(xí)方法取得了明顯進展 。然而，這些方法仍然存在幾個核心問題：

• 缺乏多任務(wù)知識互補： 隨著任務(wù)序列的增長，新任務(wù)很有可能包含與歷史任務(wù)語義相關(guān)的類別（例如不同種類的動物）。因此，模型需要具備一種能力：在區(qū)分貓和狗時，主動從歷史的 “動物相關(guān)” 任務(wù)中提取特征，而不是從毫不相干的 “建筑物” 任務(wù)中提取 。

• 缺乏逐層動態(tài)決策能力：深度模型在不同深度的網(wǎng)絡(luò)層中具有不同粒度的語義信息。因此，每一個中間層都需要動態(tài)地檢索和注入對自己定制化的知識，來輸出適配當(dāng)前層信息的表征。

• 評測數(shù)據(jù)集 “不夠長”：現(xiàn)有的常用連續(xù)學(xué)習(xí)數(shù)據(jù)集（如 ImageNet-R）類別有限，通常只能支持短序列任務(wù)的評測，這使得現(xiàn)有方法在真實世界中的長程表現(xiàn)成謎 。

方法設(shè)計

1. 雙階段路由混合專家（Bi-Level Routing Mixture-of-Experts, BR-MoE）

CaRE 基于預(yù)訓(xùn)練 ViT，在每個 Transformer Block 中無縫嵌入 BR-MoE 模塊。每當(dāng)新任務(wù)到來，BR-MoE 僅學(xué)習(xí)一組三元參數(shù)組合：類感知器（Class Perceptron）、路由網(wǎng)絡(luò)（Router Network）和專家適配器（Expert Adapter）。

圖 1 BR-MoE 工作流程：(a) 基于 BR-MoE 的 ViT build block；(b) 訓(xùn)練流程；(c) 推理流程

BR-MoE 的核心在于兩階段路由機制，旨在同時實現(xiàn) “判別性” 與 “全面性” 兩大目標(biāo)：

① 動態(tài)路由器選擇（第一階段）

對于任意輸入，BR-MoE 將其 [CLS] Token 送入所有歷史任務(wù)的類感知器，逐網(wǎng)絡(luò)層計算每個任務(wù)對應(yīng)的預(yù)測熵值。熵越低，說明該任務(wù)與當(dāng)前輸入的語義分布越接近、越可能是正確的源任務(wù)。據(jù)此，BR-MoE 動態(tài)選取熵值最小的 Top-M 個路由網(wǎng)絡(luò)，整個過程無需顯式任務(wù)標(biāo)簽，且每一層都獨立執(zhí)行這套選擇邏輯，實現(xiàn)了逐層自適應(yīng)的動態(tài)路由。

② 動態(tài)專家路由（第二階段）

激活的路由網(wǎng)絡(luò)為其名下的專家適配器生成動態(tài)的權(quán)重分?jǐn)?shù)，選出Top-K 個最相關(guān)的專家進行加權(quán)融合，提取具有判別性和互補性的知識。與此同時，一個通過 EMA 機制持續(xù)更新的共享專家始終參與計算，確保全局跨任務(wù)通用知識的持續(xù)積累與注入。

兩階段設(shè)計的直覺在于：第一階段找到 “最相關(guān)任務(wù)群”，第二階段在相關(guān)任務(wù)群內(nèi)精選互補專家進行融合。這種多個路由網(wǎng)絡(luò)和專家的協(xié)同激活與計算，讓模型不僅能夠動態(tài)的輸出最適配當(dāng)前輸入的 “判別性特征”，還能進一步檢索相關(guān)的 “互補性特征”，從而形成強大的 “全面性特征”。此外，由于每一層都獨立執(zhí)行這套機制，模型從淺層模式到深層語義均具備自適應(yīng)知識檢索能力。更多技術(shù)細(xì)節(jié)請參考原文。

2. 持續(xù)學(xué)習(xí)新基準(zhǔn)：OmniBenchmark-1K

為填補長序列評測基準(zhǔn)的空白，研究團隊同步貢獻了 OmniBenchmark-1K 數(shù)據(jù)集。

該數(shù)據(jù)集從 OmniBenchmark-V2 精選1000 個類別，包含約190,000 張圖像，橫跨鳥類、食物、植物、動作等 21 個不同視覺領(lǐng)域，且已經(jīng)排除與 ImageNet 的重疊數(shù)據(jù)，確保無縫使用 ImageNet 預(yù)訓(xùn)練模型，為數(shù)百任務(wù)規(guī)模的持續(xù)學(xué)習(xí)評測提供了堅實的測試平臺。相比之下，常用基準(zhǔn)數(shù)據(jù)集例如 ImageNet-R 只有 200 個類別，無法支持超長序列的場景；而 OmniBenchmark-1K 含有 1000 個類別，允許將任務(wù)數(shù)量上升至 100、200 乃至 300 以上，真正有效地測評模型應(yīng)對極長任務(wù)序列的持續(xù)學(xué)習(xí)能力。

實驗結(jié)果

1. 長序列持續(xù)學(xué)習(xí)全面領(lǐng)先

研究團隊將 CaRE 與多個強大的持續(xù)學(xué)習(xí)方法進行了全面對比，在 OmniBenchmark-1K 上，團隊設(shè)置了100 任務(wù)、151 任務(wù)、200 任務(wù)，甚至拓展到了 301 任務(wù)的超長序列。值得關(guān)注的是，一些在短序列中表現(xiàn)出色的方法在長序列中性能急劇崩潰，充分暴露了現(xiàn)有方法在可擴展性方面的固有瓶頸，而 CaRE 始終保持穩(wěn)健的學(xué)習(xí)軌跡。

表 1 CaRE 與其他持續(xù)學(xué)習(xí)方法在 OmniBenchmark-1K 長序列評測上的持續(xù)學(xué)習(xí)性能對比

圖 2 CaRE 與其他持續(xù)學(xué)習(xí)方法在長序列評測上的持續(xù)學(xué)習(xí)趨勢對比

2. 經(jīng)典短任務(wù)序列 “同樣能打”

不僅僅是長序列，在 ImageNet-R、ImageNet-A、ObjectNet 等經(jīng)典的短序列評測中，CaRE 也穩(wěn)居榜首，證明了其在可塑性（Plasticity）和穩(wěn)定性（Stability）之間的完美平衡。

表 1 CaRE 與其他持續(xù)學(xué)習(xí)方法在經(jīng)典設(shè)置下的對比

3. 深入分析：模型真的學(xué)會了 “精準(zhǔn)回憶” 嗎？

為了探究模型到底學(xué)到了什么，我們對 CaRE 內(nèi)部的路由激活模式進行了可視化，非常有意思的發(fā)現(xiàn)：

• 淺層網(wǎng)絡(luò) “通用”，深層網(wǎng)絡(luò) “專一”：在網(wǎng)絡(luò)的淺層（如 Layer#3/6），少數(shù)專家會被高頻調(diào)用，因為它們提取的是通用的底層視覺特征（如邊緣、紋理） ；而在網(wǎng)絡(luò)的深層（如 Layer 12），激活模式變得非常稀疏且具有高度的 “任務(wù)特異性”，這與網(wǎng)絡(luò)深層需要提取高層抽象語義進行精確分類的任務(wù)完美契合 。

• 測試時的知識穿越：在推理階段，即使處理早期的任務(wù)，模型也會動態(tài)調(diào)用從后續(xù)任務(wù)學(xué)到的互補專家知識。這證明了 BR-MoE 賦予了模型在測試階段靈活整合全局知識的能力 。

圖 3 BR-MoE 激活情況可視化

總結(jié)與展望

CaRE 是目前首個被系統(tǒng)驗證能在 300 + 無重疊任務(wù)上穩(wěn)健運行的持續(xù)學(xué)習(xí)方法，同時在經(jīng)典短序列設(shè)置中保持全面領(lǐng)先。提出的 BR-MoE 機制統(tǒng)一了判別性與全面性兩大表征目標(biāo)，并將動態(tài)知識檢索能力注入每一個網(wǎng)絡(luò)層，構(gòu)建了一個強大且可擴展持續(xù)學(xué)習(xí)系統(tǒng)。此外，CaRE 的雙層路由思路理論上可以應(yīng)用于跨模態(tài)持續(xù)學(xué)習(xí)，如圖像、語言和音頻的聯(lián)合序列學(xué)習(xí)，有望成為下一個 “風(fēng)口”。

在 AI 模型向長期部署邁進的當(dāng)下，我們希望 CaRE 及配套的 OmniBenchmark-1K 基準(zhǔn)能夠為探索持續(xù)學(xué)習(xí)提供有價值的參考。同時，我們也期待這項工作能夠激勵更多研究者投身于構(gòu)建真正能 “越學(xué)越強” 的持續(xù)學(xué)習(xí)系統(tǒng)。

更多技術(shù)細(xì)節(jié)和實驗分析請參考原文：)