ICML 2026 | 上智院、華山醫院等提出自監督預訓練框架TACO

作者 | 聯合研究團隊

編輯丨ScienceAI

在醫學影像中，同一個解剖結構在不同患者、不同模態之間往往存在顯著外觀差異：腦部大小不同、病灶形態不同、MRI （Magnetic Resonance Imaging, 磁共振成像）序列成像特征不同。然而，一個重要事實始終存在 ——人體解剖結構具有穩定的空間拓撲關系。

例如，在腦部 MRI 中，丘腦通常位于基底節內側，不同皮層區域之間也保持相對穩定的鄰域關系。即使患者個體存在差異，這些結構之間的「相對位置關系」依然具有高度一致性。現有 3D 醫學影像自監督學習方法大多仍停留在實例級（Instance-level）范式：把每一位患者、每一次掃描看作獨立樣本，通過重建、對比學習或遮擋建模來學習表示。這種做法雖然有效，但忽略了醫學影像中非常關鍵的一類監督信號：跨個體、跨模態共享的解剖拓撲結構。

為此，上海科學智能研究院（下稱上智院）、復旦大學附屬華山醫院（下稱華山醫院）、復旦大學人工智能創新與產業研究院（下稱復旦大學 AI3 院）共同提出了TACO（Topology-AwareCOnsistency），一種面向 3D 多模態醫學影像的拓撲一致性自監督預訓練框架。

論文題目：Beyond Instance-Level Self-Supervision in 3D Multi-Modal Medical Imaging

論文地址：https://arxiv.org/pdf/2605.14654

代碼地址：https://github.com/Ashespt/TACO

該研究成果已被機器學習頂級會議 ICML2026 接收。上智院實習生、復旦大學 AI3 院博士生潘覃，為第一作者；上智院主任研究員蔣晨，上智院 AI 科學家及生命科學方向負責人、復旦大學 AI3 院研究員程遠，為共同通訊作者；華山醫院神經外科博士后梅殊豪，上智院實習生、復旦大學博士生孫翊軒，昆士蘭大學博士后郭凱與，新加坡科技局科學家譚兆瑞，復旦大學 AI3 院工程師李孟渚，復旦大學 AI3 院副院長韓麗妹，華山醫院神經外科副研究員鄒翔，昆士蘭大學副教授 Mahsa Baktashmotlagh，為共同作者。

核心思想：不只看「圖像長什么樣」，還要學「結構之間怎么排列」

TACO 的出發點很簡單：

如果兩個 patch（圖像塊） 在某一位患者、某一種模態中屬于同一解剖鄰域，那么它們在另一位患者、另一種模態中的對應表示，也應當保持相似的局部拓撲關系。

換句話說，模型不僅要學習單個結構的外觀特征，還要學習結構之間的相對關系。相比傳統自監督方法主要關注同一實例內部的增強視圖一致性，TACO 進一步引入了群體水平的解剖結構拓撲（Population-level Anatomical Topology）：讓模型在不同患者、不同模態之間學習穩定的解剖組織方式。

TACO和過去預訓練方法的對比

方法概覽：同時建模 Intra-instance 與 Inter-instance 拓撲一致性

TACO 主要包含兩類拓撲對齊目標。

1. 實例內（Intra-instance）：同一患者不同模態之間的拓撲一致性

對于同一位患者，不同 MRI 模態通常已經完成配準，因此 patch 之間存在較明確的空間對應關系。

TACO 在該場景下構建跨模態三元組（Triplet）約束：如果某個 patch 的鄰域在模態 A 中是相近的，那么它們在模態 B 中的對應特征也應保持相近；反之，非鄰域特征應保持相對遠離。

這一設計讓模型在同一患者的不同模態之間學習穩定的局部解剖結構關系。

2. 實例間（Inter-instance）：不同患者之間的拓撲一致性

跨患者場景更具挑戰性，因為不同個體之間不存在天然的像素級對應關系。TACO 通過互最近鄰（Mutual Nearest Neighbor，MNN）構建偽對應關系，只在高置信度匹配的 token 子集上施加拓撲約束。

這種方式避免了強行進行密集對齊帶來的誤匹配問題，同時使模型能夠捕捉不同患者之間共享的解剖結構模式。

最終，TACO 的訓練目標由三部分組成：單模態重建損失；同一患者跨模態拓撲一致性損失；不同患者跨模態拓撲一致性損失。

TACO框架圖

實驗結果：7 個下游任務驗證有效性

論文在多個 3D 醫學影像任務上進行了系統驗證，包括：

• 4 個分割任務：BraTS2023-PED、BraTS-MET、UPENN-GBM、ISLES22；
• 2 個分類任務：ADNI、ADHD；
• 1 個缺失模態分割任務：BraTS2018 missing-modality segmentation。

實驗結果顯示，TACO 在多項任務中取得了當前最優或具有競爭力的表現。

在分割任務中，TACO 在四個數據集上的整體平均 Dice 達到77.47%，超過最強 baseline BrainMVP 的76.36%。

在分類任務中，TACO 在平均 ACC、AUC 和 F1 上分別達到81.86% / 84.12% / 78.70%，其中 F1 相比最佳 baseline 提升達到5.94%。

這些結果說明，跨患者、跨模態拓撲一致性能夠顯著增強醫學影像表征的可遷移性。

可視化分析：模型真的學到了跨患者解剖對應關系

論文進一步通過 t-SNE 可視化分析模型表示。

結果顯示，傳統方法往往更容易按照「患者身份」聚類，也就是說模型更關注個體差異。而 TACO 學到的特征在不同患者和不同模態之間呈現更好的混合與聚合，說明其表示更接近「解剖結構本身」，而不是某個患者的個體特征。

在腦組織結構可視化中，TACO 也表現出更清晰、更一致的區域聚類結果，進一步驗證了其跨個體解剖拓撲建模能力。

Patch-level特征可視化圖

總結展望

TACO 的核心貢獻在于：它將醫學影像自監督學習從過往的實例級別的表征學習（Instance-level Representation Learning） 推向了群體級別的拓撲感知表征學習（Population-level Topology-aware Representation Learning）。

它不再僅僅讓模型學習單個患者圖像中的局部模式，而是進一步利用醫學影像中天然存在的跨個體解剖拓撲一致性，讓模型學習更加穩健、可遷移、可泛化的 3D 多模態醫學影像表示。

這一思路對于醫學基礎模型尤其重要。未來，隨著更多模態、更大規模影像數據和更多解剖結構被納入預訓練，拓撲一致性有望成為醫學影像自監督學習中的關鍵監督信號之一。