KAUST、上智院等提出通用自監督基礎模型HorusEye，登Nature子刊

作者 |聯合研究團隊

編輯丨ScienceAI

X 射線斷層成像（X-ray Tomography）是現代醫學診斷與科學研究的核心工具，涵蓋醫學 CT、微 CT、納米 CT、相襯斷層成像和疊層衍射成像等多種模態。而圖像退化問題(包括噪聲增強、空間分辨率降低、信噪比下降等)，是長期制約其分析可靠性的重大障礙，在低劑量或數據稀缺條件下更為突出。

現有的圖像修復方法通常針對特定模態和預定義退化類型設計，泛化能力有限；同時往往依賴大規模配對數據集（含噪 / 干凈圖像對），而這類數據在 X 射線斷層成像中因倫理、實驗和實際條件的限制極難獲取。

為此，來自沙特阿卜杜拉國王科技大學（KAUST）、上海科學智能研究院（下稱上智院）、哈爾濱工業大學等多家機構的研究團隊提出了HorusEye—— 一種面向 X 射線斷層成像通用修復的自監督基礎模型。該模型摒棄了以往方法對退化過程的預設假設，轉而從數據中直接學習真實的、非參數的退化過程。基于超過 1 億張圖像的大規模訓練，HorusEye 在多種成像模態和修復任務上展現出卓越的泛化性能，甚至在從未見過的成像模態上也能穩定超越針對特定任務設計的方法。相關研究成果于 3 月 27 日發表在Nature Computational Science。

論文題目：HorusEye: a self-supervised foundation model for generalizable X-ray tomography restoration

論文地址：https://www.nature.com/articles/s43588-026-00973-3

代碼地址：https://github.com/Arturia-Pendragon-Iris/HorusEye_XRT_Restoration

現有方法面臨的核心挑戰

在 X 射線斷層成像領域，圖像修復長期面臨三大核心難題：

一是模態與任務的高度異質性：從毫米級醫學 CT 到納米級疊層衍射成像，不同模態的退化機制差異巨大。現有方法通常為單一模態或特定任務量身定做，一旦超出訓練條件就嚴重失效。

二是配對數據的獲取困境：深度學習方法通常需要大量成對的噪聲 / 干凈圖像進行監督訓練，但在 X 射線斷層成像中，獲取真正干凈的參考圖像往往涉及高輻射劑量，受到倫理和實驗條件的嚴格限制。

三是傳統噪聲建模的失效：傳統方法通常假設噪聲服從像素獨立的對數泊松分布。但研究團隊通過頻譜分析發現，真實斷層成像噪聲具有信號依賴性、片間獨立性和片內空間相關性等復雜特征，遠非簡單參數模型所能刻畫。

HorusEye 的核心創新設計

HorusEye 從 X 射線斷層成像的物理成像特性出發，提出了一種巧妙的自監督預訓練框架，其核心洞察在于：三維斷層掃描體中，相鄰切片之間的結構信息具有高度連續性，而噪聲由于獨立采集過程表現出顯著的片間不一致性。

圖 1：HorusEye 整體架構、開發流程與數據集概覽。a-b，模型適用于多種修復任務和成像模態；c，結構信息的片間連續性與噪聲的片間不連續性；d，基于 SwinUNet 的模型架構；e-f，自監督訓練策略；g，大規模多模態數據集組成

基于這一物理先驗，HorusEye 采用兩階段自監督訓練策略：

1. 真實噪聲提取（片間對比預訓練）：利用中間切片預測任務，以兩張相鄰噪聲切片作為輸入預測中間切片。由于神經網絡傾向于優先學習連續的結構信息而非隨機噪聲（受 Deep Image Prior 啟發），預測結果與原始圖像之間的殘差即被視為自提取噪聲。這一策略無需任何顯式噪聲模型，直接從數據中捕獲真實退化模式。

2. 去噪自編碼器預訓練：將自提取噪聲注入干凈圖像生成偽噪聲訓練數據，訓練去噪網絡恢復原始干凈圖像。

兩階段之間通過互正反饋協同精煉策略（Mutual Positive-Feedback Corefinement）緊密耦合：噪聲提取網絡不斷為去噪網絡提供更真實的噪聲樣本，而去噪網絡的改進又反哺更干凈的監督信號，形成良性循環。這種動態反饋機制使 HorusEye 能夠漸進地縮小合成退化與真實退化之間的差距。

模型采用 SwinUNet 架構作為骨干網絡，融合 Swin Transformer 編碼器和輕量卷積解碼器，包含約 1 億參數。整個訓練基于 50 個數據集、超過 12 萬個掃描體、總計 1 億張圖像的大規模多中心數據集完成。

醫學 CT 去噪：逼近超高劑量掃描質量

在醫學 CT 領域，HorusEye 展現出卓越的低劑量 CT 修復能力。研究團隊建立了專門的劑量對比數據集（含 10 頭離體豬和兩個標準體模），在三個劑量水平下進行定量評估。

圖 2：HorusEye 在醫學 CT 上的應用。a，體模和離體豬的劑量對比去噪可視化結果；b，PSNR 和 SSIM 定量對比；c，真實臨床 CT 去噪結果及 FSC 曲線對比

與四種主流后處理方法（WGAN、RED、CT-Former、MAP-NN）和一種重建方法（ASIR）的對比表明：

• HorusEye 能夠將低劑量掃描圖像修復至接近超高劑量（140kV/500mA）的視覺質量；
• PSNR 提升約 2 dB，SSIM 提升 0.02-0.04，差異具有高度統計顯著性（P < 0.0001）；
• 在真實臨床 CT 數據上，HorusEye 的背景噪聲抑制（ΔBNP）相比原始圖像降低 10-20 dB，優于其他方法 5-10 dB；
• FSC 曲線在全頻率范圍內保持最高，表明高頻細節信息得到最佳保留。

跨模態泛化：從毫米到納米尺度的通用修復

HorusEye 可直接應用于多種 X 射線斷層成像模態，包括微 CT、納米 CT、相襯斷層成像、動態斷層成像、能譜斷層成像和疊層衍射成像，分辨率跨越毫米到納米尺度。值得注意的是，后三種模態在訓練階段完全未被包含，用以嚴格測試跨模態泛化能力。

圖 3：HorusEye 在多種 X 射線斷層成像模態上的應用。a-f，微 CT（雞骨）、納米 CT（電極）、相襯斷層成像（腎臟）、能譜斷層成像（人體胸部）、動態斷層成像（合成巖漿）和疊層衍射成像（納米多孔玻璃）的修復結果與現有最優方法對比

與 k-SVD、BM3D、DIP 和 ZS-N2N 等通用去噪方法相比，HorusEye 在所有模態上均展現出明顯優勢：

• ΔBNP 改善約 10-15 dB（其他方法僅約 5 dB）；
• FSC 曲線全頻段保持更高相關值；
• 在劑量對比雞骨微 CT 數據集上，PSNR 優于其他方法約 2 dB，SSIM 優約 0.1。

通過在特定數據集上的自監督微調，HorusEye 還能進一步提升修復質量，體現了其出色的靈活性和可遷移性。

多任務遷移：凍結編碼器即可適配新任務

除去噪外，HorusEye 還被成功遷移至四類常見 X 射線斷層成像修復問題：4 倍超分辨率、5 倍層厚重建、金屬偽影去除和運動校正。遷移過程僅需微調輕量級解碼器，預訓練編碼器完全固定。

圖 4：HorusEye 在其他修復任務上的應用。a，超分辨率、層厚重建、金屬偽影去除和運動校正的可視化結果及與真實值的差異圖；b，PSNR 和 SSIM 定量分析

在所有任務中，HorusEye 均能恢復精細結構、產生更清晰的邊界和更少的殘留偽影。與通用修復模型（SwinIR、Cycle-GAN）、相同架構但從零訓練的基線模型，以及各任務專用方法的對比中，HorusEye 在 PSNR 和 SSIM 上均具優勢。HorusEye 與基線模型之間的性能差距充分證明了大規模預訓練的關鍵作用 —— 預訓練編碼器有效捕獲了可遷移的結構與解剖特征表示。

臨床評估：顯著提升診斷準確率

為評估 HorusEye 的臨床實用價值，研究團隊開展了多中心臨床評估，由 10 位具有 10 年以上經驗的放射科醫生以雙盲方式獨立評分。

圖 5：HorusEye 臨床評估。a，低劑量 CT 經不同方法處理后的噪聲、對比度和病變可檢測性評分對比；b，HorusEye 增強血管可視化效果；c，HorusEye 幫助檢出最初被遺漏的病變案例

臨床評估的核心發現：

• HorusEye 使放射科醫生評分平均提升 1-3 分（5 分制），達到接近高劑量參考掃描的水平；
• 在難以檢測的低對比度病變回顧性研究中效果尤為顯著：對于非增強 CT 上的肺栓塞，僅 3.3%（1/30）的放射科醫生能在原始圖像上識別，而經 HorusEye 處理后檢出率躍升至 80.0%（24/30）；
• 肝臟腫瘤檢出率從 53.3% 提升至 93.3%，主動脈夾層破裂口檢出率從 63.3% 提升至 93.3%；
• 在 17 項計算機輔助診斷（CAD）任務評估中，HorusEye 普遍提升了下游任務性能，例如低劑量肺動脈 / 靜脈分割的 Dice 系數從約 70% 提升至約 88%。

退化分析：揭示斷層成像噪聲的真實面貌

借助 HorusEye 的噪聲提取能力，研究團隊對 103,725 個來自不同模態和掃描對象的噪聲樣本進行了系統分析。

圖 6：利用 HorusEye 進行 X 射線斷層成像退化分析。a，103,725 個噪聲樣本的 t-SNE 聚類可視化，不同數據集的噪聲自然形成清晰簇；b，噪聲功率譜和相位譜隨頻率的分布特征

t-SNE 聚類分析揭示了一個重要事實：來自相同掃描設置的噪聲自然聚集成簇，不同設置之間存在明顯分離。這證實噪聲特征隨成像模態和掃描對象而本質性變化，對針對特定場景訓練的修復方法構成巨大挑戰。值得關注的是，長期以來被廣泛采用的對數泊松噪聲模型，在聚類圖中與真實噪聲明顯分離。這一現象表明，許多現有模型所依賴的噪聲建模方式，在刻畫真實系統退化時存在固有局限。

總結與展望

HorusEye 的創新源于對 X 射線斷層成像物理特性的洞察 —— 利用結構的片間連續性與噪聲的片間獨立性這一關鍵對比，構建了無需配對監督或噪聲模型假設的自監督學習框架。通過互正反饋協同精煉機制，模型能夠漸進式地從合成退化過渡到真實退化學習，實現了從去噪到超分辨率、偽影去除等多任務的統一遷移能力。

實驗與臨床評估表明，HorusEye 不僅是一種通用的圖像修復技術，更有望成為 X 射線斷層成像的通用后處理工具 —— 通過提升低劑量掃描質量來降低輻射風險，通過增強老舊設備的成像效果來促進醫療資源可及性，為更安全、更高效、更精準的醫學影像實踐開辟了新路徑。

展望未來，將 HorusEye 推向臨床常規應用仍需大規模多中心驗證。同時，從數據中直接學習真實退化的范式也為其他斷層成像技術的圖像質量優化提供了重要啟示。