單次訓(xùn)練橫掃9個(gè)基準(zhǔn)，遙感檢測(cè)最大數(shù)據(jù)集與基礎(chǔ)模型框架問世

遙感圖像目標(biāo)檢測(cè)是一項(xiàng)基礎(chǔ)且關(guān)鍵的任務(wù)，廣泛服務(wù)于城市監(jiān)測(cè)、交通分析、海事監(jiān)管、機(jī)場(chǎng)管理、應(yīng)急救援等重要應(yīng)用。然而，長(zhǎng)期以來，遙感目標(biāo)檢測(cè)面臨一個(gè)核心瓶頸：數(shù)據(jù)集規(guī)模有限、類別體系割裂、傳感器和分辨率差異巨大，導(dǎo)致模型往往只能在特定數(shù)據(jù)集或特定場(chǎng)景下表現(xiàn)良好，難以真正泛化到復(fù)雜真實(shí)世界。

近日，北京航空航天大學(xué)史振威教授和鄒征夏教授團(tuán)隊(duì)發(fā)布了一個(gè)面向通用遙感目標(biāo)檢測(cè)的大規(guī)模數(shù)據(jù)集與基礎(chǔ)模型框架 ——LEVIRDet。該研究構(gòu)建了目前最大規(guī)模、最全面的遙感目標(biāo)檢測(cè)數(shù)據(jù)集 LEVIRDet-159，并在此基礎(chǔ)上提出了面向通用遙感檢測(cè)的基礎(chǔ)模型 LEVIRDetNet。

LEVIRDet-159 覆蓋 159 個(gè)目標(biāo)類別、包含約 17.4 萬張遙感圖像、超過 256 萬個(gè)目標(biāo)標(biāo)注框，并在飛機(jī)、艦船、車輛等典型遙感目標(biāo)上提供了約 70 萬個(gè)細(xì)粒度標(biāo)注。在圖像數(shù)量、目標(biāo)實(shí)例數(shù)量、類別數(shù)量等關(guān)鍵維度上，LEVIRDet-159 均超過已有代表性遙感目標(biāo)檢測(cè)數(shù)據(jù)集，為訓(xùn)練真正具備跨場(chǎng)景、跨傳感器、跨類別體系泛化能力的遙感檢測(cè)基礎(chǔ)模型提供了新的數(shù)據(jù)基礎(chǔ)。

圍繞遙感目標(biāo)檢測(cè)中的類別體系不一致、標(biāo)注框規(guī)范不統(tǒng)一、細(xì)粒度標(biāo)簽可靠性不足等問題，本項(xiàng)研究構(gòu)建了一套統(tǒng)一的數(shù)據(jù)標(biāo)注引擎。通過緊致水平框標(biāo)注、多層級(jí)類別體系、源盲細(xì)粒度復(fù)標(biāo)和全圖一致性校驗(yàn)，LEVIRDet-159 將來自不同衛(wèi)星、航空平臺(tái)和地圖服務(wù)的遙感數(shù)據(jù)統(tǒng)一到一個(gè)標(biāo)準(zhǔn)化檢測(cè)協(xié)議下。

在嚴(yán)格的 target-training-free cross-benchmark 評(píng)測(cè)設(shè)置下，LEVIRDetNet 在 LEVIRDet-159 上僅通過單次訓(xùn)練，即可直接在 9 個(gè)外部遙感目標(biāo)檢測(cè)基準(zhǔn)上取得 SOTA 水平；即使在沒有外部數(shù)據(jù)集微調(diào)的條件下，也可實(shí)現(xiàn)相比最強(qiáng)競(jìng)爭(zhēng)方法平均提升 5.02 mAP 的效果。

• 論文標(biāo)題：LEVIRDet: A Million-Scale 159-Category Dataset and Foundation Model for Universal Remote Sensing Object Detection
• 論文鏈接：https://arxiv.org/abs/2606.25312
• 代碼鏈接：https://qinzheyang.github.io/LEVIRDet/

為什么遙感檢測(cè)需要一個(gè) “基礎(chǔ)模型”？

過去幾年，通用視覺領(lǐng)域已經(jīng)出現(xiàn)了大量基礎(chǔ)模型，但在遙感目標(biāo)檢測(cè)中，模型泛化仍然非常困難。原因在于，遙感圖像與自然圖像相比具有更強(qiáng)的尺度變化、更密集的小目標(biāo)、更復(fù)雜的成像來源，以及更不統(tǒng)一的類別體系。

例如，同樣是 “飛機(jī)”，在高分辨率機(jī)場(chǎng)圖像中可以進(jìn)一步區(qū)分為不同機(jī)型，而在低分辨率圖像中可能只能可靠識(shí)別為 “飛機(jī)” 這一父類。類似地，船舶、車輛等目標(biāo)也存在大量細(xì)粒度類別，但其可辨識(shí)程度高度依賴地面采樣距離、目標(biāo)尺寸和圖像質(zhì)量。

因此，遙感檢測(cè)模型不能只依賴更大的網(wǎng)絡(luò)或更多的數(shù)據(jù)，還需要在模型結(jié)構(gòu)中顯式建模遙感圖像的物理尺度、場(chǎng)景密度和語義層級(jí)關(guān)系。這也是 LEVIRDetNet 的核心出發(fā)點(diǎn)：把遙感圖像中的尺度、密度和層級(jí)類別信息放進(jìn)同一個(gè)端到端檢測(cè)框架。

LEVIRDet-159：不只是 “大”，

更是 “統(tǒng)一” 和 “細(xì)粒度”

LEVIRDet-159 的一個(gè)核心特點(diǎn)是大規(guī)模、多源、統(tǒng)一協(xié)議和多層級(jí)類別體系并重。

該數(shù)據(jù)集包含 174,488 張圖像、超過 1735 億像素、2,563,973 個(gè)目標(biāo)實(shí)例，覆蓋 30 個(gè)常見遙感父類和 159 個(gè)目標(biāo)類型。其中，細(xì)粒度分支包括 45 類飛機(jī)、13 類車輛和 71 類艦船，使其不僅是一個(gè)通用遙感檢測(cè)數(shù)據(jù)集，也是一個(gè)多目標(biāo)族細(xì)粒度檢測(cè)基準(zhǔn)。

從目標(biāo)尺度看，LEVIRDet-159 同時(shí)覆蓋極小目標(biāo)、小目標(biāo)、中等目標(biāo)和大型結(jié)構(gòu)目標(biāo)。其中，大量目標(biāo)尺寸小于 32 像素，能夠有效支撐遙感場(chǎng)景中典型的小目標(biāo)和密集目標(biāo)檢測(cè)研究。

從數(shù)據(jù)來源看，LEVIRDet-159 融合了衛(wèi)星影像、航空影像、地圖服務(wù)影像以及多個(gè)公開遙感資源，覆蓋 SPOT、高分系列、吉林一號(hào)、Pleiades、Google/Baidu 地圖服務(wù)、Bing 影像等多種來源，具有較強(qiáng)的跨平臺(tái)和跨成像條件多樣性。

不過，LEVIRDet-159 的價(jià)值并不只是 “把更多數(shù)據(jù)組合在一起”。團(tuán)隊(duì)對(duì)原始數(shù)據(jù)進(jìn)行了系統(tǒng)化重建：約 148 萬個(gè)標(biāo)注框?yàn)樾略鰳?biāo)注，約 85 萬個(gè)標(biāo)注框經(jīng)過幾何修正或細(xì)粒度重標(biāo)注。換言之，LEVIRDet-159 是在統(tǒng)一標(biāo)注規(guī)范和語義體系下重新組織、校準(zhǔn)和擴(kuò)展得到的，而不是已有數(shù)據(jù)集的簡(jiǎn)單合并。

LEVIRDetNet：面向通用遙感檢測(cè)的

尺度 - 層級(jí)感知基礎(chǔ)模型

基于 LEVIRDet-159，團(tuán)隊(duì)進(jìn)一步提出了 LEVIRDetNet，一個(gè)面向通用遙感目標(biāo)檢測(cè)的尺度 - 層級(jí)感知基礎(chǔ)模型。

LEVIRDetNet 以端到端檢測(cè)框架為基礎(chǔ)，引入了三個(gè)面向遙感場(chǎng)景的關(guān)鍵設(shè)計(jì)：

第一，在線視覺空間分辨率（Ground Sampling Distance, GSD）預(yù)測(cè)。遙感圖像中，目標(biāo)在圖像中的像素大小與真實(shí)物理尺度之間高度相關(guān)。LEVIRDetNet 不依賴外部元數(shù)據(jù)，而是直接從圖像內(nèi)容中預(yù)測(cè)視覺 GSD，并將其作為模型的尺度條件信號(hào)。

第二，GSD 條件化查詢調(diào)制與動(dòng)態(tài)查詢分配。遙感圖像既可能包含稀疏的大目標(biāo)，也可能包含成百上千個(gè)密集小目標(biāo)。LEVIRDetNet 根據(jù)圖像尺度和場(chǎng)景密度動(dòng)態(tài)調(diào)整檢測(cè)查詢，使模型在稀疏場(chǎng)景中減少冗余計(jì)算，在密集小目標(biāo)場(chǎng)景中保留足夠檢測(cè)能力。

第三，層級(jí)感知檢測(cè)頭。面對(duì)父類與細(xì)粒度子類共存的遙感類別體系，傳統(tǒng)扁平分類器容易將語義相容的預(yù)測(cè)視為錯(cuò)誤。LEVIRDetNet 通過層級(jí)感知分類機(jī)制，在訓(xùn)練中同時(shí)利用父類、子類和祖先路徑信息，使模型能夠更好地處理混合粒度標(biāo)注，并兼容常規(guī)平面類別評(píng)測(cè)。

這些設(shè)計(jì)使 LEVIRDetNet 不僅 “看得多”，也能更好地理解遙感圖像中的尺度變化、目標(biāo)密度和類別層級(jí)結(jié)構(gòu)。

直接橫掃 9 個(gè)外部基準(zhǔn)

為了驗(yàn)證模型的真實(shí)泛化能力，團(tuán)隊(duì)采用了嚴(yán)格的 target-training-free cross-benchmark 評(píng)測(cè)設(shè)置：模型只在 LEVIRDet-159 上訓(xùn)練一次，隨后直接測(cè)試在 9 個(gè)外部遙感目標(biāo)檢測(cè)基準(zhǔn)上，不使用目標(biāo)數(shù)據(jù)集的訓(xùn)練圖像、標(biāo)注或微調(diào)。

這一設(shè)置比常規(guī)監(jiān)督評(píng)測(cè)更加嚴(yán)格。常規(guī)方法通常需要在每個(gè)目標(biāo)數(shù)據(jù)集上重新訓(xùn)練或微調(diào)，而 LEVIRDetNet 則以單一模型、單套權(quán)重直接遷移到不同數(shù)據(jù)集。

結(jié)果顯示，LEVIRDetNet 在 9 個(gè)外部基準(zhǔn)上均取得第一名，平均主指標(biāo) AP 達(dá)到 80.56%，相比最強(qiáng)的全監(jiān)督競(jìng)爭(zhēng)方法平均提升 5.02 mAP。在與開放集檢測(cè)和 grounding 模型的對(duì)比中，LEVIRDetNet 也展現(xiàn)出更穩(wěn)定的精確率和召回率，特別是在實(shí)際應(yīng)用常用的置信度閾值下表現(xiàn)更可靠。

這說明，LEVIRDetNet 并不是在單一數(shù)據(jù)集上 “刷榜”，而是在跨類別體系、跨空間分辨率、跨傳感器平臺(tái)的復(fù)雜設(shè)置下，展現(xiàn)出遙感檢測(cè)基礎(chǔ)模型應(yīng)有的泛化能力。

遙感目標(biāo)檢測(cè)邁向 “通用模型” 階段

LEVIRDet 的發(fā)布，標(biāo)志著遙感目標(biāo)檢測(cè)正在從 “小規(guī)模專用數(shù)據(jù)集 + 單任務(wù)模型” 的階段，走向 “大規(guī)模統(tǒng)一數(shù)據(jù)體系 + 通用基礎(chǔ)模型” 的新階段。

對(duì)于科研社區(qū)而言，LEVIRDet-159 提供了一個(gè)覆蓋類別更廣、標(biāo)注更密集、來源更多樣、協(xié)議更統(tǒng)一的大規(guī)模數(shù)據(jù)基礎(chǔ)。對(duì)于模型研究而言，LEVIRDetNet 展示了如何將遙感領(lǐng)域知識(shí)融入檢測(cè)基礎(chǔ)模型，包括 GSD、場(chǎng)景密度、目標(biāo)尺度和類別層級(jí)等關(guān)鍵因素。

未來，隨著完整圖像、標(biāo)注、源許可證清單、代碼和訓(xùn)練模型的開放，LEVIRDet 有望進(jìn)一步推動(dòng)通用遙感目標(biāo)檢測(cè)、細(xì)粒度遙感識(shí)別、跨域遙感解譯和遙感視覺基礎(chǔ)模型的發(fā)展。

在真實(shí)地球觀測(cè)場(chǎng)景中，模型需要面對(duì)的從來不是單一數(shù)據(jù)集，而是多源、多尺度、多類別、多任務(wù)并存的復(fù)雜世界。LEVIRDet 的目標(biāo)，正是讓遙感目標(biāo)檢測(cè)模型從 “適配一個(gè)基準(zhǔn)”，走向 “理解真實(shí)世界”。