【綜述】遙感衛星視頻目標跟蹤方法

摘要：梳理遙感衛星視頻單目標跟蹤技術的研究進展，分析現有方法的優缺點，并探討未來發展方向。通過文獻調研與對比分析，系統總結了近五年國內外在該領域的研究成果。將現有方法分為基于相關濾波和基于深度學習兩類，分別分析其技術特點與性能。結合公開數據集，對代表性方法的跟蹤精度進行了對比評價，并探討了不同方法的適用性與局限性。實驗結果表明，基于相關濾波的方法在計算速度與跟蹤精度方面表現優異。在公開的SatSOT數據集上，其跟蹤精確率最高可達到69.8%,平均幀率超過30 frame/s,展現出較強的實用性與實時性。這類方法通過利用目標的表觀特征和運動信息，能夠在較低計算成本下實現高效跟蹤，尤其適用于資源受限的星載平臺。相比之下，基于深度學習的方法在特征表達和復雜場景適應性方面具有顯著優勢，但由于遙感領域缺乏大規模標注數據，其在相同數據集上的最高跟蹤精確率目前為66.9%,低于相關濾波方法。總結了遙感衛星視頻單目標跟蹤的研究進展，相關濾波方法成熟且實時性強，適用于當前任務；深度學習方法潛力巨大，是未來重要方向。因此未來研究需聚焦高性能深度學習目標跟蹤方法及其實時性能優化。

01

引言

本文從目標跟蹤兩種不同的主流技術路線出發，詳細介紹了衛星視頻目標跟蹤方法的研究進展和現狀，對不同技術路線的代表性目標跟蹤工作進行了對比分析。介紹了衛星視頻目標跟蹤的公開數據集并對比了各類代表性方法的目標跟蹤精度。最后對國內外研究當前存在的問題和未來的發展方向進行了分析和展望。

02

遙感衛星視頻目標跟蹤方法

如圖1所示，視覺目標跟蹤技術目前的研究可以分成兩類：第一類是基于相關濾波(Correlation Filter)的方法；第二類是基于深度學習的方法。相關濾波類算法精度較高、運行速度快、計算量小且能在CPU設備上實時運行；深度學習算法精度高，然而計算量較大且在GPU設備上才能實時運行。因此本文主要從相關濾波與深度學習兩方面展開介紹。

圖1 衛星視頻目標跟蹤方法匯總

圖2 相關濾波與深度學習方法的對比概述

03

目標跟蹤精度評估與公開數據集

當前公開的遙感衛星視頻目標跟蹤數據集主要為SatSOT 與OOTB。

深度學習方法在遙感衛星視頻中落后于相關濾波方法的深層原因主要包括以下幾點：

1. 目標特征微弱：衛星視頻中的目標通常具有較低分辨率和較少的紋理特征，深度學習方法依賴的高維特征難以有效提取。這使得深度模型在該場景下特征表征能力不足，易出現混淆目標和背景的情況。

2. 標注數據不足：深度學習模型通常需要大規模標注數據進行訓練，而衛星視頻目標跟蹤任務中可用的數據集較少且場景復雜，導致深度學習模型在訓練中容易過擬合，難以泛化到測試場景。

3. 域差異問題：現有深度學習方法通常針對自然圖像優化，缺乏對衛星視頻中特殊目標(如低對比度、小目標等)的專門適配，直接遷移時性能受限。

綜上所述，如何設計適用于衛星視頻場景的高效深度學習跟蹤網絡，提升對弱小目標特征的提取能力，解決域適配和數據不足等問題，是未來亟需解決的重要研究方向。

圖3和圖4給出了SatSOT數據集和OOTB數據集中五種跟蹤算法的跟蹤可視化結果圖。從圖中可以看出，對于發生遮擋的目標，DOPCF與CPKF均可有效地跟蹤上，而SiamFC++,ECO,SiamRPN++均在目標發生遮擋后跟蹤失敗，主要原因是目標發生遮擋后外觀特征消失，而SiamFC++,ECO和SiamRPN++均只利用了目標的外觀特征，因此在遮擋時跟丟了目標。DOCPF和CPKF不僅僅利用了目標的外觀特征，還使用了目標的運動特征，因此在目標發生遮擋后仍能持續穩定地跟蹤目標。除此之外，從圖中也可看出，DOPCF具備非常優秀的抗干擾能力，對于干擾目標眾多的復雜場景仍能夠有效地跟蹤指定目標。

圖3 SatSOT數據集跟蹤可視化結果

圖4 OOTB數據集跟蹤可視化結果

04

存在的問題和未來展望

通過前文對遙感衛星視頻目標跟蹤方法以及相關工作的梳理和總結，可以看出，衛星視頻目標跟蹤的主流方法主要為基于相關濾波的方法與基于深度學習的方法。盡管國內外學者已經提出了許多遙感圖像目標跟蹤方法，但仍存在許多問題亟需進一步解決。以下從五個方面對當前問題進行總結，并提出未來的研究方向：

1) 研發高性能的深度學習目標跟蹤方法

由于衛星視頻中的目標尺寸非常小，特征較為微弱，當前大量先進的深度學習方法難以取得優越的性能。從實驗結果可看出，目前表現性能較好的方法主要還是相關濾波類方法，而在自然圖像中大放異彩的Transformer類跟蹤方法性能極低。這種性能下降原因我們認為主要包括以下幾點：首先，Transformer類方法依賴豐富的上下文信息來構建全局表示，但衛星視頻中的小目標提供的信息有限，特征表達能力不足；第二，Transformer傾向于捕獲顯著區域，但在背景復雜或干擾目標較多的情況下，容易混淆目標和背景；第三，大多數Transformer方法在自然圖像數據集上預訓練，而遙感圖像的分布和特征明顯不同，導致性能無法充分發揮。

未來研究可從以下方向改進：首先，設計對小目標特征的適配模塊，增強模型對弱小目標特征的提取能力；第二，引入目標與背景分離機制，通過先驗知識或注意力約束，提升模型在復雜背景下的判別能力；第三，開展跨領域遷移學習研究，結合遙感圖像的特性優化預訓練策略，提升Transformer類方法的適配能力。

2) 構建大規模遙感圖像目標跟蹤訓練數據集

當前的深度學習方法大部分都是在自然圖像中訓練的，主要原因在于缺乏大規模的遙感圖像目標跟蹤訓練數據集。然而，遙感圖像與自然圖像的數據分布存在較大的差異，跟蹤器只在自然圖像中訓練難以取得適配遙感圖像的模型，因此亟需構建大規模遙感圖像目標跟蹤訓練數據集。

未來數據集的構建需關注以下特點：首先，數據集應該涵蓋不同的分辨率、氣候條件、目標種類和背景復雜度；第二，支持旋轉框跟蹤、小目標跟蹤任務；第三，推動學術界共享標注數據集，加速遙感領域深度學習目標跟蹤研究的進展。

3) 研發多源數據融合的目標跟蹤方法

當前的方法主要是針對可見光圖像所設計的，然而在成像條件惡劣，如云霧天氣時，目標難以探測得到。而合成孔徑雷達(SAR)圖像具有穿透云層和煙霧的能力，可提升惡劣天氣下的目標探測性能；紅外圖像對夜間或低光照條件下的目標具有良好的表現。因此，可考慮將SAR圖像或者紅外圖像與可見光圖像進行結合，開展多源數據融合的目標跟蹤方法研究，實現全天時、全天候條件下的目標跟蹤。

4) 研發高精度輕量化的深度學習目標跟蹤網絡

當前大部分的跟蹤網絡層數較深，參數量和計算量較大，難以在計算資源較少的邊緣設備上實時運行。因此亟需開展高精度輕量化的深度學習目標跟蹤網絡的研究。

未來研究可從以下方向出發：第一，通過剪枝、量化和知識蒸餾技術減少模型復雜度，提升推理效率；第二，設計高效的注意力機制和特征提取模塊，減少計算開銷；第三，根據場景需求動態調整模型復雜度，實現計算資源的靈活分配。

5) 研發長時目標跟蹤方法

當前的跟蹤方法能有效地解決短時遮擋的問題，然而難以解決長時遮擋比如目標離開視野后的情況。長時遮擋時需要全圖搜索目標，在尺寸巨大的遙感圖像中搜索目標不僅極大地耗費計算資源，且極易被干擾目標所影響，因此亟需研發有效地長時目標跟蹤方法。

未來研究可從以下方向出發：第一，結合局部跟蹤與全局搜索策略，僅在必要時觸發全圖搜索以降低計算開銷；第二，通過時空關系建模，增強模型對長時運動軌跡的預測能力；第三，利用場景中其他目標的運動信息，推斷目標可能的位置范圍。

05

結論

1. 衛星視頻目標跟蹤技術近年來在算法精度上取得了顯著進展，但在成功率和精確率等關鍵性能指標上仍有較大的提升空間，尤其是在復雜場景中的魯棒性表現仍需加強。

2. 當前研究表明，基于相關濾波的目標跟蹤方法以其較高的實時性和效率，在衛星視頻目標跟蹤任務中表現出色；而基于深度學習的方法雖然具備顯著的提升潛力，但由于缺乏大規模遙感圖像目標跟蹤訓練數據集，其性能尚未充分發揮。

3. 衛星視頻目標跟蹤方法仍面臨多方面挑戰，包括大規模遙感圖像訓練數據集的缺失、跟蹤網絡的計算量和參數量過大、輕量化設計不足，以及網絡模型精度在復雜環境中的適應性問題。

4. 本文的梳理和總結為研究人員提供了國內外衛星視頻目標跟蹤技術的全面視角，有助于在未來研究中聚焦當前存在的問題和技術瓶頸，推動相關領域的發展。

5. 未來研究可重點關注以下方向：構建高質量的大規模遙感圖像目標跟蹤數據集，研發高精度輕量化跟蹤網絡，探索多模態數據融合方法，以及提升算法在復雜環境中的魯棒性和適應性，以更好地支持衛星視頻的充分利用和信息高效獲取。

來源：中國空間科學技術 轉自：測繪學術資訊