AI技術賦能遙感衛星數據在軌處理

王家耀 1,2顏軍 3,4吳佳奇 3鄧劍文 3董文岳 3張強 3龔永紅 3蔣曉華 3張建辰 1,2胡勝華 5

1. 河南大學地理與環境學院2. 河南省時空大數據產業技術研究院(河南大學)3. 珠海航宇微科技股份有限公司4. 青島科技大學數據科學學院 5. 廣東省國土資源技術中心

摘要：遙感衛星數據在軌智能處理已成為遙感領域的前沿技術，是實現“星數天算”的有效技術途徑。 本文綜述了當前國內外主流的數據在軌智能處理系統發展現狀，分析了行業面對的問題，提出了天地一體的智慧星座系統架構，構建了一種集固有處理、信息提取、知識生成功能于一體的衛星數據在軌智能處理系統，探索了利用人工智能AI模型及算法以及星地一體化處理系統實施在軌信息提取和知識生成的方法。 為驗證上述系統框架和方法，利用高光譜衛星數據進行了船舶檢測和林火火點檢測及預警的仿真試驗。 試驗結果表明該系統框架的總體設計是可行的，提出的在軌信息提取和知識生成的方法是有效的。 提出的系統架構為衛星在軌信息提取及知識生成并最終賦予衛星在軌思考能力，提供了一種可行的技術路線。 衛星在軌思考的能力取決于在軌處理系統的架構設計、信息提取和知識生成的AI模型和算法，而算法的好壞將依賴衛星數據地面計算中心對其的不斷優化和長期的迭代。 無疑，衛星在軌處理系統將對衛星地面系統的架構和算力提出更加苛刻的要求，長遠來看，這將助力“星數地算”的快速發展。

引用：[1] 王家耀,顏軍,吳佳奇,等. AI技術賦能遙感衛星數據在軌處理[J]. 測繪科學技術學報, 2024, 40 (6): 571-590.

對地觀測是人們認識和保護地球的重要手段，商業衛星遙感的快速發展推動了行業需求的全面發展 [1] 。對地觀測衛星利用星載傳感器從太空探測目標地物，獲取其反射、輻射或散射的電磁波信息(如電場、磁場、電磁波、地震波等信息)。衛星遙感(RS)技術具有覆蓋區域廣、持續時間長、不受空域國界限制等優勢，已成為當前對地觀測獲取信息的重要技術手段，在地球資源探測、防災減災、環境保護等領域具有廣泛應用。衛星對地遙感所獲取的數據，需要對其進行一系列技術處理才能真正服務于各行各業。

衛星對地觀測數據服務一般經歷“數據獲取—數據傳輸—數據地面接收—地面數據處理—專題生產—數據存儲—數據分發及應用”等階段和環節。其中，數據解壓、編目、校正、信息提取等地面數據處理就需要歷經數小時甚至數天的時間，這只能服務于對時間沒有緊迫要求的應用場景。這種傳統服務模式難以滿足應急事件對于高時效的要求。

目前，面對頻發的自然災害和緊張的國際局勢，高時效的對地觀測及數據處理成為行業關注的重點，“及時準確”已成為應對突發事件的關鍵要求。因此，如何縮短數據傳輸、地面接收、地面處理、專題生產等環節的時間，使得用戶能快速得到需要的信息或知識，已成為學界和業界關注的焦點。正是在這種情況下，基于衛星數據在軌處理系統的智能化遙感衛星逐漸發展起來。

遙感衛星數據在軌智能處理可追溯到2000年左右，以美國、歐洲為代表的研究機構，開展了衛星數據在軌處理的初步探索。但令人遺憾的是，宇航計算機芯片的算力一直難以匹配行業的需求，使得行業只能在軌處理簡單的任務。直至2010年，空間計算技術開始得以發展，逐步應用于數據在軌處理。2020年，AI技術應用的成功，也促進了AI芯片及各類算法的發展，人們試圖把地面高效的AI處理搬到太空中。

在當前遙感衛星種類和數量都在快速增長的情況下，應該探索一種“星數天算”和“星數地算”高效協同方式完成衛星遙感數據快速處理模式。這里的“星數”泛指衛星遙感數據，“天算”和“地算”分別泛指在軌衛星算力和地面系統算力。這種“天算”和“地算”協同處理的模式，將大幅提升衛星對地觀測服務的時效性。

本文介紹了該領域國內外進展，分析了存在的問題和發展趨勢；提出了天地一體的智慧星座系統架構及其核心組成部分；設計了衛星遙感數據在軌處理硬件工程及在軌處理算法實現和流程；介紹了衛星遙感數據在軌處理試驗，并對試驗結果進行了分析；最后進行了總結和討論。

1 國內外研究進展1.1 國外研究進展1.1.1 美國衛星遙感影像在軌處理進展

2000年，美國設計的 NEMO衛星搭載了美國海軍研究所研制的星上處理載荷ORASIS(Optical Real-time Adaptive Signature Identification System),其核心為多個 DSP(Digital Signal Processing)處理器構成的圖像并行處理陣列，能夠實時對星上超光譜數據的特征進行提取、數據壓縮等，將結果直接下行，服務地面應用 [2] 。同年11月，美國國家航空航天局發射了EO-1衛星，旨在對預先設定的目標進行自主觀測，如在軌對感興趣區域特征提取、變化檢測等處理，縮短了星上數據下傳耗時 [3] 。這一時期的研究探索了在軌處理應用的可行性和應用領域。

2009年5月，美國空軍發射的戰術衛星TacSat-3加裝了星上自主處理器，具備自主規劃星上超光譜成像儀采集方式、圖像數據實時處理及存儲等功能 [4-6] 。通過星上自主處理器對超光譜圖像的實時處理，可在星上發現地面隱藏目標，從而獲得戰場周邊更多信息，為飛機降落點的選擇、地面車輛行動路線的規劃等提供更多支撐。

為有效去除影像中的冗余背景數據，實現對感興趣目標的檢測跟蹤及切片數據下傳，美國“國防支援計劃”在天基預警衛星搭載了星上數據處理器 [7] 。美國天基紅外系統SBIRS(Space Based Infrared System)同時具備彈道導彈、戰術導彈等多種目標的高置信度提取能力，并且可直接分發到戰術端 [8] 。

2009年5月，美國國家航空航天局戈達德太空飛行中心(GSFC)推出了機載混合科學數據處理系統SpaceCube。該數據處理系統采用了商用抗輻射賽靈思Virtex FPGA技術，并將其與集成的失調檢測和校正架構相結合，從而在計算能力方面比傳統的輻射加固處理器有了10～100倍“數量級”的提升 [9] ;同時降低了相對功耗和成本。SpaceCube具有飛行數據處理系統，飛行中可重新配置；同時支持多達6塊Xilinx Virtex5 FPGA,處理能力可達5 000 MIPS(Million Instructions Per Second, 每秒處理的百萬級機器語言指令數) [10] 。這一在軌處理系統在當時初步具備了一定的應用價值，開始應用于國防領域。

2019年完成的SpaceCube v3.0系統，采用了Kintex超尺度現場可編程門陣列(FPGA)和Xilinx Zymg 芯片上多處理器系統作為核心處理單元，使得行業認可其靈活性、模塊化、兼容性的特色，可以在多個應用場合中使用。

2018年2月，美國國防高級研究計劃局啟動“黑杰克”低軌衛星星座項目。該項目充分利用人工智能、低成本商業衛星平臺及載荷、在軌大規模分布式計算等技術，通過星上自主分布式決策處理器，探索衛星數據在軌自主處理。在無地面運營中心支持的情況下，衛星可獨立運行1個月，以滿足全球范圍內情報監視與偵察、指揮控制以及戰術作戰等多任務需求 [5-11] 。2022年，該系統成功完成星間光鏈路OISL(Optical Inter-Satallite Link)天基激光通信演示，在114 km范圍內傳輸了約280 Gb數據，工作總時長超過40 min [12] 。這個實驗，初步探索了在軌處理系統逐步應用于商業領域的可行性。

在衛星在軌處理領域，美國航天一直在持續推進數據在軌處理技術的探索和各個場合的應用。其研究主要聚焦在系統的靈活性、模塊化、兼容性的設計，積極探索利用人工智能、低成本商業衛星平臺及載荷、在軌大規模分布式計算等技術在在軌處理系統中的應用。

1.1.2 歐洲衛星遙感影像在軌處理進展

在歐洲，歐洲空間局的PROBA衛星和PhiSat-1衛星、德國空間中心的BIRD T衛星、法國空間中心的Pleiades衛星等，都在一定程度上對衛星遙感數據在軌處理進行了探索，在特征提取、數據壓縮和分析等方面取得了一定的成果。

歐洲空間局在2000年左右啟動了PROBA [13] 項目，并于2009年11月發射了PROBA-2衛星，其高分辨率成像光譜儀處理系統是一個DSP處理系統，具有星上光譜通道可編程能力，可以根據需要進行光譜通道的合并和在軌數據處理 [14] 。PROBA是歐空局第一個具有完全自主能力的航天器，主要執行導航、有效載荷和資源管理等日常任務，地面部分是高度自動化的，允許無監督的通過自動上行遙控、接收和處理遙測數據、提取有效載荷產品并將其分發到服務器 [15] 。

2020年9月，歐洲空間局發射的PhiSat-1是第一個展示人工智能如何用于地球觀測實驗——過濾掉由于云層覆蓋而不太完美的圖像，只傳送可用的數據至地面站，其AI處理器是基于Myriad2的Movidius芯片和Ubotica的EoT硬件加速器(SectionIII-B) [16] 。

德國空間中心研制的BIRD T衛星于2001年10月成功發射，其星上處理載荷由FPGA、DSP等處理器組成，可對可見光、中波紅外、熱紅外圖像數據進行輻射校正、幾何校正、特征提取、圖像分類等在軌處理 [17] 。衛星控制系統允許衛星進行遠程自主操作，同時以最高優先級確保衛星的生存能力。星載計算系統是一個分布式容錯多計算機系統，它執行所有的控制、遙測和監測以及與應用程序相關的任務。為了實現高可靠性、安全性和壽命，機載計算機配置由4臺相同的計算機(節點)組成。冗余控制計算機的結構是完全對稱的，這意味著每個節點都能夠執行所有的控制任務。其中兩臺計算機保持連續運行(一臺為熱冗余),另外兩個節點為冷冗余 [18-20] 。2012年發射的TET-1(服務期至2019年9月)是軌道驗證(OOV)計劃中的技術演示衛星，裝配了基于多光譜輻射計的熱點識別系統(HSRS)。其焦距為 90.9 mm, FOV 為 19.6°,條帶寬度為211 km, 地面像素寬度為42.4 km, 其目標是對野火和火山等 HTE(高溫事件)進行檢測和定量分析。TET-1系統核心計算模塊是基于SPARC-V8架構的LEON-3-CPU 和 FPGA(RTAX-1000),其處理性能為20 MIPS [21] 。

法國空間中心研制的高分辨率光學衛星Pleiades-1A和Pleiades-1B [22] 分別于2011年12月和2012年12月發射，星上圖像處理器利用FPGA實現圖像數據的采集、校正、壓縮等在軌處理 [23-24] 。可重構星載計算機以FPGA為核心，可依據星上任務進程自主調整電路結構進而動態改變星上計算機功能，利用單一處理器資源分時復用實現多處理器功能，可簡化星上中心機配置數量和在軌升級機制，同時還在系統層增強了其對輻射損傷的應對能力。

在衛星遙感影像在軌處理領域，歐洲起步較早，也一直在持續推進數據在軌處理技術的探索。在其設計實施中，高速宇航處理芯片的使用并不多見，所以，其處理能力受到較大制約。

1.2 國內研究進展

針對星上遙感影像在軌處理，國內眾多高校和科研院所也開展了大量研究工作。 中科院軟件所于2018年發射的“天智一號”衛星，是我國首顆在軌軟件定義衛星，其主要載荷包括1臺超分相機、4臺大視場相機以及云計算平臺。 通過云計算平臺智能調配計算節點，“天智一號”衛星可以在軌完成部分數據處理任務，并將處理結果下傳地面。

2019年1月，長光衛星技術有限公司發射的“吉林號”光譜01和02星，搭載了遙感影像在軌實時智能處理系統，具備云霧檢測、船舶識別等功能，并支持處理程序在軌上注更新。硬件平臺選用TI公司的宇航級SMV320C6727B DSP作為主要運算單元，選用Xilinx公司的V5FX70T FPGA作為協處理器，實施可并行計算的高密度運算以及接口邏輯，DSP處理能力為1.5 GFLOPs(Giga Floating-point Operations Per Second, 每秒10億次的浮點運算數)。在軌智能處理系統支持在軌重注(類似“平臺軟件+處理app”),可以通過更新應用層處理軟件，實現算法的迭代優化，結合地面場景仿真系統，可以實現智能處理系統在軌快速“進化” 。

武漢大學正在研制的“珞珈三號”01星，主要任務是對星上遙感影像數據實時獲取、高效壓縮、智能處理等關鍵技術進行驗證，探索天基遙感信息服務新模式。星上智能處理單元采用主備異構軟硬件架構，主份硬件基于高性能GPU進行設計，配備開放軟件平臺(Linux),支持基于APP的在軌實時圖像/視頻處理；備份硬件基于FPGA設計，支持在軌常規壓縮；同時主備通道均配置大容量固存模塊，支持原始圖像及處理后圖像的在軌存儲。在軌處理模式以任務位置信息為牽引，以目標/場景內容和變化事件為驅動，實現了在軌定位、影像產品生成、靜動態目標信息提取、數據壓縮等功能 。

西安空間無線電技術研究所利用大規模FPGA與多核DSP設計了星上處理系統，支持基于深度學習模型的目標檢測與識別 。

西安交通大學設計了一種FPGA-DSP可重構異構計算單元，通過分時加載的方式，支持4類FPGA程序和6類DSP程序進行重構，從而實現輻射校正、云判、感興趣區域信息提取等不同任務功能 。

北京理工大學星上圖像目標實時處理分系統實現了實時目標檢測和定位處理，處理延遲小于5 s, 檢測和定位精度與地面實時處理相同。該系統采用模塊化設計，基于FPGA+DSP異構并行，可在軌實現1 Gb/s速率數據的實時目標檢測處理。系統功耗小于60 W。核心處理器選用了兩片TI的高速定點DSPTMS320C6416-7E3/720,峰值運算能力為11 520×106乘累加/s [33-34] 。

山東航天電子技術研究所基于國產商用高性能神經網絡加速器寒武紀創智2號，采用FPGA+CPU+NPU+DSP/GPU的處理架構研制了星上圖像實時處理系統 [35-36] 。其整機典型功耗為 120 W,測試YOLOv3 網絡對船舶、飛機、港口等重點目標進行檢測，4 096×4 096像素圖像處理時間為30 ms, 每類目標的識別率都達到 85% 以上， 平均檢測精度mAP為0.64。

珠海歐比特衛星大數據有限公司基于玉龍810芯片構建了處理能力為72 TOPS(Tera Operations Per Second, 每秒萬億次操作)在軌處理系統，進行了在軌遙感智能處理的架構設計與實驗驗證工作，構建了天地一體的協同處理機制，形成了包括固有處理、信息提取、知識生成的計算框架，開展了船舶檢測、林火檢測等遙感應用測試。

在衛星在軌處理領域，中國航天及科研院所起步較晚，但起點較高。可能前幾年宇航AI芯片沒有面世，使得大部分研究沒有能夠利用此技術產品構建在軌處理系統。所幸的是，以玉龍810為代表的宇航AI芯片已經進入市場，這為中國航天下一步在軌處理系統的設計帶來新的機遇。

1.3 存在的問題及研究目標1.3.1存在的問題

縱觀國內外的發展，衛星在軌智能處理是技術挑戰較強的領域，已經在部分領域取得了一定的進展，目前存在的問題包括：

1)遙感衛星在軌處理研究主要集中在單個衛星上，不能滿足星座協同、星地協同處理等方面的需求，尚未實現星地協同一體化處理。

2)遙感衛星數據的固有處理技術相對成熟，但在實現需面向在軌處理時所需的輕量化、體系化方面，還需開展深入研究。

3)在軌處理研究主要集中在基于AI算法的星上解譯，對地物的解譯依賴于預先訓練的模型，將在軌處理局限在遙感影像解譯功能上沒有實現衛星智能化處理和思考功能。

4)數據處理能力制約。一方面智能處理芯片是在軌處理能力的核心制約要素，目前的航天級芯片價格非常昂貴，產能有限。另一方面大量遙感地球觀測任務存在多種計算模式、計算設備混合計算需求，亟需發展適應在軌模式需求的多模態異構計算體系。

1.3.2 研究目標

針對以上問題，本文從以下4個方向開展了探索。行業在呼喚高時效性的衛星服務，并希望實現如下目標：

1)完善的星地協同一體化處理。

利用星上數據處理直接在軌生成用戶所需的信息并進行分發，滿足高時效應用需求。在此基礎上，地面處理系統接收到數據、信息和知識及相關模型和算法后，將繼續進行更加精細全面的態勢評估；并根據評估結果，進一步優化星上數據處理模型和算法，形成更加完整的知識體系和思考能力，并通過星地鏈路上注到星上數據處理平臺，以完成模型算法優化更新、知識積累及思考，不斷提升星上在軌處理的準確性、可靠性以及智能思考能力。

2)更加精確快速的固有處理能力。

在軌處理系統，配置輕量化的控制點庫和周期性標定功能，必須具備更加精確快速的固有處理功能，包括但不局限于ROI數據截取、輻射校正、幾何校正、光譜對準、正射校正、數據壓縮等數據處理任務。

3)基于AI模型算法的信息提取和知識生成。

實時信息提取、目標檢測和變化監測、知識生成等功能是在軌處理系統必須具備的功能。AI技術是實現上述在軌處理的重要發力點，但基于自然場景圖像處理發展起來的深度學習模型并不適合遙感應用場景的需求。這就需要針對衛星遙感影像的數據特點和任務特點，研究適合衛星遙感影像在軌處理的深度學習模型、算法、計算流程、輕量化計算等問題，以及當前應用場景下，進一步拓展從信息到知識的處理應用。

4)大算力的硬件配置。

在軌處理系統必須配置大算力的硬件，即AI處理器芯片。面對大量遙感地球觀測任務和低成本需求，工業級設備開始逐步應用于智能遙感近地軌道上的衛星，在軌數據處理的研究也逐漸開始探索邊緣GPU,如 Jetson TX 2 (1 TFLOPs(Tera Floating-point Operations Per Second, 每秒萬億次浮點運算)) 和 Xavier NX (14 TFLOPs)。這些低成本的工業級芯片雖然顯著提升了機載遙感數據處理能力，但仍亟需推進自主可控的國產高性能大算力宇航級處理器件(GPU、NPU等)的研制。完善星上處理平臺硬件系統，配置高達60～200 TOPS處理能力的AI處理系統及可信軟件架構，實現平臺應用軟件與底層硬件之間的良好適配，支持批量AI模型與算法和開放式的測試與應用，是在軌處理系統的理想選擇。

2 星地協同一體化處理2.1 星地協同處理架構

星地協同處理，除傳統的解譯模型之外，遙感衛星數據在軌處理還增設知識生成的處理功能，以形成知識積累的能力，實現衛星之間、衛星與地面中心之間的知識共享，通過持續的知識積累與提升，逐步提高衛星數據在軌處理的智能化程度，最終形成衛星及星座“思考”的能力，逐步實現如圖1所示的智慧星座系統架構。

星地一體化智慧星座系統由衛星地面處理系統和多顆具備在軌智能計算的遙感衛星組成，各衛星之間、衛星與地面中心之間具備通信通道，地面可對衛星實施任務部署、功能調整。在空間資源制約下，單顆衛星可執行感知任務的空間范圍和復雜度受到很大的制約。通過地面調度和部署，可以通過天地互補的一體化方式實現以下更強的空間感知能力。

1)通過地面調度，即采用上注指令與算法的方式更新與調整衛星智能處理功能，擴大單顆衛星智能感知的空間范圍，增強衛星對復雜任務的適配性。

2)通過空間組網觀測、協同作業，提升感知范圍和頻次，提高數據在軌處理的“覆蓋度”,增強星座對廣域任務的適配性。

3)通過長期持續的觀測，形成數據和知識的積累，在地面進行持續迭代更新，提升模型處理性能，從而提高單顆衛星智能的“深度”,增強衛星處理性能。

基于星地一體化感知的智慧星座，能有效擺脫單顆衛星資源限制，實現更復雜的“星數天算”智能處理。

2.2 在軌處理系統架構設計

當前開展的數據在軌處理研究以任務導向為主，為任務目標開展定制化優化的同時，提升專項任務的處理能力，但一定程度上會降低應對更開放任務場景的性能。此外，當前研究數據在軌處理任務集中在信息處理層次，面向知識生成的遙感應用模式已經受到重視 [37-39] ,正在推動遙感技術向知識化、智能化層次的高質量發展。因此，本文提出了一種寬兼容、層級化的遙感數據在軌處理架構，如圖2所示。該架構能夠提升數據在軌處理模式的兼容性，并將數據在軌處理的任務從信息處理擴展到知識生成。

從圖2可知，在軌處理系統主要包含3個核心部分：固有處理、信息提取和知識生成。

固有處理為后續分析應用提供標準影像產品和定位信息，包括幾何定位求解(或幾何模型構建)、相對輻射糾正等處理 [40-49] ,解決“星數”的規范化問題；信息提取則根據場景服務需要，開展特定目標的檢測、識別或變化分析等 [50-60] ,解決“星數”的智能化處理問題；知識推理生成則是根據信息提取結果和其他多源參數、專家知識庫等，為特定場景提供專題知識、分析報告和決策參考等 [37-39] ,解決“星數”的服務化問題。

1)圖像固有處理。

固有處理流程包括：數據重構、相對輻射校正、幾何校正、絕對輻射校正、大氣校正、數據重采等遙感處理環節，提升圖像質量，規范圖像形態。

2)信息提取。

信息提取流程依托包括深度學習、機器學習等在內的智能處理方法，以預先構建或訓練的算法，對經固有處理的一級數據按一定的規則實施信息提取處理。由于遙感圖像尺寸通常較大(如5 056×5 056),而目前典型AI算法(如YOLO)對數據的處理受制于計算環境，會限定于一個相對較小的尺度(如640×640),因此需要對遙感圖像先進行瓦片化，適配到相應的尺度后再依次實施處理。最后再拼接恢復到原有尺寸，并將解譯結果賦予地理信息后輸出。

3)知識生成。

知識生成流程在信息提取的基礎上，通過構建和更新專題知識庫和知識推理策略，對所獲目標信息進行邏輯推理與分析，在軌生成專題知識。對信息進行結構化的知識表達是進行知識推理的基礎。知識推理方法包括基于本體的推理、基于規則的知識推理及基于表示學習的推理等。知識生成所得到的新知識在遙感應用領域有廣闊的前景。

以固有處理、信息提取和知識生成構建的在軌處理框架，可兼容遙感應急情報分析、遙感解譯應用等平、急任務的計算需求，具有寬泛的包容性和擴展性，對更高層次的遙感知識生成也可以提供計算支撐，可形成多層次智能化處理的方式，支撐“星數天算”的實施。

2.3 可復用、裝配式的異構在軌處理計算體系

遙感影像處理面臨的任務復雜多變，與之相應的遙感衛星在軌智能處理要能夠承擔多種環境的自感知處理能力，甚至能自主決策和自主運行，且數據處理流程更加靈活，信息處理算法更加強大，并能完成更為復雜的在軌處理任務。這就需要采用可復用裝配式的異構開放系統架構，旨在極大地提高衛星系統對有效載荷的適配能力和對算法軟件的兼容能力。無論是硬件部件，還是軟件組件，都可以實現因需裝配，有效支持各類數據/信息的高速交換、高效存儲、智能處理和靈活應用，逐步提升衛星的智能化水平。3層空間計算架構如圖3所示。

1)基礎層。

異構計算(Heterogeneous Computing)是一個包含不同類型指令集和體系架構的計算單元(如CPU、GPU、FPGA、DSP等)進行聯合計算的組合系統。不同的計算單元適合處理不同的計算問題，合理地將不同類型的計算分配到不同硬件上運算可以獲得更優的計算性能和更低的功耗。

在AI領域，常見的異構計算平臺包括CPU+GPU、CPU+FPGA、CPU+NPU等，將串行計算或邏輯調度等計算任務分配給CPU運算，而將矩陣計算等并行計算任務分配給GPU、FPGA或NPU等特定優化的處理器。異構計算系統不僅僅是計算單元的不同，不同異構計算平臺采用的編程框架和指令集也存在很大的差異。在特定場景上，異構計算在性能、性價比、功耗、面積等指標上都有明顯優勢。在軌處理中，數據所需的潛在處理功能涵蓋固有處理、智能處理、知識處理等多個層級，涉及的具體算法囊括輻射校正、幾何校正、深度學習處理、知識推理等10多種。為了充分發揮異構硬件性能和屏蔽硬件差異，需要利用不同計算設備構建異構計算平臺，實施在軌復雜計算需求的快速計算。

2)模塊層。

模塊層是通過基礎層來實現在軌處理關鍵計算模塊的邏輯。對于具體功能，設計者可以依據本身任務特性來明確核心計算模塊具體執行的基礎層設備，如AI計算可依靠GPU、FPGA、DSP來實現。以上僅是AI算法的不同底層實現方式，使應用層脫離底層視角，只需明確該模塊就可實現對應功能。

3)應用層。

應用層以模塊層中的不同功能組合的形態，支撐多類遙感應用場景的在軌處理。針對不同應用環節實施不同的組合方式，如固有處理，對于船舶檢測應用，全色圖像數據輻射校正和幾何校正是必需環節；而林火識別中由于需要依賴多波段數據進行光譜分析，就必須配置輻射校正、幾何校正、波段配準、大氣校正4個環節。因此，知識推理在當前應用模式還未普及的情況下，可以作為一種選配。在軌處理配置示例如表1所示。表中：“√”表示需配置環節，“-”表示不用配置環節，“Δ”表示選配環節。

2.4 基于大數據、強算力的地面智能支撐系統

天地一體化的智慧星座系統應具有基于大數據、強算力的地面智能系統支撐，由圖4所示的3個部分組成。地面智能系統為“星數”和“天算”的實施提供規劃、參數、算法等要素，同時也是“地算”的實施主體。

1)地面任務規劃。

星座智能任務規劃系統針對用戶需求進行智能融合，滾動生成衛星觀測任務，優化異構衛星協同配合，使體系化觀測任務效益最優，形成衛星群體智能感知并獲取遙感數據。應用需求智能融合是星座智能任務規劃的前提，可以將用戶模糊的需求與行業應用智能融合，動態生成衛星觀測任務。基于學習和推理技術，以語義理解分析為基礎，通過行業應用知識庫實現用戶需求應用分析推理、智能感知決策，包括高分辨率、高光譜、紅外、SAR等多模傳感器學習推理，單點重復觀測、區域聯合觀測、動態跟蹤觀測等多業務模式學習推理等技術，形成面向業務需求的智能融合能力。

2)地面固有處理輔助。

在軌衛星運行需要定期或不定期進行固有處理的參數修正，消除器件故障、零點漂移等帶來的不利影響。對于整個星座觀測體系，需要整體形成全球DEM、控制點數據庫等關鍵參數庫。對于每顆衛星需要建立各自的在軌定標參數庫，包括輻射定標參數、幾何定標參數等。這些參數通過定期校正實施修正，并同步到各衛星，提高固有處理性能。

3)地面AI訓練推理。

與人工智能的數據、算法及算力3要素相似，智能遙感解譯也有3大核心要素，即遙感影像樣本庫、遙感智能解譯算法與模型、大規模計算的硬件平臺。目前算力基礎設施可以采用通用硬件平臺，但是由于遙感影像的特殊性和應用的多樣性，需要構建一個開放、統一基準的影像樣本庫，以及高效、可靠的遙感解譯算法與模型庫。

遙感在軌處理星座載荷類別多、應用方向廣、處理要求高，模型算法開發所需的算力、數據也呈現種類繁多、樣式復雜的特點，亟需配置基于衛星大數據、大算力的地面模型算法開發系統，實施對數據、算力等資源的高效調度和統一管理。此外，系統還應具備模型算法向嵌入式平臺移植和優化的接口，打通數據在軌處理模型算法服務的最后“一公里”。

2.5 天地協同的知識生成機制2.5.1 知識生成策略

傳統的知識推理方法主要是基于本體的推理和基于規則的推理，其特點是思路直觀、計算簡單、結果具有可解釋性。近年來出現的知識圖譜方法能以結構化的形式描述客觀世界的概念、實體及其之間的關系，有望將現實世界中的遙感信息表達為更接近人類認知的形式，更好地組織和管理專家先驗知識、遙感成像機理、遙感影像負載的地理學知識，但是需要較高的計算資源。鑒于地面平臺和在軌平臺在計算能力上存在較大的差距，單顆衛星實施星上知識推理使用基于規則的推理方法。在地面知識推理則可以綜合應用各類知識推理方法。

2.5.2 智慧星座的知識庫構成

地面知識庫包含基礎知識庫和應用知識庫，如圖5所示。基礎知識庫包含對按不同屬性劃分的各類地理實體的系統性認知和定義，以及各類實體之間的關系。應用知識庫是基礎知識庫按領域劃分的子集，對應于不同應用領域知識生成模式下所需基礎知識子集KB i 。遙感數據在軌處理平臺，包含即時加載任務需要的各個應用知識集K i 與數據集D i (參見圖1)。知識集和數據集一方面隨任務的不同即時進行調整，另一方面也將即時任務所生成的知識匯入知識集，積累提升知識儲備。

地面知識推理使用基于知識圖譜的推理方法，設計交互式的遙感領域知識圖譜協同建模和迭代機制，包含自底向上的專家交互和自頂向下的運用反饋，以人機協作迭代的方式構建本體模型、標注領域知識庫；能夠自動進行知識抽取、知識表示、知識對齊。在此基礎上，一方面能根據應用需求生成面向應用的規則，分布到各個衛星實施在軌推理計算；另一方面可以融合時空數據、多源數據在地面實施知識應用推理。

2.5.3 智慧星座的知識迭代模式

空地一體智慧星座的知識迭代模式為：任務輸入后，智能任務規劃系統根據需求進行星座任務規劃，明確任務分配、執行時間、模型等約束條件配置，為任務配置相應的數據集知識集，完成指令生成和數據上注，具體步驟如下。

1)業務衛星自主進行數據獲取、固有處理、信息提取、知識生成，通過積累知識實現星上知識集K i 迭代更新，下傳數據集DD和知識集KD,完成知識分享。

2)多星獲取的信息和知識進行星座知識共享，形成星上知識集K i 的更新，實現星間信息的交叉共享和星座協同知識生成。

3)通過地面算法持續優化，定期上傳模型及數據集DU和知識集KU發布更新，不斷增強空間智能處理性能。

4)將智慧星座觀測的知識或數據下傳到地面后，在直接進行知識去重并歸類劃分到相對應數據庫、知識庫的同時，星座還應支持體系外知識的更新，接著將來自互聯網以及領域專家生成的知識，進行知識抽取、實體對齊、知識表達、知識去重等操作，加入到地面數據庫DB和知識庫KB完成迭代更新。

2.6 在軌處理及算法

衛星遙感數據在軌處理需要解決3個關鍵問題，即固有處理、信息處理和知識生成。這是智能衛星在軌實時服務的前提和基礎。同時，面向應用又對在軌處理提出了觀測任務的邏輯判斷與決策、圖像的高算力處理和深度學習模型的快速精準推理等需求。

2.6.1 固有處理

主要包括快速相對輻射校正和幾何定位模型兩個方面。

1)輻射校正。

輻射校正是指建立不同探測元之間響應差異的相對關系，消除因探測元因素帶來的圖像失真。

2)幾何校正。

幾何校正是指消除或改正遙感影像幾何誤差的過程。

固有處理的處理指標：能兼容多波段光譜數據、高分辨率數據、紅外數據等的固有處理特性，對典型圖像輻射校正算法精度優于P%,幾何校正定位優于M像素，單波段5 056×5 056像素影像處理時間少于T G秒，其中T G代表固有處理時間。在“珠海一號”高光譜衛星OHS(Orbita hyperspectral satellite)應用場景下，典型值為P=3,M=10,T G=8。

2.6.2 信息處理

1)模型選擇。本文將信息處理應用方向設定于遙感影像船舶檢測和林火火點檢測任務。這一領域是典型的深度學習檢測任務。目前卷積神經網絡目標檢測算法主要有典型的Two-stage網絡RCNN系列算法 [62-64] 和One-stage算法SSD [65] 以及YOL系列 [66-67] 。Two-stage網絡雖然在精度上有優勢，但存在計算量大的問題。而One-stage網絡將預選框提取與目標識別融合在一個步驟里面完成，彌補了這一缺陷。因此本文選用了YOLOv5s算法 [68] ,針對應用場景進行優化。

2)船舶檢測算法。本次試驗的遙感數據源均來自“珠海一號”高光譜衛星影像數據集，船舶檢測數據集選取32張影像，每張大小均為5 056×5 056像元。試驗前需要對數據進行預處理，把數據裁剪為640×640像元大小的圖幅，并進行16位轉8位的操作，標簽為人工標注。通過樣本清洗，最終得到640×640像元大小的單通道483張標準8位影像，以及1 197個標簽。其中，訓練集和測試集的比例分別為80%和20%,即隨機分配訓練集圖幅有387張，測試集圖幅有96張。

船舶檢測算法在YOLOv5s的基礎上進行了優化。經分析發現YOLOv5s中消耗大量算力的兩個部分，即歸一化函數Sigmoid和卷積層的計算。本文分別從優化激活函數和對模型進行剪枝優化YOLOv5s網絡。一是把計算量較大的SiLU激活函數優化為計算量少且效率高的LeakyReLU激活函數；二是對YOLOv5s進行精準的剪枝來達到提高速度和降低精度損失的效果。得到YOLOv5s-ship后，考慮到算法的在軌處理，本文對其在軌芯片的處理進行特定的工程優化。

表2結果表明，本文提出的算法在效率和精度方面達到了更優的平衡。改用LeakyReLU激活函數的2號網絡對比YOLOv5s(1號網絡)在mAP (0.5)指標上，從0.972提高到0.974,并且在嵌入式設備玉龍810上的運行速度快了5 ms。3號網絡在2號網絡的基礎上增加了剪枝10%,在mAP (0.5)指標上，與1、2號網絡接近，在速度上卻有了7 ms(25.0%)的提升。4號網絡在2號網絡基礎上采用剪枝20%策略，mAP指標上都有明顯的下降。因此，本文采用了最優的3號網絡來實施在軌信息處理。

3)林火火點檢測模型優化。林火火點檢測數據集選取“珠海一號”L1B級標準的高光譜遙感衛星影像共22張，每張原始影像尺寸大小為5 056×5 056像元，通道數為32。L1B級標準產品已完成輻射校正、幾何校正、配準、重采等基礎處理流程。為了完成林火火點目標檢測任務，需要對L1B級高光譜衛星影像進行數據預處理操作，以匹配目標檢測網絡模型輸入格式，降低計算存儲。首先將L1B級高光譜影像數據位深度(bit)從16位轉換為8位；然后選擇高光譜影像中的第1、5、15波段合成真彩色圖像；最后將真彩色圖像數據裁剪為640×640像元并進行樣本清洗，得到林火火點真彩色圖像數據集。使用labelme工具對林火火點真彩色圖像數據集進行手工標注，得到林火火點標簽。將林火火點真彩色圖像數據集與林火火點標簽合并，制作符合YOLOv5s訓練格式的林火火點目標檢測數據集。林火火點目標檢測數據集共包含1 162張圖像樣本，每張圖像樣本尺寸大小為640×640,通道數為3。將林火火點目標檢測數據集按80%和20%的比例劃分訓練集和測試集，訓練集有901張圖像，包含353張無火點目標圖像；測試集有261張圖像，包含156張無火點圖像，用于驗證算法模型在林火檢測方面的效果。在遙感影像數據集中進行火點目標檢測的難點主要有如下4點。

1)目標尺度多樣。火點數據集中存在不同尺寸的火點目標，不同火點目標之間尺寸大小差距較大。

2)背景易混淆為火點。衛星影像中復雜多樣的背景容易混淆為火點目標。

3)部分火點不易識別。部分火點在整幅衛星影像中占比較小，人眼不易察覺。

4)火點煙霧通常具有形狀不規則、邊界不清等特點，給標注工作帶來困難。

本文根據林火火點目標檢測任務特點，在訓練林火火點目標檢測網絡之前，對林火目標檢測數據集進行Mosaic數據增強以提高訓練效率，增強模型定位能力，更好地區分易混淆的火點目標。在訓練目標檢測網絡時采用多尺度訓練策略，設置幾種不同的圖片輸入尺度，訓練時每隔一定迭代次數(iterations),隨機選取一種尺度訓練，增強模型對不同尺度火點目標的檢測能力。在網絡訓練后，根據訓練結果對訓練集進行檢測，將檢測結果與手工標注對比，修改部分標注不清的火點目標。使用修改后的標簽重新訓練林火火點目標檢測模型，最終模型mAP (0.5)達到0.769,召回率(recall)達到0.74。

2.6.3 知識生成

本文從林火形成的各要素出發建立推理邏輯，設計了一種融合多模態數據的林火預測方法，應用基于規則的模糊推理策略，實現了一種基于多模態數據的在軌火情預測模糊推理方法。

1)證據集。

林火的形成過程受客觀條件和主觀條件的影響。客觀條件包括可燃物含量、溫濕度、降水量等因素；主觀條件包括林區管理能力、防治力度等。設計林火預警算法中，可監測數據包含可燃物載量、溫濕度、降水量。其中，可燃物載量是林火形成的物質載體，其特征量可根據遙感數據進行評估；溫濕度、降水量是林火形成的孕災環境，可以經由氣象數據進行測算。

2)模糊隸屬函數設計。

綜合考慮任務目標區時空環境數據如溫度(T i )、濕度(H i )、降水量(P i )等關聯要素，以及基于遙感數據實時提取的可燃物載量(F)等多模態數據，各參數模糊隸屬度定義如下。

①可燃物載量定義如表3所示。

③序列濕度觀測模糊定義

進而，根據林火風險等級查找表獲得該區域的林火預警風險等級，如表7所示。

3)模糊推理邏輯設計。

基于在軌智能處理基礎，融入了絕對輻射校正模塊、快速大氣校正模塊和定量反演模塊，實現可燃物載量的在軌實時處理，同時結合地面上注的關聯要素完成數據庫積累；基于多模態數據輸入及關聯要素在時間維度的模糊化規則設計完成模糊推理規則庫構建；再按照規則庫和所給的事實執行推理過程，實現基于多模態數據的在軌火情預測模糊推理設計，詳細流程如圖6所示。

3 遙感衛星數據在軌處理工程設計及試驗3.1 硬件設計方案

根據面向商業應用場景的衛星數據在軌處理系統架構，要求衛星在軌處理系統實現遙感數據在星上+地面傳統的全部處理流程，包括固有處理、信息提取(AI處理)、知識生成。因此，對衛星在軌處理系統提出了高可靠處理器、高性能AI處理器、大容量存儲器、高帶寬通信接口、算力靈活擴展等硬件平臺要求。在綜合考慮衛星空間、重量、能源等資源有限的情況下，衛星在軌處理系統還需采用高集成度、高能效比、高可靠性、高性能的一體化硬件平臺方案。由于傳統的FPGA+DSP、FPGA+GPU等COST器件方案難以滿足要求，本文提出一種基于宇航級嵌入式AI處理器芯片、多AI協同工作的一體化智能處理平臺方案，如圖7所示。

在軌處理系統硬件平臺采用VPX架構、模塊化設計，各模塊通過VPX背板集成為一個緊湊型單機。在軌處理系統硬件平臺主要由單機機箱(集成VPX背板)、電源模塊、數據固有處理及路由分發模塊、大容量存儲模塊、智能處理模塊、任務規劃與綜合管理模塊、數傳通信模塊等組成。該方案在選用高集成度AI處理器的同時，采用一體化硬件平臺設計，最大限度減低系統電路的復雜度；智能處理模塊選用高可靠人工智能處理器玉龍810 A,集成4核CPU + 8個GPU + 8個NN單元。通過軟硬件融合設計，即可完成固有處理、信息提取、知識生成等遙感數據在軌處理流程，還可根據不同應用需要，擴展星上任務規劃功能。

3.2 硬件設計的主要指標

根據硬件設計要求，其主要指標如表8所示。

3.3 衛星遙感數據在軌處理實施流程

為了驗證數據在軌處理工程設計樣機及提出方法的有效性和可用性，以“珠海一號”衛星星座的OHS高光譜影像為測試數據，以工程樣機為測試平臺，在地面開展衛星遙感數據在軌處理仿真試驗。綜合考慮數據流處理及并行加速策略，本文設計了一套從相機輸入數據開始到推理結果的在軌處理實施流程，如圖8所示。該實施流程包括了數據流格式轉換和切片處理、固有處理和信息提取與生成等，從而進行知識推理與分析。

相機原始數據為TLK2711數據流，需要先實施數據格式轉換，轉化為遙感圖像，并實施固有處理的輻射校正部分。切片處理是指繼續將固有處理結果瓦片轉化成為芯片和模型所支持尺度的一系列圖片集。這3類操作在流式計算平臺上處理具有較好的時效性，因此均在FPGA計算平臺上實現。AI算法實施圖像目標識別專用的AI芯片單元來實施計算，具有高效低耗的特點。最后對圖片集上得到的多個結果進行整體拼接，恢復至原來遙感影像的尺度，并進行固有處理的幾何校正部分。這部分計算數據輸入是AI算法檢測到的目標位置，計算過程也涉及到大量的判斷操作，具有較強的隨機性，因此考慮用靈活性最強的CPU模塊來處理。通過適配多種類型特點的計算群，優化硬件資源配置和任務調度執行，以期實現高效的在軌數據處理。

3.4 試驗驗證

本文以“珠海一號”衛星星座的OHS高光譜影像為測試數據，以工程樣機為測試平臺，在固有處理的基礎上進行船舶檢測和林火檢測的信息提取試驗，以及知識推理分析驗證。

船舶檢測測試選取6景影像，每景大小均為2 528×5 000像元，使用第5波段進行測試，模擬相機輸出的處理場景。林火檢測測試集選取6景影像，每景大小均為5 056×5 056像元，使用第1/5/15波段構成偽彩色圖像進行測試，模擬相機兩路輸出時的處理能力。

3.4.1 船舶檢測測試

使用船舶數據測試時，6景影像耗時如表9所示。

從表9可知，船舶檢測測試選取的6景影像數據平均每景用時7.178 s。其中固有處理1(輻射校正+切片)環節平均處理時間3.414 s; 信息提取1(目標識別AI 計算)平均處理時間3.699 s; 信息提取2(切片拼接、信息生成)AI后處理CPU計算平均處理時間2 ms; 固有處理2幾何校正平均處理時間62.5 ms。在10 m分辨率下，每景影像2 528×5 000像素對應1 264 km2,對應處理時間5.68×10-3 s/km2。其中固有處理時間2.75×10-3 s/km2;信息提取時間2.93 s。對應1 min地面成像2 528×45 816像素，對應地面距離458.16 km, 處理時長65.77 s, 完成時間在min級，可以有效支持應急場景的遙感任務需求。船舶檢測處理效果如表10所示。

表10中第2列數據是相機成像后的原始數據，可見明顯的條帶效應；經過輻射校正，在第3列圖中可以觀察到數據質量得到了較大的提升；第4列展示了船舶檢測結果，并將方框區域進行局部區域放大后在第5列顯示。測試數據覆蓋了近海、遠海、港口、運河、島礁等不同海域的情況，船舶分布呈現密集、中等、稀疏等多種形態。算法在多種情況下檢測表現出較強的魯棒性，能夠支持船舶檢測在軌處理的應用場景需求。

3.4.2 林火火點檢測

火點檢測使用火點數據測試時，6景影像耗時如表11所示。

從表11可知，每景影像平均處理用時13.037 s。其中固有處理輻射校正環節平均處理時間6.007 s; 信息提取包括AI計算平均處理時間6.999 s; AI后處理CPU計算平均處理時間2.5 ms; 固有處理幾何校正平均處理時間28.5 ms。在10 m分辨率下，每景5 056×5 056像素對應50.56 km地面成像，面積2 556 km2,對應處理時間5.10×10-3 s/km2。其中固有處理時間2.36×10-3 s/km2,信息提取時間2.74 s。1 min成像距離5 056×45 816像素，對應地面距離458.16 km、處理時長118.13 s、完成時間在2 min級別，可以有效支持應急場景的遙感任務需求，處理效果如表12所示。由于林火算法需要多個波段進行處理，同時圖像尺度也相應加大，因此FPGA和AI計算時間相對于船舶檢測有較大變化。圖9給出了局部放大的林火火點檢測結果。

由于“珠海一號”星座建設于2018—2019年，近年來可以利用的林火數據源較為集中在澳大利亞地區。算法瓦片化處理機制對于擴散特別大的火點，只能通過多個瓦片檢測到，使得這些火點檢測效果呈現碎片化特點。但是對于較小火點捕獲概率較大，能夠一定程度上降低漏檢的可能。這種現象在表中第5個處理結果中表現較為明顯。通過結果觀測發現，對疑似火源火點的提取，在大尺度(約100 m以上)上定位較為準確，可滿足較大尺度下應急情報的應用監測需求。

3.4.3 林火預警檢測

以大理市鳳儀鎮林火目標點為例，數據源為“珠海一號”高光譜影像。大理市夏季最高氣溫僅28℃左右，全年平均氣溫17℃,每年2—4月為林火高發時段。2022-02-14起近30天氣溫穩定，未出現突然升溫或降溫情況，且3月8號以來，氣溫連續高于25℃,濕度低、降水量少，詳細數據如圖10所示。按照本文提出的林火預警知識推理方法對該區域的林火風險等級進行評估預測，結果如圖11所示。

結果表明，試驗區的林火風險分布范圍較廣，風險等級較高；監測結果與已發生火災區域吻合。本次試驗準確地預測到了著火區域，如圖11(b)黃框所示，有效驗證了知識生成模型在遙感林火檢測中的應用。

4 結論

概述了遙感衛星數據在軌處理系統技術發展現狀，總結了行業所面臨的基本技術問題，介紹了集成固有處理、信息提取和知識生成等功能的在軌處理系統框架，以及利用人工智能AI模型算法及星地一體化處理系統實施在軌信息提取和知識生成的方法。利用人工智能技術，達成了知識的積累和運用，并設計研制了數據在軌處理工程樣機和與其適配的核心算法。該框架具有對多類型遙感任務的兼容性和擴展性，可適配遙感數據生成、信息生成、知識生成多層次計算需求，實現了“星數天算”的基本目標。同時，提出了星地智能大系統，充分利用衛星地面數據中心，對算法進行優化和知識迭代，是“星數地算”的具體實踐。在工程驗證方面，硬件平臺峰值算力可達72 TOPS,存儲容量最大支持16 Tb, 峰值功耗不大于100 W,重量不大于8 kg。固有處理階段，處理時間不超過2.8 ×10-3 s/km2;信息提取階段測試了船舶檢測、林火火點檢測等目標檢測算法處理時間不超過 3.1×10-3 s/km2;知識生成階段通過構建基于產生式規則的林火知識庫，可實施基于遙感信息和時空信息的林火預警知識生成。試驗結果表明，本文設計的衛星遙感數據在軌處理系統和相關技術方法能夠有效、快速執行復雜任務，為衛星遙感數據在軌智能處理系統的研制和應用提供了一種有效的技術手段，具有良好的應用前景。

針對多源數據融合的在軌知識推理分析仍有待深入的探索和研究。

文 章來源

測繪科學技術學報

聯系/合作 214979525（微信）

干貨精選

頁面底部→關注中測網

對話框發送對應【關鍵詞】獲取精選內容

【航測】 無人機作業流程、規范、案例

【規范】 測量規范、常用Excel表格

【GIS】 ArcGIS /MapGIS技巧、快捷鍵

【資質】 測繪資質查詢 /申辦、甲級名單

【定額】 測繪生產成本定額、勘察收費

【地圖】 奧維/谷歌地圖 shp矢量數據

【CASS】快捷鍵、高手技巧、操作視頻

行業甄選

測繪行業綜合服務平臺

無人機

中國民航局CAAC執照，全國有考點

ASFCALPAAOPA

民用無人機經營合格證，新辦/轉換

民用無人機 企業服務能力甲級資質

空域申請代理服務，讓飛行安全合法

測繪師

2024備考課件金考典習題APP

注冊測繪師繼續教育抵充20學時課程

其 他

住建部門《測量工》建協《測量員》

《工程測量員》技師 /高級技師（福州）

RTK無人船華測cors賬號

求職/招聘信息發布幫推廣您的業務