遙感數據是一類空間大數據,這類大數據是遙感系統測量地球的記錄。遙感系統是以航天或航空平臺為運載工具、以傳感器為探測工具、以電磁波為探測手段、以地球表面或近地空間為探測對象的系統。在過去的50年間,衛星遙感系統逐漸發展為局地、區域和全球空間尺度上測量地球的最有效工具之一。遙感數據是可用四個分辨率描述的數據:輻射分辨率、空間分辨率、光譜分辨率、時間分辨率。四個分辨率的變化加上時間因素是遙感數據成為大數據的外在因素,而內在因素是地球系統的復雜性。
但如此多、如此長時間的傳感器數據能否形成輻射特性和幾何特性“一致”、時間“連續”(含等間隔持續的特性)的衛星觀測數據?如何自動化處理使之“一致”和“連續”?如何從連續觀測的數據中學習、識別地表的模式以分析和解釋地球觀測數據?如何架構技術平臺,方便整合遙感科學家編寫的非標準化程序,實現遙感大數據高性能分析、大規模計算的需求?《全球遙感數據自動化處理技術與系統架構》一書以遙感大數據的思維看待上述問題,總結了采用大數據思維的技術實踐經驗。
遙感數據是空間大數據的一個子集。面向大數據處理,需要新思維指導實踐。
新思維之一:尋找多源數據不變特征的思維,基于不變特征減弱同地、同譜、同時不同傳感器數據之間的不一致性,不同傳感器數據可綜合集成應用。本書數據處理篇中多源數據的幾何一致性處理、輻射一致性處理等都是這一思維指導下的關鍵技術。
新思維之二:將信息提取轉化為數據智能的思維,一方面構建覆蓋問題空間的樣本集,另一方面構建深度學習模型表達與樣本的深度相似性。本書分類與識別篇的遙感圖像的場景分類、目標檢測、地表覆蓋分類、時間序列分類聚類的關鍵技術都是這一思維的具體體現。
新思維之三:云計算和容器技術融合構建技術平臺的思維,可以支撐遙感大數據的在線處理和分析。
本書的系統架構篇涉及的關鍵技術包括全球多源遙感數據的集成和組織技術、信息產品生產流程建模與算法集成優化技術、容器化全球多源遙感數據信息產品生產系統關鍵設計技術都是這一思想的具體體現。
全書架構全景透視
三篇15章技術矩陣 | 覆蓋“數據處理-智能分析-系統落地”全鏈路
第一篇:數據處理篇——多源遙感數據的“統一語言”構建
核心突破:幾何/輻射一致性處理技術體系
章節亮點:
第2章:統一框架下的多尺度幾何歸一化
第3章:基于偽不變特征的輻射校準技術
第4-5章:霧霾/云影修復雙路徑(傳統方法→深度學習)
第6-7章:數據重構實戰(分量替換融合+時相缺失插值)
技術價值:解決跨傳感器數據“對齊難”痛點,誤差降低30%+
核心突破:小樣本/動態時序下的深度學習優化
章節亮點:
第8章:GAN樣本擴增+空間布局強化模型
第9章:形狀知識驅動的目標檢測
第10章:樣本質量提升方法論
第11章:高光譜小樣本分類遷移技術
第12章:時間序列動態建模
技術價值:農田監測/災害識別場景準確率突破95%
核心突破:全球遙感產品生產系統技術棧
章節亮點:
第13章:多源數據智能組織技術
第14章:算法流程建模與優化
第15章:容器化并行計算框架
技術價值:算法部署效率提升200%,支撐PB級數據處理
▋地球大數據科學論叢
第二次工業革命的爆發,導致以文字為載體的數據量約每 10 年翻一番;從工業化時代進入信息化時代,數據量每 3 年翻一番。近年來,新一輪信息技術革命與人類社會活動交匯融合,半結構化、非結構化數據大量涌現,數據的產生已不受時間和空間的限制,引發了數據爆炸式增長,數據類型繁多且復雜,已經超越了傳統數據管理系統和處理模式的能力范圍,人類正在開啟大數據時代新航程。
當前,大數據已成為知識經濟時代的戰略高地,是國家和全球的新型戰略資源。作為大數據重要組成部分的地球大數據,正成為地球科學一個新的領域前沿。地球大數據是基于對地觀測數據又不唯對地觀測數據的、具有空間屬性的地球科學領域的大數據,主要產生于具有空間屬性的大型科學實驗裝置、探測設備、傳感器、社會經濟觀測及計算機模擬過程中,其一方面具有海量、多源、異構、多時相、多尺度、非平穩等大數據的一般性質,另一方面具有很強的時空關聯和物理關聯,具有數據生成方法和來源的可控性。
地球大數據科學是自然科學、社會科學和工程學交叉融合的產物,基于地球大數據分析來系統研究地球系統的關聯和耦合,即綜合應用大數據、人工智能和云計算,將地球作為一個整體進行觀測和研究,理解地球自然系統與人類社會系統間復雜的交互作用和發展演進過程,可為實現聯合國可持續發展目標(SDGs)做出重要貢獻。
中國科學院充分認識到地球大數據的重要性,2018 年年初設立了 A 類戰略性先導科技專項“地球大數據科學工程”(CASEarth),系統開展地球大數據理論、技術與應用研究。CASEarth 旨在促進和加速從單純的地球數據系統和數據共享到數字地球數據集成系統的轉變,促進全球范圍內的數據、知識和經驗分享,為科學發現、決策支持、知識傳播提供支撐,為全球跨領域、跨學科協作提供解決方案。
在資源日益短缺、環境不斷惡化的背景下,人口、資源、環境和經濟發展的矛盾凸顯,可持續發展已經成為世界各國和聯合國的共識。要實施可持續發展戰略,保障人口、社會、資源、環境、經濟的持續健康發展,可持續發展的能力建設至關重要。必須認識到這是一個地球空間、社會空間和知識空間的巨型復雜系統,亟須戰略體系、新型機制、理論方法支撐來調查、分析、評估和決策。
一門獨立的學科,必須能夠開展深層次的、系統性的、能解決現實問題的探究,以及在此探究過程中形成系統的知識體系。地球大數據就是以數字化手段連接地球空間、社會空間和知識空間,構建一個數字化的信息框架,以復雜系統的思維方式,綜合利用泛在感知、新一代空間信息基礎設施技術、高性能計算、數據挖掘與人工智能、可視化與虛擬現實、數字孿生、區塊鏈等技術方法,解決地球可持續發展問題。
“地球大數據科學論叢”是國內外首套系統總結地球大數據的專業論叢,將從理論研究、方法分析、技術探索以及應用實踐等方面全面闡述地球大數據的研究進展。地球大數據科學是一門年輕的學科,其發展未有窮期。感謝廣大讀者和學者對本論叢的關注,歡迎大家對本論叢提出批評與建議,攜手建設在地球科學、空間科學和信息科學基礎上發展起來的前沿交叉學科——地球大數據科學。讓大數據之光照亮世界,讓地球科學服務于人類可持續發展。
——郭華東
中國科學院院士
地球大數據科學工程專項負責人
▋主要作者簡介
唐 娉
中國科學院空天信息創新研究院研究員、博士生導師, 研究方向為遙感圖像處理,主要從事遙感數字圖像處理技術研究及遙感圖像應用專業系統建設工作,在遙感圖像自動化處理、智能處理、遙感圖像應用工程等方面開展了較為深入系統的研究。 主持國家自然科學基金、 863 課題、中國科學院創新 基金和部門項目 10 余項; 主持國防高技術應用項目多項。 發表論文近 100 篇,申請國家發明專利 42 項,授權國家發明專利 26 項。 2008 年獲中國科學院 “ 王寬誠 ” 教育基金會優秀女科學家專項, 2014 年獲測繪科技特等獎 1 項, 2011 年和 2017 年分別國家科技進步二等獎。
左右滑動查看全書目錄
ISBN:978-7-03-079721-6
本文摘 自《 全球遙感數據自動化處理技術與系統架構 》(唐娉等著. 北京: 科學出版社,2025.2)一書“前言”,有刪減修改,標題為編者所加。
(本文編輯:謝婉蓉)
地球為你而轉!
歡迎關注:賽杰奧(sci_geo)
科學出版社地球科學訂閱號
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.