遙感數(shù)據(jù)是一類空間大數(shù)據(jù),這類大數(shù)據(jù)是遙感系統(tǒng)測(cè)量地球的記錄。遙感系統(tǒng)是以航天或航空平臺(tái)為運(yùn)載工具、以傳感器為探測(cè)工具、以電磁波為探測(cè)手段、以地球表面或近地空間為探測(cè)對(duì)象的系統(tǒng)。在過去的50年間,衛(wèi)星遙感系統(tǒng)逐漸發(fā)展為局地、區(qū)域和全球空間尺度上測(cè)量地球的最有效工具之一。遙感數(shù)據(jù)是可用四個(gè)分辨率描述的數(shù)據(jù):輻射分辨率、空間分辨率、光譜分辨率、時(shí)間分辨率。四個(gè)分辨率的變化加上時(shí)間因素是遙感數(shù)據(jù)成為大數(shù)據(jù)的外在因素,而內(nèi)在因素是地球系統(tǒng)的復(fù)雜性。
但如此多、如此長時(shí)間的傳感器數(shù)據(jù)能否形成輻射特性和幾何特性“一致”、時(shí)間“連續(xù)”(含等間隔持續(xù)的特性)的衛(wèi)星觀測(cè)數(shù)據(jù)?如何自動(dòng)化處理使之“一致”和“連續(xù)”?如何從連續(xù)觀測(cè)的數(shù)據(jù)中學(xué)習(xí)、識(shí)別地表的模式以分析和解釋地球觀測(cè)數(shù)據(jù)?如何架構(gòu)技術(shù)平臺(tái),方便整合遙感科學(xué)家編寫的非標(biāo)準(zhǔn)化程序,實(shí)現(xiàn)遙感大數(shù)據(jù)高性能分析、大規(guī)模計(jì)算的需求?《全球遙感數(shù)據(jù)自動(dòng)化處理技術(shù)與系統(tǒng)架構(gòu)》一書以遙感大數(shù)據(jù)的思維看待上述問題,總結(jié)了采用大數(shù)據(jù)思維的技術(shù)實(shí)踐經(jīng)驗(yàn)。
遙感數(shù)據(jù)是空間大數(shù)據(jù)的一個(gè)子集。面向大數(shù)據(jù)處理,需要新思維指導(dǎo)實(shí)踐。
新思維之一:尋找多源數(shù)據(jù)不變特征的思維,基于不變特征減弱同地、同譜、同時(shí)不同傳感器數(shù)據(jù)之間的不一致性,不同傳感器數(shù)據(jù)可綜合集成應(yīng)用。本書數(shù)據(jù)處理篇中多源數(shù)據(jù)的幾何一致性處理、輻射一致性處理等都是這一思維指導(dǎo)下的關(guān)鍵技術(shù)。
新思維之二:將信息提取轉(zhuǎn)化為數(shù)據(jù)智能的思維,一方面構(gòu)建覆蓋問題空間的樣本集,另一方面構(gòu)建深度學(xué)習(xí)模型表達(dá)與樣本的深度相似性。本書分類與識(shí)別篇的遙感圖像的場(chǎng)景分類、目標(biāo)檢測(cè)、地表覆蓋分類、時(shí)間序列分類聚類的關(guān)鍵技術(shù)都是這一思維的具體體現(xiàn)。
新思維之三:云計(jì)算和容器技術(shù)融合構(gòu)建技術(shù)平臺(tái)的思維,可以支撐遙感大數(shù)據(jù)的在線處理和分析。
本書的系統(tǒng)架構(gòu)篇涉及的關(guān)鍵技術(shù)包括全球多源遙感數(shù)據(jù)的集成和組織技術(shù)、信息產(chǎn)品生產(chǎn)流程建模與算法集成優(yōu)化技術(shù)、容器化全球多源遙感數(shù)據(jù)信息產(chǎn)品生產(chǎn)系統(tǒng)關(guān)鍵設(shè)計(jì)技術(shù)都是這一思想的具體體現(xiàn)。
全書架構(gòu)全景透視
三篇15章技術(shù)矩陣 | 覆蓋“數(shù)據(jù)處理-智能分析-系統(tǒng)落地”全鏈路
第一篇:數(shù)據(jù)處理篇——多源遙感數(shù)據(jù)的“統(tǒng)一語言”構(gòu)建
核心突破:幾何/輻射一致性處理技術(shù)體系
章節(jié)亮點(diǎn):
第2章:統(tǒng)一框架下的多尺度幾何歸一化
第3章:基于偽不變特征的輻射校準(zhǔn)技術(shù)
第4-5章:霧霾/云影修復(fù)雙路徑(傳統(tǒng)方法→深度學(xué)習(xí))
第6-7章:數(shù)據(jù)重構(gòu)實(shí)戰(zhàn)(分量替換融合+時(shí)相缺失插值)
技術(shù)價(jià)值:解決跨傳感器數(shù)據(jù)“對(duì)齊難”痛點(diǎn),誤差降低30%+
核心突破:小樣本/動(dòng)態(tài)時(shí)序下的深度學(xué)習(xí)優(yōu)化
章節(jié)亮點(diǎn):
第8章:GAN樣本擴(kuò)增+空間布局強(qiáng)化模型
第9章:形狀知識(shí)驅(qū)動(dòng)的目標(biāo)檢測(cè)
第10章:樣本質(zhì)量提升方法論
第11章:高光譜小樣本分類遷移技術(shù)
第12章:時(shí)間序列動(dòng)態(tài)建模
技術(shù)價(jià)值:農(nóng)田監(jiān)測(cè)/災(zāi)害識(shí)別場(chǎng)景準(zhǔn)確率突破95%
核心突破:全球遙感產(chǎn)品生產(chǎn)系統(tǒng)技術(shù)棧
章節(jié)亮點(diǎn):
第13章:多源數(shù)據(jù)智能組織技術(shù)
第14章:算法流程建模與優(yōu)化
第15章:容器化并行計(jì)算框架
技術(shù)價(jià)值:算法部署效率提升200%,支撐PB級(jí)數(shù)據(jù)處理
▋地球大數(shù)據(jù)科學(xué)論叢
第二次工業(yè)革命的爆發(fā),導(dǎo)致以文字為載體的數(shù)據(jù)量約每 10 年翻一番;從工業(yè)化時(shí)代進(jìn)入信息化時(shí)代,數(shù)據(jù)量每 3 年翻一番。近年來,新一輪信息技術(shù)革命與人類社會(huì)活動(dòng)交匯融合,半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)大量涌現(xiàn),數(shù)據(jù)的產(chǎn)生已不受時(shí)間和空間的限制,引發(fā)了數(shù)據(jù)爆炸式增長,數(shù)據(jù)類型繁多且復(fù)雜,已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)和處理模式的能力范圍,人類正在開啟大數(shù)據(jù)時(shí)代新航程。
當(dāng)前,大數(shù)據(jù)已成為知識(shí)經(jīng)濟(jì)時(shí)代的戰(zhàn)略高地,是國家和全球的新型戰(zhàn)略資源。作為大數(shù)據(jù)重要組成部分的地球大數(shù)據(jù),正成為地球科學(xué)一個(gè)新的領(lǐng)域前沿。地球大數(shù)據(jù)是基于對(duì)地觀測(cè)數(shù)據(jù)又不唯對(duì)地觀測(cè)數(shù)據(jù)的、具有空間屬性的地球科學(xué)領(lǐng)域的大數(shù)據(jù),主要產(chǎn)生于具有空間屬性的大型科學(xué)實(shí)驗(yàn)裝置、探測(cè)設(shè)備、傳感器、社會(huì)經(jīng)濟(jì)觀測(cè)及計(jì)算機(jī)模擬過程中,其一方面具有海量、多源、異構(gòu)、多時(shí)相、多尺度、非平穩(wěn)等大數(shù)據(jù)的一般性質(zhì),另一方面具有很強(qiáng)的時(shí)空關(guān)聯(lián)和物理關(guān)聯(lián),具有數(shù)據(jù)生成方法和來源的可控性。
地球大數(shù)據(jù)科學(xué)是自然科學(xué)、社會(huì)科學(xué)和工程學(xué)交叉融合的產(chǎn)物,基于地球大數(shù)據(jù)分析來系統(tǒng)研究地球系統(tǒng)的關(guān)聯(lián)和耦合,即綜合應(yīng)用大數(shù)據(jù)、人工智能和云計(jì)算,將地球作為一個(gè)整體進(jìn)行觀測(cè)和研究,理解地球自然系統(tǒng)與人類社會(huì)系統(tǒng)間復(fù)雜的交互作用和發(fā)展演進(jìn)過程,可為實(shí)現(xiàn)聯(lián)合國可持續(xù)發(fā)展目標(biāo)(SDGs)做出重要貢獻(xiàn)。
中國科學(xué)院充分認(rèn)識(shí)到地球大數(shù)據(jù)的重要性,2018 年年初設(shè)立了 A 類戰(zhàn)略性先導(dǎo)科技專項(xiàng)“地球大數(shù)據(jù)科學(xué)工程”(CASEarth),系統(tǒng)開展地球大數(shù)據(jù)理論、技術(shù)與應(yīng)用研究。CASEarth 旨在促進(jìn)和加速從單純的地球數(shù)據(jù)系統(tǒng)和數(shù)據(jù)共享到數(shù)字地球數(shù)據(jù)集成系統(tǒng)的轉(zhuǎn)變,促進(jìn)全球范圍內(nèi)的數(shù)據(jù)、知識(shí)和經(jīng)驗(yàn)分享,為科學(xué)發(fā)現(xiàn)、決策支持、知識(shí)傳播提供支撐,為全球跨領(lǐng)域、跨學(xué)科協(xié)作提供解決方案。
在資源日益短缺、環(huán)境不斷惡化的背景下,人口、資源、環(huán)境和經(jīng)濟(jì)發(fā)展的矛盾凸顯,可持續(xù)發(fā)展已經(jīng)成為世界各國和聯(lián)合國的共識(shí)。要實(shí)施可持續(xù)發(fā)展戰(zhàn)略,保障人口、社會(huì)、資源、環(huán)境、經(jīng)濟(jì)的持續(xù)健康發(fā)展,可持續(xù)發(fā)展的能力建設(shè)至關(guān)重要。必須認(rèn)識(shí)到這是一個(gè)地球空間、社會(huì)空間和知識(shí)空間的巨型復(fù)雜系統(tǒng),亟須戰(zhàn)略體系、新型機(jī)制、理論方法支撐來調(diào)查、分析、評(píng)估和決策。
一門獨(dú)立的學(xué)科,必須能夠開展深層次的、系統(tǒng)性的、能解決現(xiàn)實(shí)問題的探究,以及在此探究過程中形成系統(tǒng)的知識(shí)體系。地球大數(shù)據(jù)就是以數(shù)字化手段連接地球空間、社會(huì)空間和知識(shí)空間,構(gòu)建一個(gè)數(shù)字化的信息框架,以復(fù)雜系統(tǒng)的思維方式,綜合利用泛在感知、新一代空間信息基礎(chǔ)設(shè)施技術(shù)、高性能計(jì)算、數(shù)據(jù)挖掘與人工智能、可視化與虛擬現(xiàn)實(shí)、數(shù)字孿生、區(qū)塊鏈等技術(shù)方法,解決地球可持續(xù)發(fā)展問題。
“地球大數(shù)據(jù)科學(xué)論叢”是國內(nèi)外首套系統(tǒng)總結(jié)地球大數(shù)據(jù)的專業(yè)論叢,將從理論研究、方法分析、技術(shù)探索以及應(yīng)用實(shí)踐等方面全面闡述地球大數(shù)據(jù)的研究進(jìn)展。地球大數(shù)據(jù)科學(xué)是一門年輕的學(xué)科,其發(fā)展未有窮期。感謝廣大讀者和學(xué)者對(duì)本論叢的關(guān)注,歡迎大家對(duì)本論叢提出批評(píng)與建議,攜手建設(shè)在地球科學(xué)、空間科學(xué)和信息科學(xué)基礎(chǔ)上發(fā)展起來的前沿交叉學(xué)科——地球大數(shù)據(jù)科學(xué)。讓大數(shù)據(jù)之光照亮世界,讓地球科學(xué)服務(wù)于人類可持續(xù)發(fā)展。
——郭華東
中國科學(xué)院院士
地球大數(shù)據(jù)科學(xué)工程專項(xiàng)負(fù)責(zé)人
▋主要作者簡介
唐 娉
中國科學(xué)院空天信息創(chuàng)新研究院研究員、博士生導(dǎo)師, 研究方向?yàn)檫b感圖像處理,主要從事遙感數(shù)字圖像處理技術(shù)研究及遙感圖像應(yīng)用專業(yè)系統(tǒng)建設(shè)工作,在遙感圖像自動(dòng)化處理、智能處理、遙感圖像應(yīng)用工程等方面開展了較為深入系統(tǒng)的研究。 主持國家自然科學(xué)基金、 863 課題、中國科學(xué)院創(chuàng)新 基金和部門項(xiàng)目 10 余項(xiàng); 主持國防高技術(shù)應(yīng)用項(xiàng)目多項(xiàng)。 發(fā)表論文近 100 篇,申請(qǐng)國家發(fā)明專利 42 項(xiàng),授權(quán)國家發(fā)明專利 26 項(xiàng)。 2008 年獲中國科學(xué)院 “ 王寬誠 ” 教育基金會(huì)優(yōu)秀女科學(xué)家專項(xiàng), 2014 年獲測(cè)繪科技特等獎(jiǎng) 1 項(xiàng), 2011 年和 2017 年分別國家科技進(jìn)步二等獎(jiǎng)。
左右滑動(dòng)查看全書目錄
ISBN:978-7-03-079721-6
本文摘 自《 全球遙感數(shù)據(jù)自動(dòng)化處理技術(shù)與系統(tǒng)架構(gòu) 》(唐娉等著. 北京: 科學(xué)出版社,2025.2)一書“前言”,有刪減修改,標(biāo)題為編者所加。
(本文編輯:謝婉蓉)
地球?yàn)槟愣D(zhuǎn)!
歡迎關(guān)注:賽杰奧(sci_geo)
科學(xué)出版社地球科學(xué)訂閱號(hào)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.