肖雄武課題組攻克困難條件下無人機高精度實時攝影測量技術

近日，武漢大學測繪遙感信息工程全國 重點實驗室肖雄武 副教授 課題組在 困難條件下的無人機 高精度 實時攝影測量 領域 取得多項 突破性 進展， 系列 成果 于今年 4 月和 5 月 相繼在地球科學一區 T OP 期刊 IEEE Transactions on Geoscience and Remote Sensing (TGRS) 、國際攝影測量與遙感學會會刊 ISPRS Journal of Photogra mmetry and Remote Sensing (ISPRS ) 發表。

發表在 TGRS 的成果“ RTO-LLI: Robust Real-time Image Orientation Method With Rapid Multilevel Matching and Third-times Optimizations for Low-overlap Large-format UAV Images ” （ RTO-LLI ：基于 快速多層 次 匹配與三重 位姿 優化的 低重疊 / 大幅面 影像 高魯棒性 實時定位 定向方法 ）， 肖雄武副教授 為第一作者，肖雄武 、 碩士生張子浩 為通訊作者。

無人機實時攝影測量 ， 是指 ： 在無人機飛行過程中，實時 獲取中 / 高分辨率 無人機影像（例如 1 秒鐘獲取一張或多張中高分辨率的無人機影像） 和 GNSS 定位數據 （例如 1 秒鐘獲取若干次 G NSS 數據） ，并 同步使用機載處理器或云服務器 或 地面 計算單元 （如 一臺千元級的 普通筆記本電腦） 在線 實時處理新獲取的數據 ，實時動態完成 新獲取 影像 的魯棒 匹配、相對定向、高精度位姿解算 ，實時動態生成 三維點云、 無人機攝影測量 4D 產品 （ 要求： 從獲取數據到同步解算影像高精度位姿、實時動態生成攝影測量產品，其整個過程的 處理 延時應 小于 1 秒鐘 ）。實時攝影測量技術 ， 對于推動無人機 測繪 產品 的實時 / 準實時 生產 、 智能信息提取與 快速遙感制圖 、 高效的大規模 實景三維構建、戰場環境實時感知、數字 孿生等 領域 具有重要意義。

對于大幅面相機 ，在相同飛行高度下可以覆蓋更大的區域，從而 可 提高航測效率； 而在相同作業效率要求下，大幅面相機則可以在保持同樣重疊度的前提下，使無人機飛行高度更低，從而獲取分辨率更高的影像。 對于 降低影像重疊度 ， 可以增大攝 影基線，從而可以顯著提高無人機的飛行速度，進而大幅提升航測 效率。 因此，對大幅面和低重疊度 等困難條件下的無人機序列影像 開展實時攝影測量研究 ，具有重要的實際價值。 然而， 低重疊大像幅無人機影像的實時攝影測量處理存在諸多困難與 挑戰 ， 包括 ： （1）影像 幅面大 ， 大幅 增加了 實時處理的 數據量和計算工作量，對 采用 低成本處理器 的 在線 實 時攝影測量 處理提出了挑戰，需要更高效的算法。 （2）影像重疊度低 ，容易造成 匹配點對的覆蓋區域少 ，實時匹配 與實時相對定向困難、精度低，給高精度的實時位姿重建 帶來很大困難。總體而言，目前尚 沒有 公開發布且 可靠實用的 低重疊度大幅面影像實時攝影測量 解決方案 。

為了克服上述挑戰，課題組 給出了無人機實時攝影測量的基本定義 、 無人機實時攝影測量中“低重疊度”“大幅面” 的概念， 詳細介紹了 SLAM 與無人機實時拼圖、無人機實時攝影測量 與實時測繪 的發展 歷程， 面向無人機在線實時獲取的低重疊和大幅面無人機序列影像 ，創新性 提出了一種 基于快速多層次匹配與三重位姿優化的高魯棒性實時匹配與實時定位定向方法 。 （1） 首先，設計了 一種 適用于低重疊大幅面影像的實時處理初始化方法，以確保SLAM初始化的高成功率。 （2） 其次，提出了一種由粗到精的多層次 圖像匹配與三重位姿優化的高精度實時 位姿解算方法 。 （3） 最后，綜合上述過程 ， 設計了一 套 面向 低重疊大幅面影像的 高魯棒性 實時 匹配與實時定位定向系統 RTO-LLI （ RTO-LLI 系統原理，如圖1） 。

圖1 面向低重疊度和大幅面影像的高魯棒性實時匹配與實時定位定向方法

大量實際測試和 實驗 表明： 該 方法實現了 面向 低 重疊度 和 大幅面無人機影像的 高魯棒性和高精度實時 位姿解算 。 主要實驗結論有： ①RTO-LLI算法，在千元級低成本處理器上 能夠以超過每秒1.5幀/秒的速度完成 高精度實時 位姿解算，滿足無人機攝影測量任務的實時性 要求 ，其處理效率要大幅度優于 PhotoScan 、 OpenMVG 、 Colmap 等傳統 離線 處理方法 ； ② RTO-LLI是唯一 一 種在四種不同類型場景下重復50次實驗都能成功完成實時 處理 任務的方法，其魯棒性遠遠優于其他經典SLAM方案； ③ RTO-LLI解算的軌跡誤差小于軌跡長度的1/2000，平均投影誤差小于1.5像素，幾乎與傳統離線方法相當。 ④ RTO-LLI方法 能夠滿足 低重疊 大幅面無人機影像 實時攝影測量的效率、魯棒性和精度要求 。

圖2 不同攝影測量算法對不同場景數據的平均處理耗時對比

圖3 不同實時處理算法對多套數據在50次重復實驗中魯棒性對比

該 研究 受國家自然科學基金、國家重點研發計劃、 湖北省 自然科學基金、裝備智能運用教育部重點實驗室開放基金 等項目的資助。

T GRS 論文鏈接 ： https://doi.org/10.1109/TGRS.2025.3559983

發表在 ISPRS 的成果“ A novel real-time matching and pose reconstruction method for low-overlap agricultural UAV images with repetitive textures ” （ 一種 面向 低 重疊無人機 農業重復紋理 影像的實時匹配與 高精度 實時 位姿重建方法 ）， 肖雄武副教授 為第一作者，肖雄武 、博士生屈文虎 為通訊作者。 該研究聚焦于當前農業遙感影像處理中普遍存在的“重疊率低、紋理重復、實時性差”三大技術 難題，提出了一套從 影像初始化到高精度實時 重建的全流程解決方案。

農業無人機遙感影像是精準農業的重要數據來源，具有飛行效率 高、獲取靈活等優勢，能夠為農作物監測、病蟲害防治、耕作決策等提供精細化時空信息支持。尤其在大田作物種植場景中，低重疊航線設計與影像大幅面覆蓋范圍廣的特點可顯著 減少 航飛耗時 與圖像數量， 大幅 提高作業效率。然而，由于農田遙感影像常呈現重復紋理 、水體弱紋理等視覺特性，且圖像之間重疊區域較少，導致現有 的 位姿估計 與 三維重建方法在此類場景下常出現初始化失敗、跟蹤中斷與重建漂移等問題，嚴重制約了低成本、高效率的農業無人機應用。

具體而言， 面向低 重疊 、大幅面 農業 重復紋理 影像的實時三維重建 主要 面臨三大挑戰： （1） 計算復雜度高：基于SLAM 的方法依賴于提取和匹配大量特征進行姿態估計。來自大幅面 圖像的高分辨率數據 顯著 增加了計算負荷，使得在 計算資源受限 條件下 的 實時處理具有挑戰性 ； （2） 重復紋理導致特征誤匹配 ： 農田場景中常見的規律種植 行結構易 造成特征聚集與冗余，嚴重影響匹配魯棒性和位姿估計精度； （3） 低重疊圖像中的稀疏特征對應：視覺SLAM初始化需要足夠的“具有足夠視差的雙視圖對應”來恢復初始相機姿態和3D地圖點。在低重疊農業場景（<50% 三度 視覺重疊）中，連續 幀 之間缺乏魯棒匹配會導致初始化失敗，特別是在重復紋理下。 （4）由于不依賴任何地面控制點， 在跟蹤過程中，缺乏持久的三視圖幾何約束會進一步降低姿態估計的準確性， 容易 導致 S LAM 系統中斷或 重建結果精度很低 。

針對 上述 挑戰， 課題組提出了一種 面向低 重疊度 大幅面 農業遙感 影像 的實時匹配與高精度實時位姿 重建方法。該方法融合自適應地圖初始化策略、全局紋理感知的關鍵點提取機制、多模態跟蹤切換策略 與混合優化結構， 具有以下技術亮點： （1） 魯棒性 動態初始化機制：針對農業場景中低 影像 重疊率（ 三度重疊 低于50%）導致的初始化失敗問題，提出多模型并行估計與特征逐步匹配策略，顯著提升 了低重疊度重復紋理影像的 初始化成功率 ； （2） 全局紋理感知特征提取算法：結合特征響應更新與 四叉樹篩選 機制，增強了關鍵點在重復紋理中的均勻性與穩定性 ； （3） 自適應圖像跟蹤策略： 根據幀間匹配 質量動態切換4種跟蹤模式，確保在視角劇烈變化或紋理匱乏場景下的穩健追蹤 ； （4） 局部—全局混合優化機制：構建多因子 圖結構 進行局部調整，同時引入面向大基線農業影像的閉環檢測策略，實現長期重建誤差抑制； （5） 大幅面無人機圖像的實時處理：模塊化并行處理框架有效地處理高分辨率無人機數據。四個并行線程——特征提取、姿態跟蹤、局部優化和全局優化——提高了計算效率，而幾何約束投影匹配確保了高質量的特征對應。

圖4 面向低重疊度農業重復紋理影像的高精度實時匹配與實時位姿重建方法

實驗結果表明 ：① 該系統是當前唯一能在 千元級低成本處理器 上實現 對 低重疊大幅面農業遙感影像 進行在線 實時處理的算法， 對低重疊度大幅面農業遙感影像的 處理速度可達 3.4 幀 / 秒， 且 實時攝影測量精度 能夠保持在 較高 水平 （ 實時處理精度優于 1.1 像素 ） ，滿足 無人機 農業 遙感 實時 攝影測量 需求 。 ② 相較 于 Agis oft Metashape （ 選擇 Fast M ode ）， 其 處理速度 仍然 提高了約 4 倍，在滿足農業遙感對實時性要求的同時，顯著提升了重建完整性與軌跡精度。 ③ 與當前主流 的視覺 SLAM 系統（如 ORB-SLAM3 、 OpenVSLAM 等）和 SfM 軟件（如 Agis oft Metashape 、 COLMAP 等）相比，該方法在多組 實際 農業數據集上均表現出更優的 魯棒性與實時性，驗證了其在農田監測 、 作物管理和精準農業等場 景中的應用潛力。

圖5 課題組方法與幾種經典實時重建算法對第二套農業遙感數據的魯棒性測試結果對比

圖6 課題組提出實時處理系統與一些經典視覺SLAM系統的精度對比

（提出系統的絕對誤差，要顯著低于一些現有的經典SLAM系統）

該 研究 受國家自然科學基金、國家重點研發計劃、 湖北省 自然科學基金 、 湖北省楚天學者計劃 等項目的資助。

I SPRS 論文 鏈接： https://doi.org/10.1016/j.isprsjprs.2025.05.009

據悉，肖雄武課題組近年來積極 投身實時測繪與 災害遙感 快速 制圖領域 。課題組肖雄武副教授 于 2 017-2018 年牽頭攻克了無人機實時攝影測量中的“非實時傳輸”“難實時處理”“依賴控制點”三大難題，自主研制完成了我國首套無人機實時測繪系統 ( 及時圖 ) ， 2 019 年 1 月— 3 月在武漢、北京等地相繼開展了多次實際測試，能夠在線實時生成測區點云和實時 D SM /DEM/DOM ， 2 019 年申請無人機實時測繪國家發明專利 3 項（均獲得授權）。 2 022 年， 課題組 牽頭 指導的“及時圖——高精度實時 無人機 測繪系統開創者”項目獲得第八屆中國國際“互聯網 + ” 大賽 總決賽金獎，以國賽小組第 1 名 奪金 、金獎排位賽全國第 5 名創造了武漢大學本科生組的最高成績紀錄。

來源：自然資源部測繪標準化研究所