近期，清華大學團隊開發了一種新型自監督學習網絡 SeReNet（Self-supervised Reconstruction Network），用于光場顯微鏡及其變體的快速、高分辨率、魯棒的 3D 重建。

4D 信息先驗賦予 SeReNet 在強噪聲、光學像差、樣本運動等不利條件下，實現了比現有深度學習方法更具優勢的泛化能力。而且，相比于傳統迭代方法，SeReNet 將處理速度提高了 700 倍，達到毫秒級處理速度。

作為新一代顯微鏡技術，這一技術突破有望用于細胞生物學、神經科學、免疫學等生物醫學成像領域，為活體生物樣本的高速、高精度三維成像提供了全新解決方案。

值得注意的是，SeReNet 僅需估計點擴散函數即可適配應用，這種高度通用的特性使其應用范圍遠超生物醫學領域，在高速攝影、天文成像、水下探測等依賴計算成像技術的專業領域同樣展現出巨大的應用潛力。

日前，相關論文以《基于物理驅動的自監督學習實現光場顯微鏡快速、高分辨、魯棒的三維重建》（Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy）為題發表在Nature Methods[1]，目前相關代碼已完全開源。

清華大學博士后盧志和復旦大學博士生金滿昌是共同第一作者，清華大學戴瓊海院士、吳嘉敏副教授和天津大學楊敬鈺教授擔任共同通訊作者。

圖丨相關論文（來源：Nature Methods）

該課題組長期致力于基于光場的活體介觀顯微鏡研究，近年來已開發了一系列成果計算成像儀器成果，包括 SLiM1100 掃描光場顯微鏡 [2] 和 SLiM2000 共聚焦掃描光場顯微鏡 [3]、RUSH3D 活體介觀顯微儀 [4] 等。

然而，領域內的共性問題體現在：早期的方法依賴硬件與算法的松散耦合，重建過程需復雜數學運算，盡管重建質量尚可但速度慢；后期發展的有監督深度學習方案在速度方面提升顯著，卻受限于特定樣本的訓練數據需求，這導致泛化能力與成像保真度難以兼顧。

“這些方法需要用戶為每種新的樣本，重新訓練神經網絡來學習顯微成像與重建過程。”盧志對 DeepTech 解釋道。

圖丨盧志博士參加生醫工交叉方向的學術會議（來源：盧志）

為解決上述問題，該團隊在 2021 年 9 月時萌生了創新思路，最終發展出“物理信息嵌入神經網絡”的方案。這種自監督深度學習算法無需依賴大量成對訓練數據，即可實現更高效的三維重建。

圖丨 SeReNet 設計原理（來源：Nature Methods）

SeReNet 主要由三個模塊組成：深度分解模塊、卷積神經網絡模塊和自監督模塊。盧志指出，該網絡通過結合物理先驗信息與多視角圖像變化，實現三維體積的高效重建。

這種設計使模型無需標注數據即可學習光場成像的本質物理規律。深度分解模塊采用固定點卷積和方向復制策略，用極少參數（169 個）實現精準的深度定位；卷積神經網絡模塊利用 3D 卷積層恢復高分辨率結構；自監督模塊則通過 4D 波前光學點擴散函數約束網絡訓練，將微觀光學衍射物理方程建模到神經網絡，使光場三維重建耗時從迭代算法的分鐘級縮短至 50 毫秒。

該技術進一步成功解決了針對實際應用中的五大實用性挑戰：噪聲環境下的魯棒重建、樣本快速運動導致的偽影（motion artifacts）、光學像差校正、跨樣本泛化能力（如斑馬魚、小鼠、果蠅等不同生物樣本），以及全自動化重建（無需人工超參數干預）。

具體來說，研究人員專門設計了新的噪聲魯棒損失函數，引入 preDAO 方法校正光學像差，并開發輕量級網絡抑制樣本運動偽影，同時通過優化的數據集和訓練策略實現從仿真數據到真實生物樣本的泛化。“這些改進旨在確保技術能在真實場景中實用，而不僅僅停留在論文層面。”盧志強調。

（來源：課題組）

在斑馬魚斷尾帶來的炎癥損傷實驗中，研究團隊觀察到一個持續 48 小時的免疫風暴現象，其中中性粒和巨噬兩種免疫細胞的動態活動被以每秒 1 個體積的速率完整記錄，共獲取超過 34 萬幀高分辨率數據，首次在國際上清晰呈現了損傷后大規模免疫細胞遷移的完整動力學特征。

需要了解是，傳統迭代處理方法需要近兩年（約 500 天）才能完成這些數據的重建，而采用新型 SeReNet 技術僅需不到 5 天即可完成。重建視頻清晰顯示，斷尾后數小時內斑馬魚體內的巨噬細胞（綠色標記）和中性粒細胞（黃色標記）數量顯著增加并呈現高度活躍狀態。

該技術獲得審稿人高度評價：“我們對系統的整體性能、作者解決的問題數量以及廣泛的應用范圍印象深刻。”

（來源：課題組）

SeReNet 技術還展現出對光學像差和樣本運動的卓越魯棒性，這一特性在活體成像中具有關鍵價值。在小鼠肝損傷模型研究中，研究人員利用該技術成功捕捉到中性粒細胞與 Kupffer 細胞間的精細相互作用以及細胞信號傳遞過程，這些發現為深入理解哺乳動物先天免疫系統的修復機制提供了全新視角。

據介紹，該技術目前將該技術已嵌入荷湖科技公司產品軟件，以提升重建效率，為生命科學研究提供更便捷的工具。

此外，該技術的應用潛力遠不止于當前展示的光場成像（基于多視角點擴散函數）。研究人員近期發現，這種方法同樣適用于單視角成像系統，原則上只要能夠估計點擴散函數，就可以拓展到任意計算成像領域。

（來源：Nature Methods）

在這項研究基礎上，該課題組計劃在兩個方向繼續探索：首先是擴大成像尺度，目前技術可覆蓋幾百微米范圍，未來計劃擴展至數十毫米級活體介觀成像，實現小鼠全器官（如腦、肝臟）的細胞級追蹤；其次是結合具身智能技術，讓顯微鏡具備“人”的思維能力，能夠對介觀世界自主理解和分析，高通量揭示生物規律，助力藥物篩選等應用。

參考資料：

1.Lu, Z., Jin, M., et al. Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy.Nature Methods(2025). https://doi.org/10.1038/s41592-025-02698-z

2.Wu, J., et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale.Cell184, 3318-3332 (2021).https://doi.org/10.1016/j.cell.2021.04.029

3.Lu, Z., et al. Long-term intravital subcellular imaging with confocal scanning light-field microscopy.Nature Biotechnology43, 569–580 (2025).https://doi.org/10.1038/s41587-024-02249-5

4.Zhang, Y., et al. Long-term mesoscale imaging of 3D intercellular dynamics across a mammalian organ.Cell187, 6104-6122 (2024).https://doi.org/10.1016/j.cell.2024.08.026

運營/排版：何晨龍