近期，清華大學(xué)團(tuán)隊(duì)開發(fā)了一種新型自監(jiān)督學(xué)習(xí)網(wǎng)絡(luò) SeReNet（Self-supervised Reconstruction Network），用于光場(chǎng)顯微鏡及其變體的快速、高分辨率、魯棒的 3D 重建。

4D 信息先驗(yàn)賦予 SeReNet 在強(qiáng)噪聲、光學(xué)像差、樣本運(yùn)動(dòng)等不利條件下，實(shí)現(xiàn)了比現(xiàn)有深度學(xué)習(xí)方法更具優(yōu)勢(shì)的泛化能力。而且，相比于傳統(tǒng)迭代方法，SeReNet 將處理速度提高了 700 倍，達(dá)到毫秒級(jí)處理速度。

作為新一代顯微鏡技術(shù)，這一技術(shù)突破有望用于細(xì)胞生物學(xué)、神經(jīng)科學(xué)、免疫學(xué)等生物醫(yī)學(xué)成像領(lǐng)域，為活體生物樣本的高速、高精度三維成像提供了全新解決方案。

值得注意的是，SeReNet 僅需估計(jì)點(diǎn)擴(kuò)散函數(shù)即可適配應(yīng)用，這種高度通用的特性使其應(yīng)用范圍遠(yuǎn)超生物醫(yī)學(xué)領(lǐng)域，在高速攝影、天文成像、水下探測(cè)等依賴計(jì)算成像技術(shù)的專業(yè)領(lǐng)域同樣展現(xiàn)出巨大的應(yīng)用潛力。

日前，相關(guān)論文以《基于物理驅(qū)動(dòng)的自監(jiān)督學(xué)習(xí)實(shí)現(xiàn)光場(chǎng)顯微鏡快速、高分辨、魯棒的三維重建》（Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy）為題發(fā)表在Nature Methods[1]，目前相關(guān)代碼已完全開源。

清華大學(xué)博士后盧志和復(fù)旦大學(xué)博士生金滿昌是共同第一作者，清華大學(xué)戴瓊海院士、吳嘉敏副教授和天津大學(xué)楊敬鈺教授擔(dān)任共同通訊作者。

圖丨相關(guān)論文（來源：Nature Methods）

該課題組長期致力于基于光場(chǎng)的活體介觀顯微鏡研究，近年來已開發(fā)了一系列成果計(jì)算成像儀器成果，包括 SLiM1100 掃描光場(chǎng)顯微鏡 [2] 和 SLiM2000 共聚焦掃描光場(chǎng)顯微鏡 [3]、RUSH3D 活體介觀顯微儀 [4] 等。

然而，領(lǐng)域內(nèi)的共性問題體現(xiàn)在：早期的方法依賴硬件與算法的松散耦合，重建過程需復(fù)雜數(shù)學(xué)運(yùn)算，盡管重建質(zhì)量尚可但速度慢；后期發(fā)展的有監(jiān)督深度學(xué)習(xí)方案在速度方面提升顯著，卻受限于特定樣本的訓(xùn)練數(shù)據(jù)需求，這導(dǎo)致泛化能力與成像保真度難以兼顧。

“這些方法需要用戶為每種新的樣本，重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)顯微成像與重建過程。”盧志對(duì) DeepTech 解釋道。

圖丨盧志博士參加生醫(yī)工交叉方向的學(xué)術(shù)會(huì)議（來源：盧志）

為解決上述問題，該團(tuán)隊(duì)在 2021 年 9 月時(shí)萌生了創(chuàng)新思路，最終發(fā)展出“物理信息嵌入神經(jīng)網(wǎng)絡(luò)”的方案。這種自監(jiān)督深度學(xué)習(xí)算法無需依賴大量成對(duì)訓(xùn)練數(shù)據(jù)，即可實(shí)現(xiàn)更高效的三維重建。

圖丨 SeReNet 設(shè)計(jì)原理（來源：Nature Methods）

SeReNet 主要由三個(gè)模塊組成：深度分解模塊、卷積神經(jīng)網(wǎng)絡(luò)模塊和自監(jiān)督模塊。盧志指出，該網(wǎng)絡(luò)通過結(jié)合物理先驗(yàn)信息與多視角圖像變化，實(shí)現(xiàn)三維體積的高效重建。

這種設(shè)計(jì)使模型無需標(biāo)注數(shù)據(jù)即可學(xué)習(xí)光場(chǎng)成像的本質(zhì)物理規(guī)律。深度分解模塊采用固定點(diǎn)卷積和方向復(fù)制策略，用極少參數(shù)（169 個(gè)）實(shí)現(xiàn)精準(zhǔn)的深度定位；卷積神經(jīng)網(wǎng)絡(luò)模塊利用 3D 卷積層恢復(fù)高分辨率結(jié)構(gòu)；自監(jiān)督模塊則通過 4D 波前光學(xué)點(diǎn)擴(kuò)散函數(shù)約束網(wǎng)絡(luò)訓(xùn)練，將微觀光學(xué)衍射物理方程建模到神經(jīng)網(wǎng)絡(luò)，使光場(chǎng)三維重建耗時(shí)從迭代算法的分鐘級(jí)縮短至 50 毫秒。

該技術(shù)進(jìn)一步成功解決了針對(duì)實(shí)際應(yīng)用中的五大實(shí)用性挑戰(zhàn)：噪聲環(huán)境下的魯棒重建、樣本快速運(yùn)動(dòng)導(dǎo)致的偽影（motion artifacts）、光學(xué)像差校正、跨樣本泛化能力（如斑馬魚、小鼠、果蠅等不同生物樣本），以及全自動(dòng)化重建（無需人工超參數(shù)干預(yù)）。

具體來說，研究人員專門設(shè)計(jì)了新的噪聲魯棒損失函數(shù)，引入 preDAO 方法校正光學(xué)像差，并開發(fā)輕量級(jí)網(wǎng)絡(luò)抑制樣本運(yùn)動(dòng)偽影，同時(shí)通過優(yōu)化的數(shù)據(jù)集和訓(xùn)練策略實(shí)現(xiàn)從仿真數(shù)據(jù)到真實(shí)生物樣本的泛化。“這些改進(jìn)旨在確保技術(shù)能在真實(shí)場(chǎng)景中實(shí)用，而不僅僅停留在論文層面。”盧志強(qiáng)調(diào)。

（來源：課題組）

在斑馬魚斷尾帶來的炎癥損傷實(shí)驗(yàn)中，研究團(tuán)隊(duì)觀察到一個(gè)持續(xù) 48 小時(shí)的免疫風(fēng)暴現(xiàn)象，其中中性粒和巨噬兩種免疫細(xì)胞的動(dòng)態(tài)活動(dòng)被以每秒 1 個(gè)體積的速率完整記錄，共獲取超過 34 萬幀高分辨率數(shù)據(jù)，首次在國際上清晰呈現(xiàn)了損傷后大規(guī)模免疫細(xì)胞遷移的完整動(dòng)力學(xué)特征。

需要了解是，傳統(tǒng)迭代處理方法需要近兩年（約 500 天）才能完成這些數(shù)據(jù)的重建，而采用新型 SeReNet 技術(shù)僅需不到 5 天即可完成。重建視頻清晰顯示，斷尾后數(shù)小時(shí)內(nèi)斑馬魚體內(nèi)的巨噬細(xì)胞（綠色標(biāo)記）和中性粒細(xì)胞（黃色標(biāo)記）數(shù)量顯著增加并呈現(xiàn)高度活躍狀態(tài)。

該技術(shù)獲得審稿人高度評(píng)價(jià)：“我們對(duì)系統(tǒng)的整體性能、作者解決的問題數(shù)量以及廣泛的應(yīng)用范圍印象深刻。”

（來源：課題組）

SeReNet 技術(shù)還展現(xiàn)出對(duì)光學(xué)像差和樣本運(yùn)動(dòng)的卓越魯棒性，這一特性在活體成像中具有關(guān)鍵價(jià)值。在小鼠肝損傷模型研究中，研究人員利用該技術(shù)成功捕捉到中性粒細(xì)胞與 Kupffer 細(xì)胞間的精細(xì)相互作用以及細(xì)胞信號(hào)傳遞過程，這些發(fā)現(xiàn)為深入理解哺乳動(dòng)物先天免疫系統(tǒng)的修復(fù)機(jī)制提供了全新視角。

據(jù)介紹，該技術(shù)目前將該技術(shù)已嵌入荷湖科技公司產(chǎn)品軟件，以提升重建效率，為生命科學(xué)研究提供更便捷的工具。

此外，該技術(shù)的應(yīng)用潛力遠(yuǎn)不止于當(dāng)前展示的光場(chǎng)成像（基于多視角點(diǎn)擴(kuò)散函數(shù)）。研究人員近期發(fā)現(xiàn)，這種方法同樣適用于單視角成像系統(tǒng)，原則上只要能夠估計(jì)點(diǎn)擴(kuò)散函數(shù)，就可以拓展到任意計(jì)算成像領(lǐng)域。

（來源：Nature Methods）

在這項(xiàng)研究基礎(chǔ)上，該課題組計(jì)劃在兩個(gè)方向繼續(xù)探索：首先是擴(kuò)大成像尺度，目前技術(shù)可覆蓋幾百微米范圍，未來計(jì)劃擴(kuò)展至數(shù)十毫米級(jí)活體介觀成像，實(shí)現(xiàn)小鼠全器官（如腦、肝臟）的細(xì)胞級(jí)追蹤；其次是結(jié)合具身智能技術(shù)，讓顯微鏡具備“人”的思維能力，能夠?qū)橛^世界自主理解和分析，高通量揭示生物規(guī)律，助力藥物篩選等應(yīng)用。

參考資料：

1.Lu, Z., Jin, M., et al. Physics-driven self-supervised learning for fast high-resolution robust 3D reconstruction of light-field microscopy.Nature Methods(2025). https://doi.org/10.1038/s41592-025-02698-z

2.Wu, J., et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale.Cell184, 3318-3332 (2021).https://doi.org/10.1016/j.cell.2021.04.029

3.Lu, Z., et al. Long-term intravital subcellular imaging with confocal scanning light-field microscopy.Nature Biotechnology43, 569–580 (2025).https://doi.org/10.1038/s41587-024-02249-5

4.Zhang, Y., et al. Long-term mesoscale imaging of 3D intercellular dynamics across a mammalian organ.Cell187, 6104-6122 (2024).https://doi.org/10.1016/j.cell.2024.08.026

運(yùn)營/排版：何晨龍