新智元報道

編輯：LRST

【新智元導讀】SeReNet是一個物理驅(qū)動的自監(jiān)督三維重建網(wǎng)絡，能在毫秒級速度下實現(xiàn)高保真、高分辨率的光場三維重建，擺脫了對標簽數(shù)據(jù)的依賴，顯著提升了活體成像的效率和質(zhì)量。

細胞是生命最基本的構造單元，而它們的諸多功能以及細胞間復雜精密的交互作用，往往只有在活體動物的真實生理與病理狀態(tài)下才能完整展現(xiàn)，難以在體外實驗中真實復現(xiàn)。

因此，若能在活體內(nèi)、原位、長時程地實現(xiàn)對大規(guī)模細胞群體的高速、高分辨率三維成像，將為我們深入理解腦科學、免疫調(diào)控、藥物反應等復雜生命過程提供前所未有的全景視角，有望揭示生命活動中尚未被觀測的關鍵細節(jié)，開啟生物醫(yī)學觀測的全新時代。

近年來，隨著原理層面的突破，計算成像技術逐步興起，徹底改變了傳統(tǒng)「所見即所得」的成像范式。

傳統(tǒng)光學系統(tǒng)本質(zhì)上是一種明文傳輸，場景信息直接映射至圖像傳感器，類比于香農(nóng)信息論中的經(jīng)典信道，其信息傳遞效率受限。

計算成像實現(xiàn)了從「光」到「算」的根本躍遷，將場景視為信源，通過前端光學編碼器進行冗余調(diào)控，再利用后端重建算法還原場景。

基于場景的稀疏性、低維性與結構先驗，計算成像能夠?qū)崿F(xiàn)更高信息壓縮率與更強魯棒性，在大規(guī)模神經(jīng)活動、免疫反應、腫瘤微環(huán)境等復雜生物場景中展現(xiàn)出卓越的成像潛力。

然而，隨著重建精度的不斷提升，數(shù)據(jù)處理效率成為制約成像系統(tǒng)實用化的關鍵瓶頸。

盡管有監(jiān)督深度神經(jīng)網(wǎng)絡可在一定程度上加速重建過程，但其泛化能力受限，尤其在面對樣本分布劇烈變化的實際場景時，往往需重新訓練，極大限制了其在生命科學中的通用性。

如何在保持高保真、高分辨的同時，實現(xiàn)對不同樣本、不同噪聲條件下三維結構的實時重建，依然是制約計算成像顯微鏡廣泛應用的核心障礙。

最近，清華大學研究團隊首次提出了物理驅(qū)動的自監(jiān)督三維重建網(wǎng)絡SeReNet，以毫秒級速度實現(xiàn)對非配對數(shù)據(jù)下的高保真、高分辨率光場三維重建，同時徹底擺脫了傳統(tǒng)監(jiān)督學習對標簽數(shù)據(jù)的依賴。

論文鏈接：https://www.nature.com/articles/s41592-025-02698-z

SeReNet通過構建一套物理一致性驅(qū)動的優(yōu)化框架，在訓練過程中逐步縮小網(wǎng)絡預測的重投影與原始采集數(shù)據(jù)之間的差異，將光學成像過程中的物理先驗（如多角度幾何、點擴散函數(shù)等）深度融合進網(wǎng)絡結構。

網(wǎng)絡的學習過程不再依賴靜態(tài)的樣本映射，而是從數(shù)據(jù)本身出發(fā)，在物理約束下進行結構化學習，確保模型始終忠實于原始采集所承載的真實場景。

該研究由清華大學自動化系博士后盧志、復旦大學未來信息創(chuàng)新學院與上海創(chuàng)智學院聯(lián)合培養(yǎng)博士生金滿昌共同一作完成，清華大學戴瓊海教授、吳嘉敏副教授，天津大學楊敬鈺教授為共同通訊作者。

SeReNet原理

光場顯微鏡的工作原理可被理解為一種多視角和離焦模糊的組合采樣，其本質(zhì)是在同一曝光中從多個視角同時獲取樣本的光場投影。

SeReNet受「數(shù)字重聚焦」思想啟發(fā)，首先將這些視角信息基于幾何方向反投影對齊到三維空間中（深度解碼模塊），再通過三維卷積網(wǎng)絡融合視角間信息并去模糊重建三維體。

SeReNet原理

訓練過程中，SeReNet采用真實的物理點擴散函數(shù)（PSF）將三維預測投影回4D光場觀測域，并以此為監(jiān)督信號優(yōu)化網(wǎng)絡參數(shù)，形成封閉的「物理感知—預測重建—光學重投影—誤差反饋」閉環(huán)，從而實現(xiàn)無需標簽數(shù)據(jù)的自監(jiān)督高精度重建。

在標準分辨率（429×429×101）下，SeReNet實現(xiàn)了每秒約20幀的高速三維重建性能，將計算速度提升了數(shù)百倍。

在實際的活體成像中，為降低光毒性并維持長時程觀測，激光強度必須受到嚴格限制，過強則會引發(fā)熒光漂白或蛋白失活，同時由于活體中細胞的高速運動、節(jié)律性震動以及深層組織引發(fā)的光學像差，傳統(tǒng)方法極易出現(xiàn)重建失真與偽影。

SeReNet對此進行了全鏈路建模：對成像過程中的高斯-泊松復合噪聲進行建模仿真，引入相位相關性實現(xiàn)多角度數(shù)字像差預矯正，并自動檢測場景中劇烈運動區(qū)域進行動態(tài)抑制，使得其在多種復雜干擾下仍可輸出穩(wěn)定、可靠的三維結構。

為驗證泛化性能，研究團隊在完全仿真的極端數(shù)據(jù)集（微球、氣泡、微管）上訓練SeReNet，在多種真實生物樣本中進行推理測試，依然表現(xiàn)出優(yōu)異的重建效果，證明了其出色的樣本遷移能力與跨場景適應性。

鼠肝損傷實驗中免疫細胞和內(nèi)皮細胞之間的行為記錄

在真實的生命實驗中，SeReNet同樣展現(xiàn)出非凡價值。研究團隊利用其對小鼠肝損傷模型進行了三維動態(tài)監(jiān)測，發(fā)現(xiàn)肝臟缺血再灌注（LIRI）手術后，中性粒細胞數(shù)量顯著上升，并觀測到中性粒細胞被巨噬細胞牽引并吞噬的罕見交互行為。

在另一藥物性肝損傷模型（AILF）中，SeReNet則首次清晰記錄到CD63+內(nèi)皮細胞與單核細胞之間的精準接觸與粘附過程，提示其可能為藥物誘導肝衰竭的重要信號通路。這一發(fā)現(xiàn)或?qū)楦尾「深A策略提供全新靶點與診斷窗口。

斑馬魚幼蟲剪尾手術和對照組全身免疫細胞活動路徑追蹤

更為震撼的是，在長時程免疫研究中，SeReNet的算力突破令大規(guī)模時空追蹤成為現(xiàn)實。團隊對斑馬魚幼蟲尾部創(chuàng)傷后的免疫反應進行了連續(xù)48小時成像，累計產(chǎn)生超過34萬幀的數(shù)據(jù)。

傳統(tǒng)方法預計重建耗時需兩年，而SeReNet在一周內(nèi)即完成全部數(shù)據(jù)的三維重建，堪稱「科研加速器」，真正打通了實驗數(shù)據(jù)獲取與重建分析之間的最后一道瓶頸。

總結

這項研究不僅在方法論上提供了從光學物理到神經(jīng)網(wǎng)絡的系統(tǒng)融合范式，更在實用層面推動了高維生物成像技術從實驗室走向臨床與生命科研的關鍵一步。

物理模型與AI算法的深度協(xié)同，不僅賦予了計算成像前所未有的速度與準確性，也為解碼復雜生命過程提供了更精密的顯微「語言」。

SeReNet的誕生，不只是一次成像技術的飛躍，更是生命科學與智能算法融合創(chuàng)新的里程碑。

參考資料：

https://www.nature.com/articles/s41592-025-02698-z