科學家開發了一種 AI 輔助的仿生復眼相機。

炎炎夏日，相信各位讀者都有被蚊子騷擾過的惱火記憶。但往往想要清剿蚊子的時候，卻被它靈巧地躲開，再難找到。

諸如蚊子這種節肢動物的視覺系統已經進化了 5 億多年，從寒武紀一直到現在。它們所擁有的復眼，其中的復雜結構是經過進化優化的卓越產品。具有成百上千個視覺單元的復眼可以檢測來自不同方向的光線，提供廣角視野并實現深度感知。

盡管節肢動物的視力質量不佳且腦力較弱，但它們卻表現出非凡的視覺認知能力，社交昆蟲中常見的復雜視覺學習行為（比如顏色學習，模式識別等）都可以證明這一點。

圖 1：BCE 和人工視覺系統。（圖源：論文）

仿生復眼 （BCE） 與其自然對應物具有相同的局限性：微小的復眼覆蓋了像素區域的一小部分，缺乏全面的成像能力，并且只為圖像貢獻了幾個像素，從而產生了馬賽克般的圖像。因此，BCE 的成像質量仍然需要顯著提高。

上海理工大學與美國杜克大學（Duke University）共同開發了一種仿生復眼相機，以節肢動物視覺為模型，能夠產生 165° 視角和 40 微米分辨率的全彩全景圖像。

該研究以「Seeing through arthropod eyes: An AI-assisted, biomimetic approach for high-resolution, multi-task imaging」為題，于 2025 年 5 月 21 日發布在《Science Advances》。

論文鏈接：https://www.science.org/doi/10.1126/sciadv.adt3505

BCE 相機

BCE 相機成像過程很簡單，通過平均每個復眼單元的光強度來實現。但因為單元的數量收到分辨率的限制，實際的像素數量是有限的。此外，單元的尺寸也導致較低的檢測效率，因為小孔徑限制了入射光量并在窄波導中引起多次內部反射，從而帶來高光損耗。

成像的一種方式是將單元用作成像器數組，相鄰單元捕獲的圖像經過進一步處理以形成高質量的圖像。在這種方法中，首選具有較大的視覺單元的 BCE 設計，因其形成清晰圖像的能力更強，檢測效率更高。

在這項研究中，BCE 被安裝在框架內，并組裝到市售的彩色圖像傳感器上，該框架將 BCE 與圖像傳感器對齊并阻擋環境光。圖像傳感器直接檢測 BCE 的輸出，它的像素密度和波導近端的直徑決定了每個視覺單元的有效像素數。

BCE 模仿天然復眼的解剖結構，其中的每個視覺單元都可被用作單獨的成像器，收集的圖像使用單元近端像素直接傳輸至圖像傳感器檢測，以防止產生重影。

圖 2：BCE 的光學表征。（圖源：論文）

該相機的兩個光學元件可分別在 18.9 到 42.5 毫米的物距范圍內（α = 0°, β = 0° 方向）與 19.9 到 32.5 毫米的物距范圍內（α = 68.7°, β = 0° 方向）上清晰識別所放置的圖案。

通過不同模式的演示，BCE 相機展示了其能通過寬視角與大景深收集大量信息，這些模式在測試單元的周圍單元里也部分出現，能為三維定位提供線索。

任務處理

視覺處理是結合先驗知識與視覺輸入，感知、分析和解釋視覺模式，進而創建有意義表示的過程。在人工視覺系統中，這個過程可以通過模仿生物神經網絡的功能和結構的機器學習模型來實現。

模型分為三個階段，與大腦的功能相對應。

• 第一階段模仿視覺注意力，將視覺系統引導至識別并定位 BCE 相機獲得的廣角圖像中的關鍵目標。

在兩個方向與實際距離的測定上，相機誤差分別小于 2.6°和 2.3%。

• 第二階段重建目標的形狀，提供視覺場的二維表示。

在此過程中，結構相似性和 2D 相關性分別高于 0.82 和 0.85。顏色相似度高于 91.4%。

• 第三階段對視覺場景進行抽象分析，重建后的圖像在反向旋轉后用于提取有用信息。

視覺系統在結構相似度（>0.86）、二維相關性（>0.89）和顏色相似度（>95.2%）方面均達到了高度相似。

上述的階段結果突顯了該系統在不同照明條件下檢測和重構各種模式的穩健性能。

圖 3：使用 BCE 相機的全景成像與人工視覺認知。（圖源：論文）

此外，BCE 相機還能進行同時觀測多個物體并實時追蹤它們的空間位置的挑戰。實戰測試中，與真實數據的良好一致率表明 BCE 相機具有多目標追蹤的能力。即使兩個遮罩互相靠近，也能被相機準確標記。

仿生視覺系統

這是一種模擬節肢動物自然復眼和大腦功能的仿生視覺系統，目的是更好地實現全景成像、深度感知和信息解讀。其中 BCE 相機作為關鍵設備，有著高效的低成本微流控輔助 3D 打印技術和互補金屬氧化物半導體制造工藝。

BCE 與單片成像傳感器無縫集成，消除了需要笨重的中繼透鏡或復雜三維光電探測器的需要。其中設計了微透鏡和大口徑光學波導（并未犧牲單個視細胞尺寸），實現低插入損耗和大量有效像素。

BCE 相機展示了全色、廣角高分辨率成像和大量像素的非凡能力，同時可以在三維空間中同時定位多個目標，并獨立重建每個目標的圖像而不互相干擾。

未來，研究人員可能會為其添加集成光學神經系統，從而優化神經網絡。研發團隊預測，仿生昆蟲視覺系統的發展，將在監視、機器人導航和醫療診斷等領域推動深刻的創新。