編輯：Mark

出品：紅色星際（ID：redplanx）

頭圖：大疆車載智能駕駛圖片

小林急匆匆地走進屋，“最近關于雙目攝像頭的討論突然變得很熱鬧，特別是大疆車載的雙目攝像頭在五菱車上量產之后，大家對這塊的關注明顯增多”。

小周低頭看了一下滿頭大汗的小林，笑著說，在我的記憶里，雙目攝像頭總是雷聲大，雨點小。

小林疑問地問道，為啥啊？

小周問道，你知道為什么這些輔助駕駛車輛在高速上，看到奇形怪物，總是往上撞嗎？

小林想了想，我好像之前聽別人說過，單目攝像頭主要是依靠龐大的樣本庫，如果樣本庫里沒有這個樣本，那么攝像頭就識別不出來這個物體。

一般情況下，單目攝像頭是先通過圖像匹配進行目標識別，再通過目標在圖像中的大小去估算目標距離，這就要求在估算距離之前首先對目標進行準確識別。

如果都不能識別出來，距離肯定也不能估算出來，所以一旦遇到奇形怪物，就下意識地忽略掉了，然后就撞上去了。

我這個理解對嗎？

小周點點頭，差不多是這個意思。對于單目攝像頭而言，必須建立并不斷維護一個龐大的樣本特征數據庫，保證數據庫包含這個世界的所有奇形怪物。

所以，你聽到的80%左右的自動駕駛車輛事故，大部分是撞上靜止的車輛、非標的路障，以及非標的車輛如工程車等等。更有一些公司為了系統可以有效地檢測到大型動物，特地跑到一個動物園，建一個大型動物數據庫。

1. 雙目攝像頭的發展

小林笑著說道，原來如此啊。接著反問道，那你為什么說雙目攝像頭總是雷聲大，雨點小？

小周轉過身來看著小林，其實雙目攝像頭的發展已經有了二十多年了，最開始是在日本，后來擴展到歐美，最后傳到了中國。但在中國，前幾年雙目攝像頭更多是用在商用車的障礙物檢測預警和AEB功能上，還沒有用在真正的高級輔助駕駛上。

至于為什么雙目攝像頭發展比較慢，我覺得有幾個原因吧。首先要知道雙目攝像頭到底有什么作用，它想補充什么功能或者是想取代什么傳感器。

雙目攝像頭是按照仿生視覺的方法，由左右兩個攝像機同步成像，并計算左右圖像的視差，從而生成三維點云，通過視差的大小來測量物體與眼睛之間的距離。

小林突然蹦了一句話，這個是不是和3D電影的效果一樣，通過偏光鏡片，左眼看左相機的圖像，右眼看右相機的圖像，通過大腦理解視覺差異從而形成立體感覺。

小周笑著說，是的，就是這個原理。從雙目攝像頭的成像效果看，它主要想替換的是激光雷達，因為它的點云效果和測距與激光雷達的性能非常相似。

但10-20萬的車型因為成本的原因，大家都用不起激光雷達，所以像大疆車載就使用雙目攝像頭和毫米波雷達的方案，應用在了五菱車上，彌補單目攝像頭+毫米波雷達在奇形怪狀障礙物的識別不足。

小林問道，就是說，前方只剩下雙目攝像頭和毫米波雷達？

小周點頭，對，這個方案其實很激進，因為雙目攝像頭在測距和深度信息方面還不是很成熟和完美。

從測距方面看，大多數做雙目的只能做到二三十米，因為兩個相機之間的基線是確定的，安裝在車上是不可能無限制放大的，所以在短基線情況下測遠距離本身的技術難度會大很多。

當然也可以增加相機基線的距離，看得更遠，但是視角會比較小。對于雙目相機而言，盡量近處看到最近，遠處盡量遠，這是矛盾的。

所以大疆車載在五菱的車上首先搭載的D80方案（時速80公里以內使用），而不是大家認為場景比較簡單的高速方案；而華為的雙目攝像頭為了避免這個問題，在北汽極狐車型上，除了使用雙目攝像頭外，還使用了2個不同焦距攝像頭來覆蓋更遠的距離和視角。

（華為雙目攝像頭圖片）

小林笑著說，我明白了，現在大家用的雙目攝像頭都是被閹割過的，并沒有達到雙目攝像頭理論上的效果。那如果加入4D毫米波雷達，雙目攝像頭+4D毫米波雷達是否可以在低成本方案上替換掉激光雷達呢？

小周想了想，你說得很對，雙目攝像頭雖然有理論支持，但是實現起來很難。理想狀態下，雙目攝像頭和4D毫米波雷達的組合是有可能替換激光雷達的，但目前看，因為這2個傳感器因為都是新產品，所以在產品一致性和性能穩定性方面都有不足。

特別是雙目攝像頭，隨著測距距離達到50米以上、100米以上，水平視覺只有30度，視差會變得越來越小，測距精度和穩定程度的挑戰也會越來越大，這就對于雙目攝像頭高精度的生產和一致性提出了嚴苛的要求。

包括標定方法，但這些我覺得隨著工藝和算法的提升可以逐漸提高。但現在雙目攝像頭最大的一個問題是生態沒有建立起來。

雙目攝像頭更多還是一個補充傳感器，沒有像單目攝像頭，或者激光雷達一樣，已經變成了方案融合的中心。反而更像是一個替代的效果，一方面想替代激光雷達的三維建圖，一方面又想替代毫米波的測距功能。

但是相對這2個傳感器的高性能，雙目攝像頭又達不到，所以更多是在低成本方案中部分替代激光雷達的效果，高成本方案中，作為一個補充。

我們來看一段歷史，就知道了。中國的單目和雙目的創業公司，最初都是用在商用車上，主要是因為當時中國政府出了一個政策，就是所有的商用車都得配有雙預警系統。

像Maxieye，Minieye等都是單目攝像頭的創業者，像中科慧眼等都是雙目攝像頭的創業者。但是發生了一件很奇怪的現象，等到大家想從商用車這個幾百萬規模的市場，轉到乘用車這個幾千萬規模的市場時，只有單目攝像頭的公司轉了過來，而雙目的基本都還停留在商用車市場。

現在市場上做雙目攝像頭，像華為和大疆，包括創業公司鑒智機器人，他們都是一開始就是從乘用車開始做的。

小林想了想，確實，鑒智機器人應該說是過去一年輔助駕駛領域的香餑餑，1年時間就融了5億元左右，用1年的時間走了別人5年走的路。可為什么商用車的公司都沒有轉過來呢？

小周站了起來，我覺得主要原因是以雙目攝像頭為融合中心的生態沒有建立起來，也和行業的發展節奏有關。

過去幾年，雙目攝像頭更多的是用在服務機器人上，用在車上的很少，主要原因是車規級的產品一般要求都比較高，特別是對于雙目攝像頭這樣涉及到精密制造的產品，如果標定都有問題，談精準測量都是空談。

像華為的高層講的，雙目一大堆問題，簡單點說從機械上有標定的問題，從算法上其實想把雙目用好并不容易，因為雙目要解決的本質問題是深度測量，但深度測量本身想測量比較穩定、可泛化其實是很難的問題。

傳統的雙目立體視覺方案對結構、穩定性和可靠性要求較高，國外相關廠商已具備多年經驗，而國內解決方案廠商目前處于起步階段，所以需要像大疆，華為這樣的大廠來帶動整個板塊的制造水平。

第二個因素，也是最主要的因素，就是雙目攝像頭更多的還是作為一個輔助工具，并沒有真正地融入輔助駕駛系統，加上乘用車上基本都是清一色的單目為主，所以很難從商用車跨界過來。

在乘用車市場，單目攝像頭融合的生態已經很成熟了，但是雙目攝像頭才剛剛開始，所以對于商用車輔助駕駛初創公司而言，重新建立一套雙目攝像頭的生態太難了，所以他們都被迫留在了商用車市場，有的也向服務機器人方向拓展，就是進不來乘用車。

小林疑惑道，為什么單目攝像頭的生態很完善，而雙目攝像頭的生態卻遲遲沒建立起來？

小周思考了一下，這與歷史和產品的發展有關。

單目攝像頭融合領域，有老大哥Mobileye，特斯拉等，通過大量的數據積累，建立了自己的數據庫，而且加上一堆的跟隨者，以前視單目為融合中心的生態形成了。

而且，單目攝像頭因于成本較低，對計算資源的要求不高，系統結構相對簡單，所以在行業最先發展，視覺融合技術方案也最成熟。一個單PFGA芯片就夠了，而且產品穩定性和一致性很好。

雙目系統的一個難點在于計算量非常大，對計算單元的性能要求非常高，這使得雙目系統的產品化、小型化的難度較大。之前國際上使用雙目的研究機構或廠商，絕大多數是使用服務器來進行圖像處理與計算的；也有部分將算法進行簡化后，使用FPGA進行處理。

但一些FPGA方案中有很多噪點與空洞，對后續計算不利，所以有些公司專門開發了專用芯片來適配雙目攝像頭。

小林想了想，那現在為什么又受到關注了？

小周笑著說，因為大廠進來了。現在大家不再是單獨做一個傳感器，而是直接提供讓雙目成為融合中心的視覺方案。

2. 雙目攝像頭生態

之前的雙目更多的還是識別，沒有到為主的地步。所以大家的關注沒那么多，但現在這批做雙目攝像頭的公司，是以雙目攝像頭為主的融合，直接去掉了前視單目攝像頭。

單目攝像頭的成功不僅僅是因為傳感器的成熟，還有與之匹配的數據庫，算法和融合方式。雙目攝像頭如果僅僅作為一個補充傳感器，沒有與之匹配的生態，是很難快速發展起來的。

所以我們看到像大疆車載，通過大疆車載自研雙目BEV車道線檢測及融合和雙目3D物體檢測及融合等技術，讓雙目攝像頭成為了融合的中心。

（鑒智機器人視覺雷達圖片）

像鑒智機器人，采用雙核心驅動的技術路線，通過高階自動駕駛解決方案和雙目視覺雷達的完整產品布局，試圖建立雙目攝像頭生態。

這批公司進來不是從單獨的雙目攝像頭切入，而是從整體方案入手。他們是帶著融合生態來的，而且都已經拿到定點。

因為無論是對于單目攝像頭，還是雙目攝像頭，最終仍然需要一套決策機制進行最終的決策，而整套決策的優劣直接決定了是以誰為融合的中心，而不是單純的提高某個傳感器或者作為一個補充傳感器。

特別是鑒智機器人，整體方案使用的是老東家的地平線征程5芯片，本身就對這款芯片的性能了如指掌，所以才能在過去的1年在雙目攝像頭融合生態中嶄露頭角。

小林突然感悟了，看來，跟對大哥很重要，選對生態合作伙伴會讓自己的產品突飛猛進。

小周笑著說，是的，跟對大哥很重要。立體視覺的關鍵在于算法的先進性，算法越高級，邊緣會與原始的圖像越接近、準確度越高。

所以說，只有建立完整的生態，整個行業才能快速地發展，而不是僅僅作為一個補充傳感器。

當然還有一個因素，是整個行業到了以3D視覺為主導的技術發展期。

隨著自動駕駛的發展和應用場景的廣泛，以圖像2D感知和規則后融合為主的視覺感知系統遇到了明顯的局限和瓶頸，包括測距測速準確性和穩定性、多攝像頭結果拼接一致性、規則系統迭代效率等一系列問題。

而高質量、大規模的4D場景數據，端到端的4D感知正在成為技術趨勢。一方面可對于交通參與者進行更優的運動軌跡預測，從而實現性能更加優異地規劃控制；另一方面可對于道路行駛區域預測更加精細的3D結構化信息，在線生成局部實時3D地圖，降低對高精地圖等基礎設施的依賴。

小林問道，那你認為雙目攝像頭什么時候可以落地呢？

小周思考片刻，單目和雙目因為檢測原理上的差異，雙目攝像頭硬件成本和計算量級的加倍，是難關也是突破口。

攝像頭的成本是最低的，單目相機的價格一般低于100美元，雙目攝像頭大概在200美元左右。用在掃地或者酒店服務機器人的雙目3D感知的相機，因為不是車規級的，成本更便宜，大概在100-200元左右。

之前可能雙目攝像頭價格比較高，主要用在高端車上。

但隨著相關產品產量的進一步提升，相關技術的不斷成熟，供應鏈的進一步完善，雙目視覺產品的價格有望與單目視覺產品的價格越來越接近。

特別是大廠的進入，讓整個行業的生產工藝都提高很多。

但是有一個問題，就是現在市面上已經量產的方案大多是后融合方案，大家會慢慢地轉向基于特征層面的前融合路線，是否由比較平滑過渡的算法框架能幫助車廠去做融合的遷移，這個大概需要1-2年的轉換過程。

小林看了一下馬上到吃中午飯的時間，我再問一個終極問題，就是雙目攝像頭融合未來會全面取代單目攝像頭嗎？

小周沉思片刻，目前階段，應該沒有那么快，其實單目攝像頭和雙目攝像頭并不是競爭的關系，而是互補的關系，像華為的前視四目攝像頭，既有雙目攝像頭，又有單目攝像頭，有些公司甚至使用三目攝像頭。

系統既可以通過單個攝像頭實現車道線、路標和車輛類型識別，同時還可以利用兩個攝像頭做物體的立體匹配，它們之間可以通過融合構成多維視覺。

像你剛才問的4D雷達問題，做雙目的更希望看到4D雷達的出現，如果雙目能夠很好的和4D雷達融合，從數據源的質量和一致性融合的難度也會小很多。

未來單雙目方法的融合，視覺與雷達等其他類型傳感器的融合，不同視角，焦段的相機融合，是雙目相機的發展趨勢。

但像大疆和鑒智機器人直接用雙目攝像頭取代前視單目攝像頭，是有點激進，但市場需要這樣的先鋒。

小林點點頭，確實。

通過一上午的交談，小林心里很滿足，但肚子卻在咕嚕咕嚕的叫著，小林站了起來，你中午想吃啥，我請你。

小周想了想，走，天上人間。兩人有說有笑的打了個車，踏上了去天上人間的路上。