來(lái)源：量子位

編輯：感知芯視界 Link

波士頓動(dòng)力帶機(jī)器人看世界，Altas重磅升級(jí)了！

現(xiàn)在，它具備3D空間感知和實(shí)時(shí)物體追蹤能力，可以自主執(zhí)行更復(fù)雜的工業(yè)任務(wù)。

請(qǐng)看Altas在汽車(chē)工廠打工VCR：

小哥故意將汽車(chē)零部件丟在地上，只見(jiàn)它360°轉(zhuǎn)動(dòng)頭部環(huán)顧四周，隨后成功識(shí)別并將其放入正確位置：

（就是偷感好重，笑死）

故意移動(dòng)裝置位置，它也能精準(zhǔn)感知到變化：

然后依舊穩(wěn)穩(wěn)地將零部件放入槽內(nèi)：

頭部和腰部都可360°旋轉(zhuǎn)，干起活來(lái)那叫一個(gè)麻利：

據(jù)介紹，Altas的一系列功能升級(jí)源于波士頓動(dòng)力團(tuán)隊(duì)對(duì)Altas感知系統(tǒng)進(jìn)行的全新設(shè)計(jì)，融合了2D與3D感知技術(shù)、物體位姿追蹤，以及基于物理特性的精確校準(zhǔn)方案。

網(wǎng)友看到該新成果后紛紛叫好。光是官方在YouTube上發(fā)布的視頻就引來(lái)了十余萬(wàn)人圍觀，點(diǎn)贊量近8k。

網(wǎng)友紛紛表示Altas能夠觀察到物品掉落還會(huì)環(huán)顧四周觀察，這個(gè)能力非常炫酷。

還有網(wǎng)友表示迫不及待希望看到它們能夠在實(shí)際工作環(huán)境中投入使用。

除此之外，關(guān)于全新能力具體實(shí)現(xiàn)，官方發(fā)布了技術(shù)Blog。

背后技術(shù)解析

波士頓動(dòng)力團(tuán)隊(duì)表示，拿起一個(gè)汽車(chē)零件并將其放入正確的插槽，這一看似簡(jiǎn)單的任務(wù)對(duì)于機(jī)器人來(lái)說(shuō)實(shí)際上并不容易。

它需要將這個(gè)任務(wù)拆解為多個(gè)步驟，而每個(gè)步驟都需要關(guān)于環(huán)境的廣泛知識(shí)。

Altas得先檢測(cè)并識(shí)別物體，工廠中許多零件有的是金屬材質(zhì)的具有光澤感，有的對(duì)比度低顏色深暗，所以機(jī)器人攝像頭如何清晰區(qū)分就是一大挑戰(zhàn)。

然后，Altas需要推斷物體的位置進(jìn)行抓取，它是在桌子上敞開(kāi)放置，還是在視線受限的容器內(nèi)？

拿起物體后，Altas還需要決定將其放置在何處以及如何送達(dá)該位置。

最后，Altas要精確放置物體，任何方向偏差幾厘米都可能導(dǎo)致物體卡住或掉落。

因此，它還要能在出現(xiàn)問(wèn)題時(shí)采取糾正措施。

例如，若插入失敗，它可以利用基于工廠零件訓(xùn)練的基礎(chǔ)視覺(jué)模型的通用性和其本身大活動(dòng)范圍，搜索并從地面撿起掉落的零件。

下面具體來(lái)看波士頓動(dòng)力是如何解決這些問(wèn)題的。

2D感知：環(huán)境中有哪些物體？

首先機(jī)器人需要具備2D感知能力，確定周?chē)沫h(huán)境是否存在障礙物、目標(biāo)物體或地面風(fēng)險(xiǎn)。

波士頓動(dòng)力透露其2D物體檢測(cè)系統(tǒng)主要通過(guò)物體標(biāo)識(shí)、邊界框、關(guān)鍵點(diǎn)的形式，為機(jī)器人提供環(huán)境信息。

比如在開(kāi)頭所展示的Atlas存儲(chǔ)汽車(chē)零件的場(chǎng)景中，系統(tǒng)重點(diǎn)檢測(cè)存儲(chǔ)汽車(chē)零件的大型貨架這一固定裝置。

這些裝置形狀尺寸各異，Atlas需識(shí)別其類(lèi)型并定位空間占位，以規(guī)避碰撞風(fēng)險(xiǎn)。除了檢測(cè)和識(shí)別所有固定裝置外，系統(tǒng)還將裝置邊角定義為關(guān)鍵點(diǎn)，通過(guò)匹配內(nèi)部存儲(chǔ)的裝置模型，實(shí)現(xiàn)感知環(huán)境與虛擬模型的坐標(biāo)對(duì)齊。

而這其中，固定裝置的關(guān)鍵點(diǎn)是2D像素點(diǎn)，分為兩種類(lèi)型：

• 外部點(diǎn) （綠色） ：捕捉裝置外部輪廓，如貨架正面的四個(gè)邊角，用于快速定位裝置整體位置；

• 內(nèi)部點(diǎn) （ 紅 色 ） ：數(shù)量更多且形式多樣，捕捉特定固定裝置內(nèi)貨架和小隔間的內(nèi)部分布，從而實(shí)現(xiàn)對(duì)單個(gè)插槽的精確定位。

另外，為了執(zhí)行固定裝置分類(lèi)和關(guān)鍵點(diǎn)預(yù)測(cè)，Atlas使用了輕量級(jí)網(wǎng)絡(luò)架構(gòu)，平衡了性能與實(shí)時(shí)感知能力，這對(duì)Atlas的敏捷性至關(guān)重要。

3D感知：物體相對(duì)于Atlas的位置在哪里？ 3D感知：物體相對(duì)于Atlas的位置在哪里？

接下來(lái)，Atlas若想精準(zhǔn)操作固定裝置內(nèi)的物體，必先明確自身與目標(biāo)裝置的相對(duì)空間關(guān)系。

其核心依賴基于關(guān)鍵點(diǎn)的固定裝置定位模塊，該模塊可實(shí)時(shí)估算Atlas相對(duì)于周?chē)醒b置的位置與朝向。

定位系統(tǒng)接收來(lái)自物體檢測(cè)流程的內(nèi)部、外部關(guān)鍵點(diǎn)，通過(guò)最小化重投影誤差將這些關(guān)鍵點(diǎn)與預(yù)設(shè)空間分布模型對(duì)齊。

系統(tǒng)還會(huì)接收運(yùn)動(dòng)里程計(jì)數(shù)據(jù)（用于測(cè)量Atlas的移動(dòng)距離和方向），以便在統(tǒng)一坐標(biāo)系中融合固定裝置的位姿估計(jì)，提升對(duì)關(guān)鍵點(diǎn)噪聲的魯棒性。

其中的一個(gè)關(guān)鍵挑戰(zhàn)是處理頻繁的遮擋和超出視野的關(guān)鍵點(diǎn)。例如，當(dāng)Atlas靠近某個(gè)固定裝置或視角傾斜時(shí)，部分外部關(guān)鍵點(diǎn)可能不在視野內(nèi)或者不可靠。

這時(shí)，定位系統(tǒng)轉(zhuǎn)而依賴固定裝置內(nèi)部插槽分隔線的拐角關(guān)鍵點(diǎn)（與物體取放直接相關(guān)的區(qū)域）來(lái)解決這一問(wèn)題。

但這又帶來(lái)了2D關(guān)鍵點(diǎn)與3D拐角的關(guān)聯(lián)挑戰(zhàn)，即圖像中的每個(gè)關(guān)鍵點(diǎn)對(duì)應(yīng)哪個(gè)3D拐角？

Atlas首先通過(guò)外部關(guān)鍵點(diǎn)進(jìn)行初步近似，從而對(duì)內(nèi)部關(guān)鍵點(diǎn)的關(guān)聯(lián)做出初步猜測(cè)，然后結(jié)合內(nèi)外部關(guān)鍵點(diǎn)生成更可靠的固定裝置及其所有插槽的位姿估計(jì)。

其次，部分固定裝置在視覺(jué)上完全相同，這種情況在工廠中非常常見(jiàn)，也給實(shí)際場(chǎng)景帶來(lái)了額外挑戰(zhàn)。

Atlas通過(guò)結(jié)合時(shí)間一致性和不同固定裝置間相對(duì)位置的先驗(yàn)知識(shí)（例如，假設(shè)裝置A位于裝置B右側(cè)半米處）來(lái)解決這一問(wèn)題。

所有這些特性共同構(gòu)成了一個(gè)可靠且敏捷的固定裝置感知系統(tǒng)。

所以，當(dāng)有人移動(dòng)Atlas身后的固定裝置時(shí)，機(jī)器人會(huì)迅速識(shí)別預(yù)期位置與實(shí)際位置的差異，重新定位裝置，并相應(yīng)地重新規(guī)劃行為。

物體位姿估計(jì)：Atlas如何與物體交互？ 物體位姿估計(jì)：Atlas如何與物體交互？

接下來(lái)再看看，Atlas是如何與物體交互的。

據(jù)介紹，Atlas物體操作能力依賴于準(zhǔn)確、實(shí)時(shí)的以物體為中心的感知。其物體位姿跟蹤系統(tǒng)SuperTracker融合了多源信息，包括機(jī)器人運(yùn)動(dòng)學(xué)數(shù)據(jù)、視覺(jué)數(shù)據(jù)，必要時(shí)還包含力反饋數(shù)據(jù)。

具體來(lái)說(shuō)，來(lái)自Atlas關(guān)節(jié)編碼器的運(yùn)動(dòng)學(xué)信息可幫助確定Atlas的抓手在空間中的位置。當(dāng)Atlas識(shí)別出它已經(jīng)抓取到一個(gè)物體時(shí)，這些信息為Atlas在移動(dòng)身體時(shí)物體應(yīng)該處于的位置提供了強(qiáng)有力的先驗(yàn)知識(shí)。

通過(guò)融合運(yùn)動(dòng)數(shù)據(jù)，Atlas可以處理物體在視覺(jué)上被遮擋或不在攝像頭視野中的情況，并感知物體是否從抓手中滑落。

當(dāng)物體處于攝像頭視野內(nèi)時(shí)，Atlas使用一種“渲染-比較”方法來(lái)估計(jì)單目圖像中的位姿，背后是一個(gè)物體位姿估計(jì)模型。

該模型通過(guò)大規(guī)模合成數(shù)據(jù)訓(xùn)練而成，在給定CAD模型的情況下可對(duì)新物體進(jìn)行零樣本泛化。當(dāng)使用3D位姿先驗(yàn)初始化時(shí)，模型會(huì)迭代地細(xì)化該先驗(yàn)，以最小化渲染的CAD模型與捕獲的攝像頭圖像之間的差異。

此外，位姿估計(jì)器也可通過(guò)2D感興趣區(qū)域先驗(yàn)（如物體掩碼）初始化，隨后生成一批位姿假設(shè)并輸入評(píng)分模型，最終對(duì)最優(yōu)假設(shè)進(jìn)行優(yōu)化。

波士頓動(dòng)力透露，Atlas的位姿估計(jì)器已在數(shù)百種工廠資產(chǎn)上通過(guò)了可靠驗(yàn)證，這些資產(chǎn)均已在內(nèi)部完成建模和紋理映射。

SuperTracker將視覺(jué)位姿估計(jì)作為3D先驗(yàn)接收。在Atlas面臨的操作場(chǎng)景中，由于遮擋、部分可見(jiàn)性和光照變化，視覺(jué)位姿估計(jì)可能存在歧義。

為此，系統(tǒng)使用一系列濾波器驗(yàn)證位姿估計(jì)：

• 自洽性 ：不依賴單一的位姿先驗(yàn)，而是使用一批擾動(dòng)初始值，并通過(guò)基于最大團(tuán)的一致性算法驗(yàn)證輸出，確保收斂到相同的預(yù)測(cè)位姿；

• 運(yùn)動(dòng)學(xué)一致性 ：作為強(qiáng)制接觸的代理，拒絕任何導(dǎo)致手指與物體距離異常過(guò)大的預(yù)測(cè)位姿。

運(yùn)動(dòng)學(xué)和攝像頭輸入通過(guò)固定滯后平滑器異步處理。該平滑器接收來(lái)自Atlas關(guān)節(jié)編碼器的高速率運(yùn)動(dòng)輸入歷史，以及機(jī)器學(xué)習(xí)模型的低速率視覺(jué)位姿估計(jì)，進(jìn)而確定最優(yōu)的6自由度物體軌跡。

校準(zhǔn)：Atlas是否真的處于其“認(rèn)為”的位置？ 校準(zhǔn)：Atlas是否真的處于其“認(rèn)為”的位置？

波士頓動(dòng)力團(tuán)隊(duì)還強(qiáng)調(diào)，在執(zhí)行精確操作任務(wù)時(shí)，不能低估經(jīng)過(guò)良好校準(zhǔn)的手眼協(xié)調(diào)的重要性，即Atlas的“視覺(jué)感知”與“動(dòng)作執(zhí)行”之間精確可靠的映射關(guān)系。

上圖顯示了Atlas的機(jī)身內(nèi)部模型疊加在實(shí)時(shí)攝像頭畫(huà)面上的效果，其手臂、腿部和軀干與機(jī)器人“認(rèn)知”中的位置幾乎完全對(duì)齊。

而這背后是一套精心設(shè)計(jì)的攝像頭和運(yùn)動(dòng)校準(zhǔn)程序，用于補(bǔ)償機(jī)器人機(jī)身制造和組裝中的不精確性，以及因溫度變化或反復(fù)物理沖擊等外部因素導(dǎo)致的隨時(shí)間產(chǎn)生的物理變化。

波士頓動(dòng)力團(tuán)隊(duì)表示，根據(jù)他們的經(jīng)驗(yàn)，“精確的手眼校準(zhǔn)是實(shí)現(xiàn)高性能操作和感知驅(qū)動(dòng)自主能力的關(guān)鍵前提”。

One More Thing

團(tuán)隊(duì)還透露了未來(lái)計(jì)劃——正專(zhuān)注于為Atlas構(gòu)建統(tǒng)一的基礎(chǔ)模型：

未來(lái)的發(fā)展將超越傳統(tǒng)感知范疇，推動(dòng)感知與動(dòng)作從分離過(guò)程向融合過(guò)程轉(zhuǎn)變，實(shí)現(xiàn)從空間人工智能到“運(yùn)動(dòng)智能”的范式升級(jí)。

參考鏈接：
[1]https://bostondynamics.com/blog/making-atlas-see-the-world/
[2]https://www.youtube.com/watch?v=oe1dke3Cf7I

文章來(lái)源：量子位

感知芯視界媒體推廣/文章發(fā)布 隗女士 15061886132(微信同號(hào))

*免責(zé)聲明：本文版權(quán)歸原作者所有，本文所用圖片、文字如涉及作品版權(quán)，請(qǐng)第一時(shí)間聯(lián)系我們刪除。本平臺(tái)旨在提供行業(yè)資訊，僅代表作者觀點(diǎn)，不代表感知芯視界立場(chǎng)。

免費(fèi)下載

光子產(chǎn)業(yè)報(bào)告【500頁(yè)】