之前，RoboX整理出GTC一場頭部人形機器人企業高層圓桌的上半部分：機器人大神圓桌（上）：軟硬件的「相愛相殺」，以及數據的臨界探索

本場圓桌可謂陣容豪華，干貨滿滿！如今下半部分如今也整理完畢，供大家參考。圓桌嘉賓名單如下：

• Aaron Saunders——波士頓動力CTO
• Bernt Bornich——1X創始人兼CEO
• Deepak Pathak——Skild AI的CEO兼聯合創始人
• Jim Fan——英偉達首席研究科學家/高級研究經理
• Pras Velagapudi——Agility機器人 CTO

當前硬件的最大挑戰

【Aaron Saunders 】-波士頓動力：

當機器人無法被準確表征，也沒有經過校準，每臺機器之間都會存在很大的變異性。

此時如果你只是簡單地給它配上一個控制器（例如AI策略），輸出就會有很大的差異性。但目前，可以通過大量的工作來最小化這種差距。我相信在這方面，Agility也有一些想法。

【Pras Velagapudi】-Agility Robotics：

是的，我認為可以將機器人投入到現實世界中進行生產，并觀察其變異性，這些經驗會反饋到你構建的流程中。

其中一個例子，就是Digit機器人具有完全通過學習進行的恢復行為，它們正運行在現實的生產系統上。當你在現實世界中獲得經驗時，會更加了解在訓練流程中需要捕捉哪些關鍵點。

通過實際運行，我們可以加深數據多樣性、域隨機化和強化策略，并將這些策略遷移至剛發布的最新版Digit上。

新版機器人重了10公斤，框架也大得多。但該策略一次性就成功地轉移了過來，盡管其運動學略有不同，有效載荷也更重。這是因為我們花費了大量時間強化、優化「從仿真到現實世界的轉移」，真正理解了諸如足部接觸等細節。

因此，我認為隨著經驗的積累，你會在跨實體化的過程中變得更好，而不是總需要仔細查看每個機器人的制造序列號。

【Aaron Saunders】-波士頓動力：

當你從數百臺機器人增加到數千臺時，你會直接面對這個問題，這不是一個選擇題——當你有成千上萬臺機器人時，你不能為每一臺單獨調整軟件棧，所以這是一個必須解決的問題。

【Bernt Bornich】-1X：

我同意你們倆的部份觀點，尤其認同校準的重要性。但我覺得有趣的是，在進行域隨機化時，實際上是在教導你的系統要保守。

這是在教系統在多變的環境中，保持安全的策略，這種方式在某種程度上掩蓋了系統的動力學特性，所以這一切都取決于你想實現的目標。

如果進行域隨機化，你會得到一個非常穩健的系統，但無法保持性能。而如果有了精準的校準，就可以從系統中獲得更多，從長遠來看這很重要。

目前我們正在進行一些令人興奮的工作——將機器人的歷史數據添加到模型的上下文中。對于每一個機器人個體，你都能獲取該機器人的一些運行數據，并將其放入實際模型的歷史上下文中，然后它會在其中學習它自身的動力學特性，這實際上效果出奇地好，這真的很酷。

【Deepak Pathak】-Skild AI：

這就是我們所說的RMA（Rapid Motor Adaptation），即快速運動適應。這個想法的核心是，你無法在不同版本之間更改你的模型，這是一個大問題，因為世界上不會只有一家機器人公司或一種機器人。

對于每一個應用，雖然有多種GPU及其創造的生態系統，但CUDA層將你從直接處理硬件的復雜性中抽離出來，對操作系統也是如此。

那么，當談到解決機器人技術的問題時，什么才是與之等效的東西呢？這里我有一個稍微不同的觀點——

在其他領域，無論是視覺還是語言，我們都從硬件中抽象出來。如果一家新公司（例如AMD）想要進入市場，他們必須確保其他人可以無縫地在其GPU上運行英偉達的代碼。這是他們的責任，而非軟件的責任。

對于機器人來說，我們不應該構建一個只適用于特定機器人的大腦，而是應該適應不同機器人。

人類大腦擁有的不是一個能做很多事的系統，而是一個學習引擎，它可以實時學習和適應。在機器人領域，我們將部署的是這些小型的學習引擎，這將是機器人與AI其他領域之間的主要區別。

【Bernt Bornich】-1X：

我認為這種區別最終會消失。

我們經常問AI能為機器人做什么，但很少反過來問機器人能為AI做什么。因為在實際操作中獲取的數據，當你有一個假設，采取行動，觀察結果，并從中學習，這才是真正的學習方式。

最近我們看到推理模型在數學和編程方面表現出色，因為這些都是可驗證的，而機器人可以讓你在所有事情上都做到這一點。

【Deepak Pathak】-Skild AI：

另一個例子是幻覺，這是LLM中的一個大問題。可是，機器人不會產生幻覺，因為它們是通過交互來學習的，如果一個瓶子推至桌子邊緣，它會掉落，我可以看見，不需要猜測。因此，交互、互動是幻覺的敵人。一旦開始互動，幻覺就會消失。

【Pras Velagapudi】- Agility Robotics：

抱歉，我認為機器人還會有幻覺，只不過表現形式不同——它表現為機器人預期結果與現實世界發生的情況之間的偏差。

就像代碼生成幻覺在不編譯時可以驗證一樣，這種情況也可以驗證。但它會表現為機器人執行一條不可行的軌跡，或生成錯誤的結果。

【Deepak Pathak】-Skild AI：

我的意思是，由于可以互動，這些問題是可以解決的。但如果沒有互動的能力，那么它們永遠無法被解決。

【Bernt Bornich】-1X：

實際上我有一個非常好的例子。

去年，我們遇到了「辦公室里沒人愿意放下馬桶座圈」的問題。我們有一款早期的機器人Eve，帶有輪子，非常靈活。我們讓它自主進入衛生間檢查馬桶座是打開還是關閉狀態。

這個過程中使用了GPT 4.0，結果它的判斷正確率為50%，也就是說完全隨機，根本無法分辨馬桶座的狀態。

但我們讓機器人去關閉馬桶座圈，這是一個自主策略。它會巡視并檢查浴室，并在馬桶座圈打開時將其關閉。這非常有趣，我們也因此感到很開心，這實際上是現實世界中的閉環控制。

【Pras Velagapudi】- Agility Robotics：

這就類似于在其他領域使用AI與API或編譯器等交互時的閉環控制，在那里你可以發出一些結果，并通過驗證階段將信息反饋到系統的上下文中。只是在這種情況下，由于涉及到物理世界，閉環的速度會稍慢一些。

【Bernt Bornich】-1X：

沒錯，目前的問題是，我們雖然可以設計出像馬桶座圈這樣的特定事物，但還不知道如何用一套方案應對整個物理世界。

對未來2-5年的預判

【Bernt Bornich】-1X：

考慮到當前領域的進展速度，2-5年是一個相當大的范圍。我會說要完全實現我們的目標，可能需要10年。

那時社會將會經歷類似幾百年前電力帶來的變革，這是人類歷史上一個有趣的時刻，屆時我們可以真正專注于那些使我們成為人類的東西。

但目前沒有人知道確切答案，這真的取決于社會接受機器人的速度，以及擴大制造規模的速度。我們現在正處于這樣一個臨界點，即它開始變得有用。

希望它不會像自動駕駛汽車那樣，比預期的多花10年時間。

我確實認為在3到5年內，人形機器人將在大多數人中間普及開來，它們將成為社會的一部分，覆蓋從消費者、家庭到工廠、物流等各個領域。

【Deepak Pathak】-Skild AI：

專業機器人會很快出現，而通用機器人則需要更長時間。但后者從第一天起，就會顯示出其在機器人領域的價值。

【Pras Velagapudi】- Agility Robotics：

我認為挑戰在于普及，這不僅僅是技術問題，還涉及到安全性、社會接受度等因素。

所以在3-5年內，我們可能會看到某些領域有更多的機器人，而在另一些領域則遠少于預期。但重要的是，我們現在正見證機器人從單一用途向多用途轉變的過程，也許不是通用機器人，而是多用途的。

通過新的AI平臺，能夠展示用一個硬件完成多件事情，我認為這是未來3到5年的關鍵，這種期望將成為人們努力實現的新標準。

【Aaron Saunders】-波士頓動力：

這個問題的真正難點，在于每個人的期望值并沒有統一的標準。所以我通常會問的一個問題是：“我們什么時候能擁有一款像汽車對我們那樣有價值的類人機器人？”我真的不知道。

汽車每天都在最極端的天氣下工作，考慮到投入的材料和精力，它的成本幾乎可以忽略不計。而即便是汽車本身，也無法完全比擬類人機器人可能為我們的生活帶來的價值。

因此，我也認為這需要10年甚至更長時間。如果你問一位創始人，他可能會說「明年就能實現」；但如果你問技術人員，他們會說大約需要10年時間。我認為我們應該關注的，是進展的速度以及前沿陣地在哪里。

隨著時間的推移，這些東西將會增長，這個領域將從分散的點逐漸連成一片——例如，Agility解決了倉庫中的問題，我們有機器人進入了家庭，有的致力于汽車工廠的工作。每一個前沿陣地都會看到增長，但這不會是一蹴而就的事情。

我不認為這里有人能夠預測五年后的具體情況。但我們將會見證這種增長，并且很快，所有這些成果都將開始相互重疊。

總有一天，我們會擁有自動駕駛汽車。當你回顧智能汽車的過去時，有很多關于「何時能擁有自動駕駛汽車」的預測都被證明過于樂觀。

但我非常感激我的車現在具備自動車道保持輔助功能，它不會撞上前車，并防止我倒車時碰到東西。所有這些神奇的功能都源于擁有自動駕駛汽車的夢想。

順便說一句，現在你已經可以乘坐Robotaxi了。所以是的，這花了比預期更長的時間，類人機器人的發展也將如此。

我認為只要整個行業對此充滿熱情，積極參與，并意識到這是一個長期的游戲，開發能夠在商業環境中提供價值的專業機器人，那么在未來1到2年內我們就能夠實現這一點。

Agility已經在向這一領域交付機器人了。在未來5年內，我們要讓這些機器人執行10、15或20項任務。但是要解決我們想象中跨行業的所有問題，我們需要繼續夢想并持續努力。

【Jim Fan】- 英偉達：

我非常贊同Deepak的觀點，人們往往高估了短期內的進展，而低估了長期內的進步。所以讓我將其分為短期和長期兩個部分來談談。

我認為從技術角度來看，在接下來的2到5年內，我們將能夠充分研究具身智能的規模定律。

或許在5年后或更早的時候，我們就能看到確切的數據，知道你需要購買多少GPU才能讓你的機器人變得更好。所以在短期內，我們將很快以量化的方式回答這個問題。

現在讓我們談談未來20年會發生什么。

每當我在實驗室熬夜工作時，機器人總是會在做一些奇怪的事情時出故障，這讓我感到非常沮喪。我會想想20年后會發生什么，然后就有力量繼續前進了。20年后，有幾件事情讓我非常興奮，我認為它們并不遙遠。

一個是機器人技術加速科學研究：我有一些在生物醫藥領域的朋友，做一次實驗既耗時又費力。所有的博士生都需要在實驗室里照顧那些老鼠，處理那些細胞培養皿。如果我們能自動化這一切呢？自動化科學。這樣可能所有的醫學研究都不再需要花費數十億美元。

它們將會被規模化，因為我們有了加速物理世界的API。也許那時會出現GR00T 10.0版本或其他類似的成果。

另一點是機器人技術自動化。為什么我們不能讓機器人互相修理呢？甚至可以讓它們自己組裝下一代機器人。

我不認為這是科幻，因為在LLM社區中，他們已經在研究自動機器學習，即讓LLM進行深入研究，找到下一個最好的Transformer，下一個最佳的智能架構。

很可能LLM會先解決這個問題，然后我們可以借鑒他們的成果，應用于物理世界。我認為這將在20年內實現。

我們出生得太晚，無法探索地球；我們又出生得太早，無法前往其他星系；但我們正好趕上了機器人技術的時代，所有會動的東西都將自動化。