近期，一項(xiàng)名為DrEureka的突破性研究項(xiàng)目，由賓夕法尼亞大學(xué)、NVIDIA以及得克薩斯大學(xué)奧斯汀分校的頂尖研究團(tuán)隊(duì)攜手打造，正引領(lǐng)機(jī)器人領(lǐng)域的新風(fēng)尚，解決了從仿真學(xué)習(xí)到現(xiàn)實(shí)應(yīng)用這一長(zhǎng)期存在的難題。

機(jī)器狗的瑜伽球奇技

一只四足機(jī)器人在瑜伽球上穩(wěn)穩(wěn)行走，無(wú)論是研究人員故意的干擾，還是球體表面氣壓的變化，都無(wú)法讓它失去平衡。這一幕不僅是科幻電影的橋段，而是DrEureka項(xiàng)目的真實(shí)演示。Unitree Go1，這只擁有12個(gè)自由度的小型四足機(jī)器人，在DrEureka的指導(dǎo)下，不僅能在球面上行走，還能在不同地形上自如穿梭，展現(xiàn)出驚人的適應(yīng)能力和平衡技巧。

DrEureka：模擬與現(xiàn)實(shí)的無(wú)縫對(duì)接

傳統(tǒng)上，讓機(jī)器人學(xué)會(huì)在現(xiàn)實(shí)世界中執(zhí)行復(fù)雜任務(wù)，需要科研人員手工設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)和調(diào)整模擬環(huán)境參數(shù)，這一過(guò)程繁復(fù)且耗時(shí)。而DrEureka采用了一種革命性的方法，利用大型語(yǔ)言模型（LLMs）如GPT-4，自動(dòng)化地生成獎(jiǎng)勵(lì)函數(shù)和優(yōu)化模擬環(huán)境配置，從而極大地加速了從模擬到現(xiàn)實(shí)的技能遷移過(guò)程。

如何運(yùn)作：DrEureka的兩大核心機(jī)制

1. 自動(dòng)獎(jiǎng)勵(lì)函數(shù)生成

DrEureka的核心在于其能夠根據(jù)任務(wù)需求自動(dòng)生成獎(jiǎng)勵(lì)函數(shù)，這些函數(shù)如同游戲中的積分系統(tǒng)，指導(dǎo)機(jī)器人識(shí)別并學(xué)習(xí)哪些行為是有效的，類似于告訴一個(gè)學(xué)生何時(shí)做對(duì)了題。這一機(jī)制擺脫了以往人工設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)的局限，讓機(jī)器人的學(xué)習(xí)過(guò)程更加高效和精準(zhǔn)。

2. 域隨機(jī)化參數(shù)自動(dòng)化調(diào)整

另一項(xiàng)關(guān)鍵技術(shù)是域隨機(jī)化（Domain Randomization, DR），通過(guò)隨機(jī)變化仿真環(huán)境中的物理參數(shù)（如摩擦力、重力），使得機(jī)器人在各種可能的環(huán)境下都能表現(xiàn)出良好的適應(yīng)性和魯棒性。DrEureka通過(guò)智能算法自動(dòng)調(diào)整這些參數(shù)，確保機(jī)器人的學(xué)習(xí)環(huán)境盡可能接近現(xiàn)實(shí)，從而減少遷移過(guò)程中的“驚喜”。

安全與反饋：確保技能遷移的可靠性

除了上述亮點(diǎn)，DrEureka還融入了安全指導(dǎo)和反饋機(jī)制，確保生成的策略既高效又安全。它通過(guò)模擬測(cè)試策略，建立獎(jiǎng)勵(lì)感知物理先驗(yàn)（RAPP），并在實(shí)際部署前進(jìn)行細(xì)致的驗(yàn)證和調(diào)整，形成一個(gè)閉環(huán)的優(yōu)化流程。

實(shí)驗(yàn)成果與展望

在一系列實(shí)驗(yàn)中，DrEureka不僅成功訓(xùn)練機(jī)器人在瑜伽球上行走，還在多種現(xiàn)實(shí)地形上驗(yàn)證了其策略的有效性，證明了其在提高機(jī)器人技能遷移效率和質(zhì)量方面的巨大潛力。從四足機(jī)器人穩(wěn)健的行走，到靈巧手的精準(zhǔn)操作，DrEureka的應(yīng)用范圍廣泛，展現(xiàn)了其在解決復(fù)雜、動(dòng)態(tài)任務(wù)上的獨(dú)特價(jià)值。

DrEureka項(xiàng)目是機(jī)器人技術(shù)邁向自主學(xué)習(xí)和適應(yīng)復(fù)雜環(huán)境的重要里程碑。通過(guò)自動(dòng)化和智能化的設(shè)計(jì)，它不僅簡(jiǎn)化了機(jī)器人技能的開(kāi)發(fā)流程，還極大地拓寬了機(jī)器人技術(shù)的應(yīng)用場(chǎng)景，未來(lái)機(jī)器人將在更多未知和挑戰(zhàn)性的環(huán)境中大展拳腳。

論文：https://eureka-research.github.io/dr-eureka/assets/dreureka-paper.pdf

項(xiàng)目：https://github.com/eureka-research/DrEureka

行業(yè)交流微信：zhi201818

▲ 滑動(dòng)查看往期內(nèi)容