Next Gen

歡迎來(lái)到“Next Gen”。人工智能的邊界每日都在被拓展，一群富有遠(yuǎn)見卓識(shí)的青年學(xué)者正站在浪潮之巔。我們追蹤并報(bào)道這些 AI 領(lǐng)域最具潛力的明日之星，展現(xiàn)他們?cè)诳蒲星把氐耐黄菩怨ぷ?，以及?duì)未來(lái)智能時(shí)代的獨(dú)到見解。他們是誰(shuí)？他們?nèi)绾嗡伎?？他們又將?AI 帶向何方？與我們一同發(fā)現(xiàn)那些正在定義未來(lái)的 AI 新生代。

“我從小就對(duì)機(jī)器人癡迷，《鋼鐵俠》里的智能管家至今讓我熱血沸騰?！标愄煨械目蒲谐跣?，藏著一份未改的少年熱忱。作為剛剛本科畢業(yè)于深圳大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)卓越班，即將在今年 9 月開啟香港大學(xué)讀博生涯的 00 后學(xué)者，他正以多重身份活躍在科研與科普領(lǐng)域——既是 Lumina Embodied AI 社區(qū)聯(lián)合創(chuàng)始人，是擁有超一萬(wàn)粉絲的小紅書科普博主，也是超過(guò) 6.4k Github Stars 項(xiàng)目 Embodied-AI-Guide 的發(fā)起人。

圖丨陳天行（來(lái)源：tianxingchen.github.io）

在具身智能研究領(lǐng)域，陳天行正用一系列硬核成果讓曾經(jīng)對(duì)于科幻的憧憬，轉(zhuǎn)化為對(duì)技術(shù)的工程實(shí)現(xiàn)：從 RoboTwin 系列研究通過(guò)生成式技術(shù)解決了雙臂機(jī)器人高質(zhì)量訓(xùn)練數(shù)據(jù)短缺的核心難題，到 G3Flow 則攻克了 3D 操作語(yǔ)義表征的一致性問(wèn)題，再到 Text2World 創(chuàng)新性地提供自然語(yǔ)言到可規(guī)范化世界描述的轉(zhuǎn)化評(píng)測(cè)。這三項(xiàng)入選 CVPR 和 ACL 的研究工作，共同構(gòu)建了機(jī)器人理解世界并實(shí)現(xiàn)精準(zhǔn)操作的新范式。

在當(dāng)下大模型與機(jī)器人融合的浪潮中，陳天行始終保持著“問(wèn)題導(dǎo)向”的研究風(fēng)格。他專注解決“數(shù)據(jù)高效生成”和“物理世界理解”這兩個(gè)制約具身智能發(fā)展的核心瓶頸。陳天行認(rèn)為，讓機(jī)器人具備通用智能，既需要強(qiáng)大的基礎(chǔ)模型，更離不開精準(zhǔn)的操作落地與海量、高質(zhì)量的數(shù)據(jù)方案。

他在仿真數(shù)據(jù)生成、跨場(chǎng)景和實(shí)例泛化等領(lǐng)域的突破，為實(shí)現(xiàn)“讓機(jī)器人走進(jìn)千家萬(wàn)戶”的愿景提供了切實(shí)可行的技術(shù)路徑。

RoboTwin：為機(jī)器人雙臂操作策略提供大規(guī)模多樣化合成數(shù)據(jù)與評(píng)測(cè)基準(zhǔn)集

在機(jī)器人研究領(lǐng)域，雙臂協(xié)同操作的數(shù)據(jù)長(zhǎng)期以來(lái)處于匱乏的狀態(tài)。與單臂系統(tǒng)相比，雙臂系統(tǒng)的狀態(tài)空間維度更高，即便單臂強(qiáng)化學(xué)習(xí)尚能勉強(qiáng)推進(jìn)，雙臂系統(tǒng)的復(fù)雜度卻讓這一路徑變得舉步維艱。

更嚴(yán)峻的是，該領(lǐng)域長(zhǎng)期缺乏統(tǒng)一的基準(zhǔn)測(cè)試平臺(tái)（Benchmark），導(dǎo)致不同研究團(tuán)隊(duì)開發(fā)的雙臂控制策略難以進(jìn)行公平的橫向比較。從數(shù)據(jù)合成的技術(shù)層面來(lái)看，領(lǐng)域內(nèi)既缺乏成熟的雙臂數(shù)據(jù)合成管線，在真實(shí)到仿真（Real-to-Sim）的數(shù)據(jù)遷移方面仍處于空白階段，同時(shí)也沒有高可擴(kuò)展性的開源解決方案可供參考。

圖丨 RoboTwin 1.0（來(lái)源：CVPR 2025）

面對(duì)這一系列挑戰(zhàn)，陳天行與上交 ScaleLab、港大 MMLab 等團(tuán)隊(duì)開啟了 RoboTwin 系列工作的研究。其核心思想是：通過(guò)預(yù)定義物體的交互邏輯，使機(jī)器人無(wú)需經(jīng)過(guò)傳統(tǒng)訓(xùn)練流程，僅依靠預(yù)設(shè)代碼即可執(zhí)行操作任務(wù)。

具體而言，首先為每個(gè)目標(biāo)物體編寫完備的交互邏輯，再通過(guò)大模型自動(dòng)生成代碼以編排機(jī)器人動(dòng)作序列，從而實(shí)現(xiàn)了“零訓(xùn)練”的任務(wù)執(zhí)行范式，并在實(shí)驗(yàn)階段系統(tǒng)性地驗(yàn)證了該數(shù)據(jù)生成方法對(duì)真實(shí)操作性能的提升效果。

近期，陳天行與團(tuán)隊(duì)共同推出了 RoboTwin 2.0 版本，通過(guò)引入多模態(tài)觀測(cè)以及仿真在環(huán)的迭代優(yōu)化進(jìn)一步增強(qiáng)了自動(dòng)化專家代碼生成能力，同時(shí)提出了一套強(qiáng)魯棒的“大規(guī)模隨機(jī)化數(shù)據(jù)生成”方案：實(shí)驗(yàn)證明該方案不僅能顯著提升策略操作性能，還具有更強(qiáng)大的跨本體數(shù)據(jù)生成通用性——任何實(shí)驗(yàn)室只需接入標(biāo)準(zhǔn)接口，即可基于自有機(jī)器人平臺(tái)生成高質(zhì)量訓(xùn)練數(shù)據(jù)。

陳天行對(duì) DeepTech 解釋道：“現(xiàn)實(shí)場(chǎng)景中采集的桌面數(shù)據(jù)往往過(guò)于干凈單一。若要人工布置具有多樣性的雜亂場(chǎng)景，即便只是簡(jiǎn)單的餐具擺放任務(wù)，若要求每條軌跡中的物體位置、遮擋關(guān)系、光照條件和表面紋理都各不相同，其工作量將呈指數(shù)級(jí)增長(zhǎng)——每次采集后都需要徹底打亂場(chǎng)景重新布置，既耗時(shí)又難以保證可重復(fù)性?！?/p>

圖丨 RoboTwin-OD 物體數(shù)據(jù)集（來(lái)源：arXiv）

團(tuán)隊(duì)通過(guò)實(shí)驗(yàn)驗(yàn)證了一個(gè)關(guān)鍵發(fā)現(xiàn)：僅使用 RoboTwin 2.0 生成的“雜亂桌面”仿真數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，再輔以少量真實(shí)場(chǎng)景的微調(diào)數(shù)據(jù)，所得模型就能泛化到完全未見的雜亂場(chǎng)景。這意味著未來(lái)可能只需采集少量干凈桌面的真實(shí)軌跡，其余訓(xùn)練數(shù)據(jù)可均由仿真系統(tǒng)生成，這將大幅降低真實(shí)數(shù)據(jù)采集成本。

RoboTwin 2.0 的另一重要突破是其構(gòu)建的大規(guī)模基準(zhǔn)測(cè)試體系。研究團(tuán)隊(duì)創(chuàng)建了 RoboTwin-OD 物體數(shù)據(jù)集，涵蓋從廚具到工業(yè)零件的各類對(duì)象，包含 147 個(gè)類別、731 個(gè)實(shí)例，每個(gè)實(shí)例均標(biāo)注了語(yǔ)義信息和操作相關(guān)特征?；诖藬?shù)據(jù)集，研究團(tuán)隊(duì)開發(fā)了專業(yè)的數(shù)據(jù)合成流程，生成了超過(guò) 10 萬(wàn)條經(jīng)過(guò)領(lǐng)域隨機(jī)化增強(qiáng)的專家軌跡，覆蓋 50 種雙臂任務(wù)和 5 種機(jī)器人本體。

實(shí)驗(yàn)數(shù)據(jù)顯示，經(jīng)過(guò)領(lǐng)域隨機(jī)化訓(xùn)練的視覺-語(yǔ)言-動(dòng)作（VLA，vision-language-action）模型在未知真實(shí)場(chǎng)景中的任務(wù)成功率提升了 367%（42.0% 對(duì)比 9.0%），而僅使用合成數(shù)據(jù)訓(xùn)練的零樣本模型也實(shí)現(xiàn)了 228% 的相對(duì)性能提升，充分證明了“域隨機(jī)化仿真預(yù)訓(xùn)練+少量真機(jī)微調(diào)”這一技術(shù)路線的有效性。

圖丨 RoboTwin 2.0 流程框架（來(lái)源：arXiv）

RoboTwin 1.0 的相關(guān)論文以《RoboTwin：基于生成式數(shù)字孿生的雙臂機(jī)器人基準(zhǔn)測(cè)試》（RoboTwin: Dual-Arm Robot Benchmark with Generative Digital Twins）為題發(fā)表在國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR 2025，Conference on Computer Vision and Pattern Recognition）[1]，并獲得歐洲計(jì)算機(jī)視覺會(huì)議（ECCV 2024，European Conferenceon Computer Vision） MAAS Workshop 最佳論文獎(jiǎng)。

（來(lái)源：RoboTwin 官網(wǎng)）

RoboTwin 2.0 的相關(guān)論文以《RoboTwin 2.0：用于魯棒雙臂機(jī)器人操作的可擴(kuò)展數(shù)據(jù)生成器和具有強(qiáng)領(lǐng)域隨機(jī)化的基準(zhǔn)測(cè)試》（RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation）為題發(fā)表在arXiv[2]。

圖丨相關(guān)論文（來(lái)源：RoboTwin 官網(wǎng)）

RoboTwin 系列研究通過(guò)仿真數(shù)據(jù)彌補(bǔ)現(xiàn)實(shí)世界的數(shù)據(jù)缺口，用程序化方法替代人工勞動(dòng)，最終為雙臂機(jī)器人訓(xùn)練構(gòu)建了一條具備可重復(fù)性、可擴(kuò)展性和可評(píng)估性的完整技術(shù)鏈路。

據(jù)悉，RoboTwin 已被地瓜機(jī)器人、松靈機(jī)器人等企業(yè)用于測(cè)試操作策略，同時(shí)作為第十九節(jié)挑戰(zhàn)杯“人工智能+”專項(xiàng)挑戰(zhàn)賽、CVPR RoboTwin 雙臂協(xié)作挑戰(zhàn)賽、張江人形機(jī)器人創(chuàng)新創(chuàng)業(yè)大賽等競(jìng)賽的官方賽題，進(jìn)一步推動(dòng)該技術(shù)在領(lǐng)域的應(yīng)用和發(fā)展。

G3Flow：從單視角觀測(cè)到完整 3D 語(yǔ)義理解的技術(shù)突破

G3Flow 的核心目標(biāo)是通過(guò)將物體級(jí)別不完整的單視角深度圖轉(zhuǎn)化為精確完整的 3D 語(yǔ)義流，使機(jī)器人獲得強(qiáng)大的物體姿態(tài)感知能力和操作泛化能力。

這一技術(shù)突破的關(guān)鍵在于其創(chuàng)新的三步處理流程：首先利用 3D 生成模型來(lái)補(bǔ)全單視角觀測(cè)中缺失幾何信息，擴(kuò)散式生成模型基于大量真實(shí)數(shù)據(jù)訓(xùn)練，能夠僅憑部分 RGB 觀測(cè)輸入就能以重建完整物體幾何，將部分圖像觀測(cè)轉(zhuǎn)化為完整的數(shù)字資產(chǎn)。

圖丨G3Flow 概述（來(lái)源：CVPR 2025）

經(jīng)過(guò)對(duì)齊處理的 3D 語(yǔ)義流隨后被轉(zhuǎn)換為 2D 特征圖供下游任務(wù)使用，這些源自無(wú)噪聲模板的特征使得抓取和插拔策略在新物體、新環(huán)境條件下仍能保持更高的成功率。

陳天行指出，整個(gè)系統(tǒng)的精妙之處在于生成模型和語(yǔ)義流技術(shù)的協(xié)同配合：前者負(fù)責(zé)補(bǔ)全視覺盲區(qū)，后者則確保補(bǔ)全結(jié)果與物理實(shí)際觀測(cè)觀測(cè)的精確匹配，共同解決了單視角感知的固有局限。

目前 G3Flow 已在國(guó)內(nèi)知名企業(yè)的人形靈巧手項(xiàng)目中得到實(shí)際應(yīng)用，其長(zhǎng)遠(yuǎn)目標(biāo)是構(gòu)建類似 GPT 的通用機(jī)器人感知系統(tǒng)。通過(guò)大規(guī)模仿真預(yù)訓(xùn)練結(jié)合少量真實(shí)數(shù)據(jù)微調(diào)，系統(tǒng)正在向多任務(wù)操作規(guī)劃方向發(fā)展。盡管現(xiàn)階段對(duì)柔性物體和細(xì)小零件的處理能力仍有提升空間，但團(tuán)隊(duì)正在探索采用隱式表征技術(shù)來(lái)增強(qiáng)系統(tǒng)對(duì)復(fù)雜物體的適應(yīng)性。

相關(guān)論文以《G3Flow：用于姿態(tài)感知和可泛化的物體操作的生成式三維語(yǔ)義流》（G3Flow：Generative 3D Semantic Flow for Pose-aware and Generalizable Object Manipulation）為題發(fā)表在 CVPR 2025 [3]。

圖丨相關(guān)論文（來(lái)源：CVPR 2025）

大模型真的能理解世界嗎？Text2World 構(gòu)建語(yǔ)言-世界建模評(píng)測(cè)基準(zhǔn)集

如何讓大模型不僅理解自然語(yǔ)言，還能將模糊的口語(yǔ)描述建模為精確、可執(zhí)行的世界？陳天行與所在團(tuán)隊(duì)使用規(guī)劃領(lǐng)域語(yǔ)言（PDDL，planning domain definition language）作為規(guī)范化的世界建模語(yǔ)言，構(gòu)建了首個(gè)大規(guī)模、多領(lǐng)域的基準(zhǔn)測(cè)試體系 Text2World，包含了數(shù)百個(gè)多樣化的領(lǐng)域，涵蓋了多種任務(wù)類型，如路徑規(guī)劃、任務(wù)分配等，為評(píng)估大模型的世界建模能力提供了全面的框架。

具體實(shí)現(xiàn)分為三個(gè)關(guān)鍵步驟：首先根據(jù)自然語(yǔ)言對(duì)場(chǎng)景的描述，建立場(chǎng)景的“規(guī)則”，包括固定不可移動(dòng)的桌面坐標(biāo)、可移動(dòng)剛體屬性以及物理約束等基礎(chǔ)設(shè)定；然后將給定的自然語(yǔ)言動(dòng)作（如“移動(dòng)物體”），建模為嚴(yán)格的 PDDL 語(yǔ)言，要求模型必須精確建模動(dòng)作的前提、影響等條件?！斑@種轉(zhuǎn)換能力直接反映了模型對(duì)物理規(guī)則和邏輯關(guān)系的細(xì)粒度理解?！标愄煨姓f(shuō)。

圖丨Text2World 概述（來(lái)源：ACL 2025）

研究團(tuán)隊(duì)設(shè)計(jì)了雙維度評(píng)測(cè)指標(biāo)：在語(yǔ)法層面考察 PDDL 的正確性與模擬器驗(yàn)證成功率；在語(yǔ)義層面則通過(guò)動(dòng)作前提、影響的完備性判斷世界建模的效果。為全面評(píng)估模型性能，他們構(gòu)建了包含 101 個(gè)任務(wù)的測(cè)試集，涵蓋桌面操作、導(dǎo)航和流體交互等場(chǎng)景。

每個(gè)測(cè)試案例都提供抽象自然語(yǔ)言描述與標(biāo)準(zhǔn) PDDL 語(yǔ)言，從而實(shí)現(xiàn)對(duì)模型”語(yǔ)言到世界”轉(zhuǎn)換能力的精準(zhǔn)量化評(píng)估。這一研究突破了大模型停留在文本理解的局限，為其在真實(shí)世界中的可靠應(yīng)用奠定了基礎(chǔ)。

相關(guān)論文以《Text2World：面向符號(hào)化世界模型生成的大語(yǔ)言模型基準(zhǔn)測(cè)試》（Text2World: Benchmarking Large Language Models for Symbolic World Model Generation）為題發(fā)表在國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)（ACL 2025，Annual Meeting of the Association for Computational Linguistics）[4]。

圖丨相關(guān)論文（來(lái)源：ACL 2025）

創(chuàng)造連接：Lumina 具身智能社區(qū)與 Embodied-AI-Guide

陳天行說(shuō)：“在我的具身智能研究起步時(shí)，也曾苦于沒有開放的平臺(tái)進(jìn)行學(xué)術(shù)交流，因此我也想為大家創(chuàng)造連接?！彼鳛槁?lián)合創(chuàng)始人，在今年 5 月創(chuàng)立了 Lumina 具身智能社區(qū)，目前參與人次已經(jīng)突破了一萬(wàn)五千人次（社群、Github、自媒體平臺(tái)）。

（來(lái)源：https://github.com/tianxingchen）

為了幫助更多人走進(jìn)具身智能領(lǐng)域，陳天行發(fā)起了 Embodied-AI-Guide 項(xiàng)目，帶領(lǐng)超 40 名學(xué)者編寫了超 3 萬(wàn)字的具身智能技術(shù)指南，目前項(xiàng)目獲得了 6.4k Github Stars，成為了領(lǐng)域內(nèi)最知名的技術(shù)指南之一。

圖丨陳天行的小紅書主頁(yè)（來(lái)源：小紅書）

同時(shí)，陳天行還在小紅書平臺(tái)上擁有超過(guò)一萬(wàn)粉絲。他說(shuō)：“我希望能夠?qū)⒆约旱慕?jīng)驗(yàn)和想法，更多地分享出去。”

實(shí)驗(yàn)室就是他的“臥室”

圖丨陳天行在上海交大 ScaleLab 做真機(jī)實(shí)驗(yàn)（來(lái)源：陳天行）

陳天行的博士導(dǎo)師、香港大學(xué)羅平教授曾教導(dǎo)他要做有影響力的工作，不要太在乎一些表面的東西。這份教誨，讓陳天行在科研道路上展現(xiàn)出超出常人的投入和毅力?！拔一旧厦刻於妓趯?shí)驗(yàn)室，本科四年有三年是這樣過(guò)來(lái)的?！标愄煨姓f(shuō)。從最初在宿舍打編程競(jìng)賽，到后來(lái)在本科實(shí)驗(yàn)室的床鋪睡了 2 年，再到上海人工智能實(shí)驗(yàn)室通宵達(dá)旦地寫代碼、做實(shí)驗(yàn)，這種“硬核”的科研作風(fēng)，是他取得一系列成果的基石。

圖丨Lumina 社區(qū) logo（來(lái)源：https://lumina-embodied.ai/）

這種投入也帶來(lái)了豐厚的回報(bào)：在 CVPR、ACL 等頂級(jí)學(xué)術(shù)會(huì)議上以一作或主要貢獻(xiàn)者身份發(fā)表多篇論文、獲得 ECCV 具身智能研討會(huì)最佳論文獎(jiǎng)、CCF 優(yōu)秀大學(xué)生（全國(guó) 99 人）、荔園卓越之星（深圳大學(xué)本科生最高榮譽(yù)）、ACM-ICPC 區(qū)域賽銀牌、?？箼C(jī)器人開發(fā)者大賽全國(guó)亞軍……這些榮譽(yù)的背后，是他對(duì)科研目標(biāo)的清晰認(rèn)知和從中獲得的持續(xù)正反饋?！爱?dāng)你的工作能產(chǎn)生影響，能看到實(shí)實(shí)在在的進(jìn)展，就不會(huì)覺得累。”他說(shuō)道。

圖丨陳天行目前已有的學(xué)術(shù)成果（來(lái)源：谷歌學(xué)術(shù)）

盡管在學(xué)術(shù)上已經(jīng)取得了不俗的成績(jī)，但陳天行并未止步于此。他明確表示，目前已有創(chuàng)業(yè)的計(jì)劃，并預(yù)計(jì)在未來(lái)幾年內(nèi)啟動(dòng)，方向依然是機(jī)器人操作，一個(gè)算法與硬件緊密結(jié)合的領(lǐng)域。并且，會(huì)嚴(yán)格地讓自己的學(xué)術(shù)方向往產(chǎn)業(yè)上、往最終會(huì)落地的方案上靠。他認(rèn)為，技術(shù)積累和個(gè)人影響力的形成至關(guān)重要，這也是他現(xiàn)階段努力的方向。

陳天行從導(dǎo)師羅平教授那里學(xué)到，若作為 CEO，自身的“上限”將決定公司的“上限”，因此必須不斷提升自己的技術(shù)力和領(lǐng)導(dǎo)力。他也深知團(tuán)隊(duì)的重要性，“一個(gè)人的力量是有限的。”他希望未來(lái)能吸引更多志同道合的人，共同推動(dòng)機(jī)器人技術(shù)的發(fā)展。

“我們這一代人，不再僅僅追求物質(zhì)的滿足，更多的是精神上的富足?！标愄煨姓J(rèn)為，當(dāng)代年輕人應(yīng)該更清楚地思考個(gè)人理想、個(gè)人發(fā)展如何與國(guó)家發(fā)展的大潮相結(jié)合?！案淖兪澜缏犐先タ赡苡行卸?，但現(xiàn)在我覺得，人是要有信念的，要有一個(gè)東西支撐著你不知疲倦地去工作，因?yàn)槟阏娴挠X得做這個(gè)事情是有意義的。”他說(shuō)。

陳天行希望通過(guò)自己的經(jīng)歷和自媒體平臺(tái)，給更多同齡人帶來(lái)力量，鼓勵(lì)大家勇敢闖入科研的“無(wú)人區(qū)”，做有特色、有深度的研究，最終“讓機(jī)器人走進(jìn)千家萬(wàn)戶”，并為國(guó)家的發(fā)展貢獻(xiàn)一份力量。這位對(duì)未來(lái)充滿憧憬的年輕人，正以其堅(jiān)定的步伐，在具身智能的星辰大海中，書寫著屬于自己的“鋼鐵俠”傳奇。

參考資料：

1.https://arxiv.org/pdf/2504.13059

2.https://arxiv.org/pdf/2506.18088

3.https://arxiv.org/abs/2411.18369

4.https://arxiv.org/pdf/2502.13092

運(yùn)營(yíng)/排版：何晨龍