馬路如虎口，路口更是危險(xiǎn)地帶。當(dāng)車(chē)輛、行人、自行車(chē)在十字路口交織穿行，這復(fù)雜場(chǎng)景背后隱藏著無(wú)數(shù)精細(xì)的互動(dòng)行為模式。傳統(tǒng)表達(dá)方式要么過(guò)于冗長(zhǎng)，要么缺乏關(guān)鍵信息，難以精準(zhǔn)捕捉這些行為的本質(zhì)?，F(xiàn)在，一種名為＂有序原子活動(dòng)＂的新表示法橫空出世，它能將混亂的交通場(chǎng)景分解為一系列有序的原子活動(dòng)，每個(gè)活動(dòng)都包含行動(dòng)者與其行為，并標(biāo)記它們之間的時(shí)序關(guān)系。這一創(chuàng)新不僅為自動(dòng)駕駛系統(tǒng)提供了前所未有的理解能力，更為交通場(chǎng)景檢索、分析與評(píng)估開(kāi)辟了全新途徑。在數(shù)字化駕駛世界的迷宮中，它會(huì)是我們找到出路的關(guān)鍵鑰匙嗎？

路口危機(jī)

在交通事故統(tǒng)計(jì)中，十字路口一直是事故高發(fā)區(qū)。根據(jù)研究數(shù)據(jù)，大約40%的交通事故發(fā)生在十字路口。這并不奇怪，因?yàn)槁房谑歉鞣N交通參與者——汽車(chē)、行人、自行車(chē)——相遇的地方，形成了復(fù)雜的交互網(wǎng)絡(luò)。想象一下，當(dāng)你駕車(chē)準(zhǔn)備在十字路口左轉(zhuǎn)，同時(shí)有行人正在過(guò)馬路，對(duì)向車(chē)道有車(chē)輛直行，還有自行車(chē)從你右側(cè)穿過(guò)。在短短幾秒內(nèi)，你需要處理多個(gè)移動(dòng)目標(biāo)的信息，并做出安全決策。

對(duì)于人類(lèi)駕駛員來(lái)說(shuō)，這種復(fù)雜場(chǎng)景的處理往往依靠經(jīng)驗(yàn)和直覺(jué)。但對(duì)于智能交通系統(tǒng)或自動(dòng)駕駛汽車(chē)而言，準(zhǔn)確理解和預(yù)測(cè)這種交互場(chǎng)景成為一項(xiàng)極具挑戰(zhàn)性的任務(wù)。問(wèn)題的核心在于：如何有效地表示和理解這些復(fù)雜的交通場(chǎng)景？

傳統(tǒng)的表示方法各有局限。自然語(yǔ)言描述雖然直觀易懂，但往往過(guò)于冗長(zhǎng)和主觀。例如，描述＂一輛汽車(chē)在路口右轉(zhuǎn)，同時(shí)有一群行人在前方穿過(guò)馬路，另一輛車(chē)從左側(cè)穿過(guò)，還有一輛車(chē)在前方沿相反方向穿過(guò)＂，這樣的描述不僅冗長(zhǎng)，而且缺乏對(duì)交通參與者運(yùn)動(dòng)方向和目標(biāo)的明確信息，難以用于高效的場(chǎng)景檢索和分析。

道路場(chǎng)景圖是另一種流行的表示方法，它將每個(gè)道路使用者表示為具有位置、速度和方向等低層次狀態(tài)的節(jié)點(diǎn)，而邊則捕捉道路使用者之間的配對(duì)關(guān)系，如＂跟隨＂。但這種方法未能表示行為者動(dòng)作與底層道路拓?fù)渲g的高層次語(yǔ)義關(guān)聯(lián)，這對(duì)場(chǎng)景評(píng)估至關(guān)重要。

基于屬性的表示方法雖有前景，但現(xiàn)有研究尚未探索行為與道路場(chǎng)景結(jié)構(gòu)之間的鴻溝。此外，道路場(chǎng)景圖和基于屬性的方法都未能處理場(chǎng)景的時(shí)間發(fā)展，也缺乏活動(dòng)順序信息。

在十字路口，時(shí)序信息尤為重要。例如，當(dāng)一輛車(chē)讓行于行人或另一輛車(chē)時(shí)，理解這種讓行關(guān)系對(duì)預(yù)測(cè)未來(lái)行為至關(guān)重要。沒(méi)有時(shí)序信息，智能系統(tǒng)可能無(wú)法區(qū)分誰(shuí)在讓行給誰(shuí)，從而導(dǎo)致危險(xiǎn)的決策失誤。

交通場(chǎng)景理解面臨著從感知到行為分析的一系列挑戰(zhàn)?，F(xiàn)有的表示方法要么太簡(jiǎn)單，無(wú)法捕捉復(fù)雜的互動(dòng)；要么太復(fù)雜，難以高效處理；要么缺乏時(shí)序信息，無(wú)法理解動(dòng)態(tài)變化的場(chǎng)景。在這種背景下，需要一種新的表示方法，既能捕捉交通參與者的行為，又能與道路拓?fù)浣Y(jié)構(gòu)相關(guān)聯(lián)，同時(shí)還能表示時(shí)序發(fā)展。

拆解復(fù)雜

針對(duì)上述挑戰(zhàn)，有序原子活動(dòng)表示法應(yīng)運(yùn)而生。這種表示法的核心思想是將每個(gè)互動(dòng)場(chǎng)景分解為一組有序的原子活動(dòng)，每個(gè)活動(dòng)由一個(gè)動(dòng)作和相應(yīng)的參與者組成，而順序則表示場(chǎng)景的時(shí)間發(fā)展。

什么是原子活動(dòng)？簡(jiǎn)單來(lái)說(shuō)，它是交通場(chǎng)景中最基本的行為單元，包含兩個(gè)核心元素：行動(dòng)和行動(dòng)者。行動(dòng)是一種高層次的語(yǔ)義運(yùn)動(dòng)模式，它與周?chē)牡缆吠負(fù)浣Y(jié)構(gòu)緊密相連。行動(dòng)者則是執(zhí)行該行動(dòng)的交通參與者，如汽車(chē)、行人或自行車(chē)。

為了將行動(dòng)與道路拓?fù)潢P(guān)聯(lián)起來(lái)，有序原子活動(dòng)表示法巧妙地將道路場(chǎng)景分解為區(qū)域和角落，每個(gè)區(qū)域和角落都有獨(dú)特的ID標(biāo)識(shí)。以一個(gè)四向十字路口為例，它被分解為四個(gè)區(qū)域（Z1、Z2、Z3、Z4）和四個(gè)角落（C1、C2、C3、C4），按照逆時(shí)針?lè)较蚺帕?，相?duì)于自車(chē)位置進(jìn)行標(biāo)記。

這種表示方法讓我們能夠精確地描述交通參與者的行動(dòng)。例如，一次右轉(zhuǎn)動(dòng)作可以表示為Z1→Z2，表示從初始位置到目的地的運(yùn)動(dòng)模式。更復(fù)雜的情況，如＂一群行人在前方穿過(guò)馬路＂，可以表示為C1→C4:P+，其中C1和C4是兩個(gè)角落，→表示運(yùn)動(dòng)方向，P+表示執(zhí)行該動(dòng)作的一群行人。

有序原子活動(dòng)表示法的另一個(gè)重要特點(diǎn)是能夠表示活動(dòng)的時(shí)序關(guān)系。通過(guò)標(biāo)記活動(dòng)發(fā)生的順序，這種表示法能夠捕捉場(chǎng)景的時(shí)間發(fā)展。這對(duì)識(shí)別重要的互動(dòng)關(guān)系，如讓行，尤為重要。例如，在上面提到的場(chǎng)景中，行人群體、同向穿過(guò)車(chē)輛和自車(chē)活動(dòng)的順序可以表示讓行關(guān)系。

行動(dòng)者分為七類(lèi)：汽車(chē)（C）、自行車(chē)騎行者（K）、行人（P）、自車(chē)（E）、汽車(chē)群體（C+）、自行車(chē)騎行者群體（K+）和行人群體（P+）。這種分類(lèi)方式既簡(jiǎn)潔又全面，能夠覆蓋道路上常見(jiàn)的所有交通參與者類(lèi)型。

活動(dòng)順序的標(biāo)記基于活動(dòng)開(kāi)始的時(shí)間，即當(dāng)代理開(kāi)始穿越時(shí)。但對(duì)于讓行動(dòng)作，讓行的代理會(huì)被標(biāo)記為后發(fā)生，無(wú)論動(dòng)作何時(shí)開(kāi)始或結(jié)束。例如，當(dāng)一輛車(chē)在十字路口讓行于行人時(shí)，盡管車(chē)輛可能最終在行人之前穿過(guò)區(qū)域，但行人應(yīng)該被標(biāo)記為先發(fā)生。這種標(biāo)記策略無(wú)法通過(guò)時(shí)間戳自動(dòng)生成，需要人工觀察來(lái)正確標(biāo)注活動(dòng)順序。

有序原子活動(dòng)的設(shè)計(jì)不僅簡(jiǎn)化了交通場(chǎng)景的表示，還能夠捕捉復(fù)雜的互動(dòng)關(guān)系。例如，自車(chē)右轉(zhuǎn)并讓行前方穿過(guò)的一群行人和左側(cè)穿過(guò)的車(chē)輛，同時(shí)另一輛車(chē)從前方沿相反方向穿過(guò)。這種復(fù)雜的場(chǎng)景可以使用有序原子活動(dòng)簡(jiǎn)潔而準(zhǔn)確地表示。

此外，有序原子活動(dòng)是在視頻級(jí)別設(shè)計(jì)的，使其具有高度可擴(kuò)展性，并減輕了標(biāo)注負(fù)擔(dān)。相比于逐幀標(biāo)注每個(gè)交通參與者的行為，視頻級(jí)別的標(biāo)注更加高效，同時(shí)也能捕捉場(chǎng)景的整體動(dòng)態(tài)。

通過(guò)將復(fù)雜的交通場(chǎng)景分解為一系列有序的原子活動(dòng)，這種表示方法為交通場(chǎng)景理解提供了一種新的范式。它不僅能夠準(zhǔn)確描述交通參與者的行為，還能與道路拓?fù)浣Y(jié)構(gòu)相關(guān)聯(lián)，同時(shí)捕捉場(chǎng)景的時(shí)間發(fā)展，為智能交通系統(tǒng)和自動(dòng)駕駛汽車(chē)提供了更深入理解交通場(chǎng)景的能力。

數(shù)據(jù)扎根

OATS數(shù)據(jù)集的誕生為交通場(chǎng)景理解提供了堅(jiān)實(shí)的基礎(chǔ)。這個(gè)數(shù)據(jù)集包含1026個(gè)視頻片段，每個(gè)片段約20秒長(zhǎng)，全部來(lái)自美國(guó)舊金山灣區(qū)的真實(shí)行車(chē)記錄。每個(gè)視頻片段都被標(biāo)注了有序原子活動(dòng)，共涉及59個(gè)活動(dòng)類(lèi)別，總計(jì)6512個(gè)標(biāo)注活動(dòng)實(shí)例。這些數(shù)據(jù)不僅數(shù)量龐大，更覆蓋了各種復(fù)雜的交通互動(dòng)場(chǎng)景。

數(shù)據(jù)采集平臺(tái)使用了裝備精良的車(chē)輛，配備3個(gè)Point Grey Grasshopper攝像機(jī)，分辨率為19201200像素，一個(gè)Velodyne HDL-64E S2激光雷達(dá)傳感器和高精度GPS。所有傳感器數(shù)據(jù)都通過(guò)ROS和定制硬件軟件進(jìn)行同步和時(shí)間戳標(biāo)記。這些設(shè)備確保了采集數(shù)據(jù)的高質(zhì)量和精確性。

數(shù)據(jù)標(biāo)注過(guò)程同樣嚴(yán)謹(jǐn)。考慮到駕駛員和交通代理行為的復(fù)雜性涉及不同層次的認(rèn)知過(guò)程，尤其在復(fù)雜的互動(dòng)場(chǎng)景中，數(shù)據(jù)選擇和標(biāo)注協(xié)議必須精心設(shè)計(jì)。從數(shù)小時(shí)的錄制中手動(dòng)選擇包含適當(dāng)場(chǎng)景的短片段是第一步。這些片段涵蓋了車(chē)輛進(jìn)入和離開(kāi)十字路口的完整過(guò)程。

為確保標(biāo)注一致性，研究團(tuán)隊(duì)采用了嚴(yán)格的質(zhì)量控制策略。每個(gè)視頻先由兩名獨(dú)立的人類(lèi)標(biāo)注者進(jìn)行標(biāo)注，這些標(biāo)注者都是居住在美國(guó)的有經(jīng)驗(yàn)的駕駛員，以確保他們熟悉道路規(guī)則、標(biāo)志等。最后，由內(nèi)部專(zhuān)家標(biāo)注者審核并獲得最終版本。標(biāo)注的一致性和有效性通過(guò)計(jì)算組內(nèi)相關(guān)系數(shù)（ICC）來(lái)證明，OATS數(shù)據(jù)集的ICC值達(dá)到0.91，按照標(biāo)準(zhǔn)這表示＂極好＂的一致性。

OATS數(shù)據(jù)集不僅規(guī)模龐大，標(biāo)注也極為精細(xì)。圖2展示了數(shù)據(jù)集中各原子活動(dòng)類(lèi)別的分布情況，按降序排列。從圖中可以看出，標(biāo)簽分布并不均勻，這反映了真實(shí)世界數(shù)據(jù)的特點(diǎn)。例如，包含一組演員的活動(dòng)（如Z3-Z1:K+）非常罕見(jiàn)，而更常見(jiàn)的活動(dòng)如Z3→Z1:C或C2→C3:P則更為頻繁。

基于這一豐富的數(shù)據(jù)集，研究團(tuán)隊(duì)提出了三個(gè)核心任務(wù)：多標(biāo)簽原子活動(dòng)識(shí)別、活動(dòng)順序預(yù)測(cè)和互動(dòng)場(chǎng)景檢索。多標(biāo)簽原子活動(dòng)識(shí)別旨在從視頻中識(shí)別出所有發(fā)生的原子活動(dòng)；活動(dòng)順序預(yù)測(cè)則試圖預(yù)測(cè)這些活動(dòng)發(fā)生的順序；互動(dòng)場(chǎng)景檢索則是根據(jù)查詢(xún)條件從數(shù)據(jù)庫(kù)中找出相似的交通場(chǎng)景。

為解決這些任務(wù)，研究團(tuán)隊(duì)提出了一個(gè)基于圖卷積網(wǎng)絡(luò)的框架。這個(gè)框架如圖3所示，能夠同時(shí)建模交通參與者的外觀和運(yùn)動(dòng)特征。給定一個(gè)視頻序列，系統(tǒng)首先使用預(yù)訓(xùn)練的Mask R-CNN和Deep SORT提取場(chǎng)景中演員的軌跡。然后從視頻中選擇Z個(gè)幀，使用Inception-v3骨干網(wǎng)絡(luò)和RoIAlign提取N個(gè)交通代理的外觀特征。同時(shí)，從軌跡使用代理的邊界框提取運(yùn)動(dòng)特征。

完成特征提取過(guò)程后，系統(tǒng)將運(yùn)動(dòng)和外觀特征分別通過(guò)單獨(dú)的圖卷積網(wǎng)絡(luò)，每個(gè)節(jié)點(diǎn)代表一個(gè)演員。最后，融合兩個(gè)圖中學(xué)習(xí)到的特征，用于多標(biāo)簽原子活動(dòng)識(shí)別。

與先前的基于圖的算法不同，該系統(tǒng)通過(guò)使用跟蹤來(lái)構(gòu)建圖形。給定交通場(chǎng)景中具有相應(yīng)軌跡的N個(gè)代理集合，系統(tǒng)構(gòu)建了一個(gè)時(shí)空?qǐng)DGat，其中Vat是圖Gat的頂點(diǎn)集，At是鄰接矩陣。在圖中，aijt模擬t時(shí)間兩個(gè)代理之間的外觀關(guān)系。

這種基于圖卷積網(wǎng)絡(luò)的方法有效地捕捉了交通參與者之間的復(fù)雜互動(dòng)。通過(guò)同時(shí)建模外觀和運(yùn)動(dòng)特征，系統(tǒng)能夠準(zhǔn)確識(shí)別原子活動(dòng)，預(yù)測(cè)活動(dòng)順序，并進(jìn)行場(chǎng)景檢索。

研究團(tuán)隊(duì)對(duì)OATS數(shù)據(jù)集進(jìn)行了廣泛的實(shí)驗(yàn)，與多種最先進(jìn)的視頻理解算法進(jìn)行了比較。表2顯示了多標(biāo)簽原子活動(dòng)識(shí)別任務(wù)中不同算法的性能比較。結(jié)果表明，給定我們的場(chǎng)景涉及場(chǎng)景中的多個(gè)代理，跨越約20秒的視頻，僅通過(guò)視頻級(jí)特征隱式關(guān)注代理無(wú)法成功識(shí)別活動(dòng)。對(duì)于顯式建模視頻中對(duì)象的算法，結(jié)果有所改善。雖然這些面向?qū)ο蟮哪Ｐ捅燃円曨l建模表現(xiàn)更好，但它們專(zhuān)注于代理的外觀建模，而不是運(yùn)動(dòng)建模。由于原子活動(dòng)包含動(dòng)作和演員，外觀和運(yùn)動(dòng)都應(yīng)該被明確建模。

圖4和表6分別展示了活動(dòng)順序預(yù)測(cè)和場(chǎng)景檢索任務(wù)的結(jié)果。雖然提出的方法在這些任務(wù)上表現(xiàn)優(yōu)于現(xiàn)有方法，但絕對(duì)數(shù)字仍然很低，表明任務(wù)具有挑戰(zhàn)性，鼓勵(lì)未來(lái)的研究。

未踏之路

盡管有序原子活動(dòng)表示法及相關(guān)技術(shù)已取得初步成果，但道路仍很漫長(zhǎng)，挑戰(zhàn)依然存在。從實(shí)驗(yàn)結(jié)果來(lái)看，即使是最先進(jìn)的方法在三個(gè)提出的任務(wù)上也未能達(dá)到令人滿(mǎn)意的性能。具體而言，在多標(biāo)簽活動(dòng)識(shí)別、活動(dòng)順序預(yù)測(cè)和互動(dòng)場(chǎng)景檢索方面，表現(xiàn)最好的算法分別只達(dá)到26.7%的mAP、16.1%的匹配分?jǐn)?shù)和16.6%的Recall@top50。

這些結(jié)果清晰地表明，要成功識(shí)別場(chǎng)景中的多個(gè)原子活動(dòng)，模型需要檢測(cè)和跟蹤移動(dòng)的道路使用者，將其時(shí)空動(dòng)作與底層道路拓?fù)湎嚓P(guān)聯(lián)，并捕捉群體的概念。這些需求超出了當(dāng)前技術(shù)的能力范圍，為未來(lái)研究指明了方向。

多標(biāo)簽原子活動(dòng)識(shí)別面臨的挑戰(zhàn)尤為明顯。表2顯示，即使是表現(xiàn)最好的方法也只達(dá)到26.7%的mAP，遠(yuǎn)低于其他視頻理解任務(wù)的性能。這一結(jié)果表明，交通場(chǎng)景中的活動(dòng)識(shí)別比一般的活動(dòng)識(shí)別更加復(fù)雜。原因在于交通場(chǎng)景中有多個(gè)移動(dòng)的代理，每個(gè)代理都有自己的軌跡和行為，而這些行為又與道路拓?fù)渚o密相關(guān)。

活動(dòng)順序預(yù)測(cè)任務(wù)更加具有挑戰(zhàn)性。表5顯示，即使是專(zhuān)門(mén)設(shè)計(jì)的方法也只能達(dá)到16.08%的匹配分?jǐn)?shù)（不含開(kāi)始和結(jié)束標(biāo)記）。這表明預(yù)測(cè)多個(gè)活動(dòng)的正確順序是極其困難的。在交通場(chǎng)景中，個(gè)體活動(dòng)在不同時(shí)間開(kāi)始，它們的進(jìn)展同時(shí)發(fā)生，這使得識(shí)別多個(gè)活動(dòng)及其相應(yīng)順序變得極具挑戰(zhàn)性。

場(chǎng)景檢索任務(wù)同樣面臨巨大挑戰(zhàn)。表6顯示，即使使用更簡(jiǎn)單的設(shè)置（只有13個(gè)活動(dòng)的子集），最佳方法的Recall@top50也只有16.56%。這反映了基于多標(biāo)簽分類(lèi)的檢索系統(tǒng)的局限性，也表明需要更復(fù)雜的表示方法來(lái)捕捉交通場(chǎng)景的豐富語(yǔ)義。

群體行為建模是另一個(gè)急需解決的問(wèn)題。當(dāng)前模型未能明確區(qū)分個(gè)體和群體行動(dòng)，如P+、C+和K+。區(qū)分個(gè)體和群體行動(dòng)可以在下游應(yīng)用中發(fā)揮重要作用。例如，一群行人和單個(gè)行人的行為模式可能完全不同，影響自動(dòng)駕駛系統(tǒng)的決策。

此外，當(dāng)前的活動(dòng)順序預(yù)測(cè)主要依賴(lài)于現(xiàn)有方法，而表5的結(jié)果表明，需要更復(fù)雜的方法來(lái)解決這一具有挑戰(zhàn)性的任務(wù)。未來(lái)的研究可以探索更適合交通場(chǎng)景時(shí)序建模的方法，或許可以借鑒自然語(yǔ)言處理領(lǐng)域的序列建模技術(shù)。

值得注意的是，盡管實(shí)時(shí)推理不是本文的重點(diǎn)，但提出的模型速度相當(dāng)快。場(chǎng)景檢索雖然是離線用例，但模型在多標(biāo)簽分類(lèi)上大約需要40毫秒，在活動(dòng)順序預(yù)測(cè)上需要約70毫秒，使用單個(gè)Nvidia Quadro RTX 6000 GPU，從應(yīng)用角度來(lái)看是可行的。

更精細(xì)的場(chǎng)景理解對(duì)自動(dòng)駕駛系統(tǒng)具有重要價(jià)值。通過(guò)準(zhǔn)確理解交通參與者的行為和互動(dòng)，自動(dòng)駕駛系統(tǒng)可以做出更安全、更有效的決策。例如，識(shí)別出一個(gè)行人正準(zhǔn)備穿過(guò)馬路，系統(tǒng)可以提前減速；了解其他車(chē)輛的讓行意圖，可以避免不必要的停車(chē)或危險(xiǎn)的沖突。

有序原子活動(dòng)表示法及OATS數(shù)據(jù)集為交通場(chǎng)景理解領(lǐng)域帶來(lái)了新的挑戰(zhàn)和機(jī)遇。通過(guò)將交通場(chǎng)景分解為有序的原子活動(dòng)，這種方法提供了一種新的視角來(lái)理解復(fù)雜的交通互動(dòng)。雖然現(xiàn)有技術(shù)在解決相關(guān)任務(wù)上仍面臨挑戰(zhàn)，但這正是未來(lái)研究的方向和機(jī)會(huì)。

參考資料

1. Agarwal， N.， &； Chen， Y.-T. （2023）. Ordered Atomic Activity for Fine-grained Interactive Traffic Scenario Understanding. ICCV 2023.

2. Wang， J.， &； Cheng， J. （2019）. Group Activity Recognition with Actor-Relation Graphs. IEEE.

3. Yang， T.， Yan， X.， &； Gao， Y. （2020）. Action-Guided Attention Mining and Relation Reasoning Network for Human-Object Interaction Detection. IJCAI.