隨著自動(dòng)駕駛技術(shù)的不斷成熟，車輛需要在復(fù)雜多變的道路環(huán)境中安全地行駛，這就要求系統(tǒng)不僅能“看見”周圍的世界，還要能“理解”和“推測(cè)”未來的變化。世界模型可以被看作一種對(duì)外部環(huán)境進(jìn)行抽象和建模的技術(shù)，讓自動(dòng)駕駛系統(tǒng)在一個(gè)簡(jiǎn)潔的內(nèi)部“縮影”里，對(duì)真實(shí)世界進(jìn)行描述與預(yù)測(cè)，從而為感知、決策和規(guī)劃等關(guān)鍵環(huán)節(jié)提供有力支持。

什么是世界模型？

我們不妨先把“世界模型”想象成一種“數(shù)字化的地圖”加上“未來預(yù)言機(jī)”。傳統(tǒng)地圖只能告訴我們現(xiàn)在的位置、道路的形狀和一些靜態(tài)信息，但世界模型不僅記錄當(dāng)下路況，還能夠模擬未來幾秒鐘、幾分鐘里可能會(huì)發(fā)生的變化。舉個(gè)例子，當(dāng)一輛自動(dòng)駕駛汽車行駛在城市道路上，它通過攝像頭、激光雷達(dá)等傳感器不斷獲取如路邊行人、其他車輛、交通信號(hào)燈等周圍環(huán)境信息。世界模型會(huì)把這些輸入數(shù)據(jù)轉(zhuǎn)換成一種更小、更抽象的內(nèi)部“狀態(tài)”，類似于把一幅高分辨率的街景圖壓縮成一串?dāng)?shù)字編碼。

當(dāng)汽車需要判斷前方車輛是在減速還是加速、行人是否有可能橫穿馬路時(shí)，它會(huì)在這個(gè)“數(shù)字空間”里模擬幾次不同的動(dòng)作效果，快速判斷最安全的方案。在實(shí)際采集和理解真實(shí)圖像時(shí)，直接在攝像頭或雷達(dá)數(shù)據(jù)的原始像素或點(diǎn)云上進(jìn)行預(yù)測(cè)計(jì)算，速度會(huì)很慢且耗費(fèi)大量算力；而如果先把環(huán)境“壓縮”成低維的數(shù)字表示，再在這個(gè)空間里進(jìn)行多步推演，計(jì)算效率會(huì)高很多，也更容易應(yīng)對(duì)傳感器噪聲帶來的不確定性。

要實(shí)現(xiàn)這樣的“抽象與模擬”，其實(shí)需要通過神經(jīng)網(wǎng)絡(luò)來自動(dòng)學(xué)習(xí)。整個(gè)過程可以分為三個(gè)關(guān)鍵步驟：先是“壓縮”，也就是把原始的圖像、點(diǎn)云等高維感知數(shù)據(jù)變成一個(gè)更簡(jiǎn)潔的向量表示；接著是“預(yù)測(cè)”，也就是在這個(gè)向量空間里學(xué)習(xí)環(huán)境如何隨時(shí)間變化；最后是“還原”，即把預(yù)測(cè)得到的向量再“解碼”回圖像或其他可視化信息，幫助系統(tǒng)評(píng)估模擬結(jié)果是否符合真實(shí)情況。

在學(xué)術(shù)界和工業(yè)界，這種編碼—預(yù)測(cè)—解碼的思路大多通過一種叫做“變分自編碼器”（Variational Autoencoder，簡(jiǎn)稱VAE）或者它的升級(jí)版“遞歸狀態(tài)空間模型”（Recurrent State Space Model，RSSM）來實(shí)現(xiàn)。VAE會(huì)先學(xué)習(xí)把每一幀攝像頭圖像壓縮成一個(gè)“潛在向量”，然后再嘗試從這個(gè)向量重建出相似的圖像；而RSSM在此基礎(chǔ)上，為潛在向量加入了時(shí)間維度，通過循環(huán)神經(jīng)網(wǎng)絡(luò)（比如LSTM或者GRU）捕捉連續(xù)幀之間的動(dòng)態(tài)變化。這樣一來，世界模型既能為當(dāng)前的環(huán)境狀態(tài)建立一個(gè)穩(wěn)定的數(shù)字化表示，又能在這個(gè)空間里做長(zhǎng)短期的多步預(yù)測(cè)。

為什么自動(dòng)駕駛需要世界模型？

為什么要把世界模型應(yīng)用于自動(dòng)駕駛的仿真訓(xùn)練？原因很簡(jiǎn)單：讓計(jì)算機(jī)“在腦海里”先演練，再付諸于真實(shí)道路。過去，自動(dòng)駕駛算法大多數(shù)依賴“模型外訓(xùn)練”（Model-Free Training），需要在真實(shí)或高度仿真的場(chǎng)景里不斷嘗試、碰撞和糾正，這樣會(huì)消耗大量的仿真資源和時(shí)間。而世界模型所帶來的“模型內(nèi)訓(xùn)練”（Model-Based Training）思路則是，當(dāng)汽車收集到足夠多的真實(shí)駕駛數(shù)據(jù)后，先用這些數(shù)據(jù)訓(xùn)練出一個(gè)能夠高度還原現(xiàn)實(shí)世界的模型。之后，算法在這個(gè)模型里進(jìn)行不斷的強(qiáng)化學(xué)習(xí)和策略優(yōu)化，只在必要時(shí)回到真實(shí)環(huán)境里檢驗(yàn)，極大減少了對(duì)真實(shí)車輛、真實(shí)道路的依賴。其實(shí)這就像飛行員先在模擬器里反復(fù)訓(xùn)練，再到真機(jī)上飛行，既能提高安全性，也能大幅節(jié)省訓(xùn)練成本。世界模型一旦能準(zhǔn)確反映現(xiàn)實(shí)交通的規(guī)則與動(dòng)態(tài)，就能在數(shù)據(jù)的驅(qū)動(dòng)下讓自動(dòng)駕駛系統(tǒng)更快地學(xué)會(huì)如何避險(xiǎn)、跟車、超車和規(guī)避突發(fā)情況，而不必每次都把車開到馬路上去做實(shí)驗(yàn)。

由于不同城市、不同路段的交通狀況往往具有差異，單純用一個(gè)固定場(chǎng)景訓(xùn)練出來的算法，到了新環(huán)境就可能表現(xiàn)欠佳。世界模型能夠在潛在空間中模擬多種場(chǎng)景變化，其中包括在高峰時(shí)段的城市道路、夜晚燈火昏暗的郊區(qū)公路、雨天積水的路段，甚至是突發(fā)事故或行人闖入的極端情況。通過在單一模型里融合不同場(chǎng)景的特征，自動(dòng)駕駛算法可以在“內(nèi)部模擬”階段反復(fù)演練多種極端工況，從而提高在真實(shí)道路上應(yīng)對(duì)新場(chǎng)景時(shí)的適應(yīng)能力和魯棒性。換句話說，世界模型相當(dāng)于給算法準(zhǔn)備了一個(gè)“千變?nèi)f化的訓(xùn)練場(chǎng)”，幫助它在各種復(fù)雜情形下都能提前“練手”，提升泛化能力。

在實(shí)際汽車硬件上部署世界模型時(shí)，也有一些有趣的技術(shù)細(xì)節(jié)。車載計(jì)算單元（ECU）通常算力有限、內(nèi)存受限，因此需要將訓(xùn)練完成的世界模型進(jìn)行剪枝、量化，或者利用知識(shí)蒸餾等手段壓縮模型規(guī)模，才能在實(shí)時(shí)運(yùn)行時(shí)保證延遲足夠低。很多廠商還會(huì)借助專門的硬件加速平臺(tái)，比如NVIDIA Drive或者英偉達(dá)的Xavier模塊，將深度神經(jīng)網(wǎng)絡(luò)模型加載到專用芯片里。在這樣一個(gè)軟硬結(jié)合的架構(gòu)里，車輛能夠在幾毫秒內(nèi)完成世界模型的編碼與預(yù)測(cè)，從而為決策模塊提供快速且可靠的“未來場(chǎng)景”信息。如果前方三秒鐘內(nèi)預(yù)測(cè)到有行人可能從右側(cè)沖出，車輛就可以在極短時(shí)間內(nèi)計(jì)算最優(yōu)的制動(dòng)或轉(zhuǎn)向方案，以確保安全。

世界模型部署的難點(diǎn)

要讓世界模型真正落地并發(fā)揮優(yōu)勢(shì)，也并非易事。第一大挑戰(zhàn)在于數(shù)據(jù)的采集與多樣性，世界模型要學(xué)會(huì)準(zhǔn)確地還原現(xiàn)實(shí)，就需要大量涵蓋各種道路、天氣、交通密度等場(chǎng)景的高質(zhì)量數(shù)據(jù)。而有些如暴雨天的道路積水、急彎處突然出現(xiàn)的行人或者車輛失控等極端或風(fēng)險(xiǎn)場(chǎng)景在真實(shí)環(huán)境下往往難以收集到足夠樣本。如果模型只在“平時(shí)”的數(shù)據(jù)上學(xué)得很好，到真正出現(xiàn)罕見場(chǎng)景時(shí)可能就會(huì)力不從心。為應(yīng)對(duì)這一點(diǎn)，就有技術(shù)提出將現(xiàn)實(shí)數(shù)據(jù)與仿真數(shù)據(jù)結(jié)合起來，先用虛擬仿真器生成極端工況的“補(bǔ)充樣本”，再用現(xiàn)實(shí)數(shù)據(jù)做微調(diào)；同時(shí)，還會(huì)采用域適應(yīng)（Domain Adaptation）等技術(shù)，讓模型在不同數(shù)據(jù)源之間遷移時(shí)損失更低，減少“模擬到真實(shí)”的性能差距。

第二大挑戰(zhàn)是長(zhǎng)期預(yù)測(cè)的誤差累積。因?yàn)槭澜缒Ｐ驮跐撛诳臻g里一次又一次地根據(jù)上一步的結(jié)果預(yù)測(cè)下一步，隨著預(yù)測(cè)步數(shù)的增加，小小的誤差就會(huì)不斷疊加，最終導(dǎo)致與真實(shí)環(huán)境嚴(yán)重偏離。這在做短期預(yù)測(cè)（比如一兩秒）時(shí)還可以接受，但如果要做更長(zhǎng)時(shí)間范圍的規(guī)劃時(shí)，就需要特別關(guān)注。對(duì)此可采用在訓(xùn)練時(shí)用“半監(jiān)督、自回歸”和“教師強(qiáng)制”相結(jié)合的策略，即讓模型既學(xué)會(huì)用自己預(yù)測(cè)的產(chǎn)出作為下一個(gè)輸入，也偶爾用真實(shí)觀測(cè)數(shù)據(jù)來校正；另外，在損失函數(shù)里加入對(duì)多步預(yù)測(cè)誤差的懲罰，讓模型對(duì)長(zhǎng)距離時(shí)序的穩(wěn)定性更敏感。實(shí)車測(cè)試時(shí)，如果模型預(yù)測(cè)與真實(shí)觀測(cè)的偏差超過閾值，就啟用在線校準(zhǔn)機(jī)制，強(qiáng)制把模型狀態(tài)拉回到真實(shí)數(shù)據(jù)上，從而避免誤差在長(zhǎng)時(shí)間范圍里爆炸式增長(zhǎng)。

第三大難題是如何讓世界模型具備一定可解釋性與安全性保障。自動(dòng)駕駛是典型的安全關(guān)鍵系統(tǒng)，如果模型內(nèi)的“潛在向量”像黑盒一樣無法理解，當(dāng)車輛決策出現(xiàn)異常時(shí)很難追根溯源。此外，模型可能會(huì)被對(duì)抗攻擊擾亂，使其對(duì)同一個(gè)路況輸出完全不同的預(yù)測(cè)，這會(huì)對(duì)行車安全造成嚴(yán)重威脅。對(duì)此，可以在世界模型里加入一些可解釋性的設(shè)計(jì)，例如讓部分潛在向量專門對(duì)應(yīng)車道線、交通標(biāo)志或其他幾何信息，讓模型內(nèi)部有一部分“白盒”成分，便于排查與驗(yàn)證；同時(shí)，在部署前進(jìn)行大規(guī)模的對(duì)抗樣本測(cè)試，評(píng)估在噪聲或故意篡改下的魯棒性，并對(duì)潛在向量空間做安全檢查，確保在異常輸入下能及時(shí)觸發(fā)緊急制動(dòng)或安全預(yù)警。

世界模型的未來趨勢(shì)

隨著自監(jiān)督學(xué)習(xí)和多源數(shù)據(jù)融合技術(shù)的發(fā)展，世界模型將進(jìn)一步優(yōu)化。目前，大多數(shù)世界模型仍然需要大量帶標(biāo)簽或弱標(biāo)簽數(shù)據(jù)來學(xué)習(xí)；日后更理想的方式是讓模型自己從數(shù)以百萬計(jì)的無標(biāo)簽駕駛視頻中挖掘時(shí)空規(guī)律，用對(duì)比學(xué)習(xí)來保證不同時(shí)間或不同視角下的潛在表示保持一致，這樣就能在不依賴人工標(biāo)注的情況下持續(xù)改進(jìn)。而且，未來的世界模型有望與符號(hào)推理結(jié)合，比如把交通規(guī)則、路網(wǎng)拓?fù)�、駕駛意圖等用邏輯符號(hào)表達(dá)，與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的表示互相補(bǔ)充，既能做出嚴(yán)格符合規(guī)則的決策，也能充分利用數(shù)據(jù)驅(qū)動(dòng)的優(yōu)勢(shì)。這種“混合型”世界模型將更加穩(wěn)定可靠，也更容易通過法規(guī)與安全認(rèn)證。隨著車聯(lián)網(wǎng)（V2X）技術(shù)的普及，世界模型還能夠與云端和其他車輛協(xié)同感知，實(shí)現(xiàn)實(shí)時(shí)在線更新：當(dāng)某一地區(qū)突然發(fā)生大規(guī)模擁堵或事故時(shí)，其他車輛探測(cè)到的路況信息、云端的高精地圖更新，都可以立即反饋到每輛車的世界模型里，讓它們快速調(diào)整預(yù)測(cè)，提高對(duì)極端情況的敏銳度。

世界模型為自動(dòng)駕駛系統(tǒng)帶來了一個(gè)“在腦海中仿真”的能力，讓車輛能夠在更小、更高效的內(nèi)部空間里對(duì)未來環(huán)境做多步預(yù)測(cè)，從而加快決策速度、降低誤判風(fēng)險(xiǎn)，并在面對(duì)多樣化與復(fù)雜化的道路場(chǎng)景時(shí)表現(xiàn)得更從容。但要讓這一能力發(fā)揮最大效益，還需要在數(shù)據(jù)收集、長(zhǎng)期預(yù)測(cè)穩(wěn)定性、可解釋性、安全性和車端部署效率等方面持續(xù)優(yōu)化與攻堅(jiān)。伴隨著深度學(xué)習(xí)、硬件加速和車聯(lián)網(wǎng)等技術(shù)的不斷進(jìn)步，世界模型將在自動(dòng)駕駛領(lǐng)域扮演越來越關(guān)鍵的角色，幫助我們實(shí)現(xiàn)更安全、更智能的無人駕駛出行體驗(yàn)。

-- END --

       原文標(biāo)題 : 自動(dòng)駕駛中常提的世界模型是個(gè)啥？