滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室探索了基于Domain Randomization 的模擬器到真實(shí)世界知識(shí)遷移算法。該算法可以使用效果較弱的domain adaptation方法來(lái)進(jìn)行定向數(shù)據(jù)增強(qiáng)，讓諸如自動(dòng)駕駛汽車的智能體獲得真實(shí)世界可用的策略。

隨著數(shù)據(jù)科學(xué)的發(fā)展，很多之前過(guò)于復(fù)雜，難以解決的問(wèn)題都可以通過(guò)數(shù)據(jù)擬合的方式來(lái)解決�；�于學(xué)習(xí)的算法一般都基于獨(dú)立同分布的假設(shè)，即用于訓(xùn)練的數(shù)據(jù)與真實(shí)環(huán)境遇到的數(shù)據(jù)符合統(tǒng)一分布，且相互獨(dú)立。要符合這一假設(shè)，在訓(xùn)練時(shí)需要采集大量數(shù)據(jù)以覆蓋真實(shí)使用時(shí)可能遇到的場(chǎng)景。對(duì)于自動(dòng)駕駛，對(duì)數(shù)據(jù)量的需求格外巨大，而數(shù)據(jù)采集的過(guò)程是昂貴，費(fèi)時(shí)費(fèi)力，甚至危險(xiǎn)的，數(shù)據(jù)標(biāo)注的過(guò)程更是需要大量人力。

而模擬器作為一個(gè)廉價(jià)但有準(zhǔn)確標(biāo)注的數(shù)據(jù)源，如果可以解決模擬器與真實(shí)世界數(shù)據(jù)上的差異，帶來(lái)的訓(xùn)練得到的策略上差異，將可以在自動(dòng)駕駛領(lǐng)域發(fā)揮巨大價(jià)值。從統(tǒng)計(jì)學(xué)上講，模擬器上的策略可用于真實(shí)世界的原因在于，模擬器于真實(shí)世界的數(shù)據(jù)具有相似的條件概率，僅是邊緣概率有較大差異。通俗的理解就是，人在模擬器中的駕駛策略與在真實(shí)世界的駕駛策略是相似的，僅是模擬器里的車與真實(shí)世界的車，道路長(zhǎng)得不太一樣。

Figure1領(lǐng)域自適應(yīng)與鄰域隨機(jī)化

為探索模擬器數(shù)據(jù)對(duì)于真實(shí)世界自動(dòng)駕駛的可用性，滑鐵盧大學(xué)CogDrive實(shí)驗(yàn)室探索了基于Domain Randomization 的模擬器到真實(shí)世界知識(shí)遷移算法。主流的用于知識(shí)遷移的鄰域自適應(yīng)算法一般是基于度量的，算法的關(guān)鍵在于量化兩個(gè)不同數(shù)據(jù)分布之間的差異，最終尋求一個(gè)將兩個(gè)數(shù)據(jù)分布映射到同一特征空間的映射函數(shù)。而Domain Randomization類算法一般側(cè)重于尋找兩個(gè)不同數(shù)據(jù)分布的共同特征空間（common latent space），再基于這個(gè)共同特征空間進(jìn)行進(jìn)一步的訓(xùn)練。

對(duì)于自動(dòng)駕駛模擬器與真實(shí)的駕駛環(huán)境，一個(gè)先驗(yàn)知識(shí)是模擬器與真實(shí)世界在圖像紋理，光照條件上有較大不同，而在幾何信息上大致相同，基于這個(gè)先驗(yàn)知識(shí)，可以嘗試構(gòu)建一個(gè)從模擬器遷移到真實(shí)世界的語(yǔ)義分割算法。

一般的 Domain Randomization 方法首先對(duì)模擬器圖像進(jìn)行一些自定義的圖像增強(qiáng)，然后使用增強(qiáng)后的圖像進(jìn)行訓(xùn)練。該團(tuán)隊(duì)的Domain Randomization則是基于圖像風(fēng)格遷移來(lái)進(jìn)行隨機(jī)化，從而進(jìn)行知識(shí)的遷移。圖像風(fēng)格遷移（Neural Style Transfer）可以視作一種一類圖像到另一類圖像的Domain adaptaiton。使用圖像風(fēng)格遷移來(lái)進(jìn)行Domain Randomization，實(shí)則是在使用一些效果較弱的Domain Adaptation方法來(lái)定向增強(qiáng)訓(xùn)練數(shù)據(jù)，從而使得目標(biāo)域數(shù)據(jù)分布屬于訓(xùn)練數(shù)據(jù)分布。

相比手工定義的圖像增強(qiáng)，基于風(fēng)格遷移的方法可以起到更好的效果。隨后一個(gè)基于 Conditional GAN的隨機(jī)化后的圖像到原圖像的映射網(wǎng)絡(luò)被進(jìn)一步用于將隨機(jī)化后的圖像映射為其對(duì)應(yīng)模擬器原圖。由于隨機(jī)化后的圖像與目標(biāo)域圖像有一個(gè)共同的特征空間，這個(gè)映射函數(shù)同樣可以用于將真實(shí)世界的圖像映射到對(duì)應(yīng)的模擬器“風(fēng)格”的圖像，從而可以將一個(gè)完全由模擬器數(shù)據(jù)訓(xùn)練的語(yǔ)義分割模型應(yīng)用到其中。

整個(gè)流程如圖3所示。在真實(shí)數(shù)據(jù)使用過(guò)程中，僅有一個(gè)generator需要添加在語(yǔ)義分割模型之前，用于將真實(shí)世界的圖像轉(zhuǎn)化為符合模擬器數(shù)據(jù)分布的圖像。

Figure3訓(xùn)練流程

更進(jìn)一步，最后加在具體的任務(wù)網(wǎng)絡(luò)前的這個(gè)Generator， 它的作用在于將邊緣分布與訓(xùn)練數(shù)據(jù)有一些差異的數(shù)據(jù)映射到與訓(xùn)練數(shù)據(jù)相同的邊緣分布。這樣一個(gè)模塊不只可以用于完成模擬器到真實(shí)世界的知識(shí)遷移，也可以用于增強(qiáng)模型的魯棒性。

在模擬器中使用該方法，可以定向增強(qiáng)訓(xùn)練數(shù)據(jù)，讓無(wú)人駕駛汽車獲取真實(shí)世界可用的策略。