那么我們?nèi)绾芜M(jìn)行大規(guī)模的路測呢？

因?yàn)樘厥夂币姷漠惓Ｇ闆r很少發(fā)生，如果使用真實(shí)情況進(jìn)行路測，我們需要等待很長時間，為了解決這個問題，我們自己構(gòu)建條道路。

因?yàn)槲覀冇蠫oogle的數(shù)據(jù)支持所以這個想法是可行的，所以我們按照如下圖數(shù)據(jù)做出仿真模型。仿真出足夠多的場景供以測試。而我們?yōu)槭裁匆�做出如此多的仿真模型呢�?/strong>因?yàn)橛袝r會得出截然相反的結(jié)果，所以我們要加強(qiáng)系統(tǒng)的魯棒性，這就要求我們做出足夠多的仿真模型，確保系統(tǒng)的準(zhǔn)確性。

這是一種抽樣方法。

上圖正在模擬真實(shí)世界可能會發(fā)生的事情。如果想要得到準(zhǔn)確的數(shù)據(jù)，我們需要模仿真實(shí)的人類在不同的情形下做出的真實(shí)舉動。

如何評價這個簡單的模型呢？

正面：容易調(diào)整關(guān)鍵參數(shù)，如反應(yīng)時間，制動輪廓，橫向加速。有效再現(xiàn)避碰場景中的基本人類行為；反面：無法處理更復(fù)雜的交互行為。

但是定義它本身是一個復(fù)雜的問題，所以我們能做什么呢？那就是從實(shí)際演示中學(xué)習(xí)代理模型。

機(jī)器學(xué)習(xí)仿真的解決辦法就是構(gòu)建另一個機(jī)器學(xué)習(xí)模型。

添加排列可能會出現(xiàn)問題，這是一個眾所周知的問題。

我們使用了非常不同的體系結(jié)構(gòu)去避免碰撞，例如RNN模型。

在一條陌生的路上開著車，需要看到更多的范圍和預(yù)判更多的特殊情況，如掉頭需要處理好。

上圖是人類行為分布，可以看到這是個正態(tài)分布，所以這就是導(dǎo)致了“長尾巴情況”的根本原因。即使圖像兩端的情況很少發(fā)生，我們的測試也要涵蓋進(jìn)去所有的人類行為情況。

需要我們拓寬這個分布，或者仿真出更多的例子。

行為軌跡優(yōu)化模型：反RL用于找到創(chuàng)建所需軌跡的變量。

許多不同的方法來克服“長尾”問題。

“智能”模型對于自動化是至關(guān)重要的。通過模擬更真實(shí)人類行為是非常重要的。

因?yàn)檫�存在很多不同的場景，每天都上演著不同的事情，所以“長尾巴情況”還將會在不同的城市，不同的環(huán)境中持續(xù)下去的。

在一些好的訓(xùn)練步驟如下：對收集的數(shù)據(jù)進(jìn)行培訓(xùn)；能夠在不確定或不正確的情況下進(jìn)行量化；能夠采取措施，比如向評分者提問；更好的是，通過因果分析直接自我更新。

總結(jié)：Waymo 專家舉出的有人帶著停車標(biāo)志是一個有趣例子，而且對機(jī)器學(xué)習(xí)的一個非常基本的介紹，其中提到了AutoML模型，可以測試多達(dá)10K的不同架構(gòu)。然后采用前100個架構(gòu)，在更大的模型上進(jìn)行測試。Waymo是一個混合系統(tǒng)，使用ML和混合ML（傳統(tǒng)的ML編程）。隨著ML能力的增長，傳統(tǒng)場景越來越少。視頻中也提到了waymo 如何測試，結(jié)構(gòu)化測試，是否有封閉的測試環(huán)境。在模擬器方面，他們認(rèn)為代理能夠模擬現(xiàn)實(shí)世界中發(fā)生的事情。不斷擴(kuò)大復(fù)雜模型，來處理長尾問題。或者利用專家領(lǐng)域知識，換句話說混合模型或傳統(tǒng)編程。以及逆強(qiáng)化學(xué)習(xí)，值得深入研究。