丨機器學習的端對端控制

當然一種應用就是針對我們前面說反應式的結(jié)構(gòu)，假設整個控制器我們不管它的內(nèi)部結(jié)構(gòu)，完全由一個神經(jīng)網(wǎng)絡這樣的程序來解決，這個大概就是現(xiàn)在比較端對端的控制，什么意思？直接從傳感器到車輛的動作，這就是所謂的端對端的學習控制，端對端本身也不是新鮮的事物，在1989年的時候美國機器人研究所就用當時的三層網(wǎng)絡就實現(xiàn)了簡單的無人駕駛，因為當時的網(wǎng)絡它的標定能力是非常有限的，因此它能夠完成的任務也是非常簡單的。

神經(jīng)網(wǎng)絡大家知道從80年代到90年代甚至到2000年之后很長一段時間，發(fā)展是非常非常緩慢的，目前兩種方案，一種是前饋神經(jīng)網(wǎng)絡，一種基于遞歸神經(jīng)網(wǎng)絡，都在做一些研究。

大家可以看到上面這個視頻，英偉達在2016年的神經(jīng)網(wǎng)絡端對端控制，說到這里是不是用端對端學習控制這個問題就解決了，實際上大家仔細看是不可能的，前面有一個十字路口，用端對端學習控制怎么能夠?qū)崿F(xiàn)讓車選擇不同的路線呢？這個事情在他做的這個實驗里面就不涉及到這個問題。

實際上這個問題英偉達做這個實驗還有很多問題沒有解決，從控制上來說，車要適應不同的坡路和材質(zhì)，這個本身就是很復雜的，對于剛才說的端對端的學習控制，要做采集數(shù)據(jù)是非常困難的，而網(wǎng)絡本身結(jié)構(gòu)也沒有辦法支持，退而求其次就有其他的研究，大家去看一下Deep Driving：Learning Affordance for Direct Perception in Autonomous Driving 這篇文章，這個想法就跟這個端對端不太一樣，它把這個系統(tǒng)分為控制和感知，把控制環(huán)節(jié)還是用控制的方法去做，但是后面感知希望用神經(jīng)網(wǎng)絡來解決，設計一個神經(jīng)網(wǎng)絡，輸入一個圖象，輸出就是車道和車道上的線得到這樣一個抽象的模型，把這個模型再由后端輸入再去控制車輛運動，這個是他們展示的一段視頻，這個是神經(jīng)網(wǎng)絡的輸入，這個就是網(wǎng)絡的輸出，后端控制的輸入，這是他們做的一個實驗。

這種端對端的方案，我感覺下面幾個問題對他來說可能是比較重要的，最大的問題相對于我們說的駕駛?cè)蝿眨�現(xiàn)有的網(wǎng)絡結(jié)構(gòu)還是太簡單了，表達能力非常有限。

首先我們可以看，從數(shù)據(jù)的意義上來說，你要完成一個駕駛?cè)蝿眨�你拿到的�?shù)據(jù)有任務信息，有離線地理信息，有環(huán)境信息還有本體的運動狀態(tài)等等，對于這樣一些完全抑制的信息，我們設計一個什么樣網(wǎng)絡結(jié)構(gòu)才能綜合起來實現(xiàn)車輛的駕駛，這個本身我認為是一個比較大的問題。第二就是我們選擇困境，在不同的路網(wǎng)里面，你碰到十字路口的到底怎么走，可能很難解決。如果用端對端的方案可能很難解決這個問題。還有第三個比如說駕駛行為在時間上的不確定性，實際上它的復雜性是非常非常大的，也是現(xiàn)在很難解決的一個問題。這是我們說的端對端的學習控制。

丨慎思式結(jié)構(gòu)中的機器學習

我們能不能把機器學習慎思式方案用到無人駕駛里面去，很多研究用機器學習去提取交通場景中的各種各樣的交通物體，道路環(huán)境等等，用深度神經(jīng)元網(wǎng)絡實現(xiàn)場景中的各種交通物體，道路、建筑物的一個分割，把它作為下一步的決策規(guī)劃的輸入。再比如說對于我們知道現(xiàn)在無人車頭上都頂著一個激光雷達，也可以用深度神經(jīng)原的方法進行處理獲取道路上各種各樣的物體，交通標志的信息等等。這個實際上用深度學習在做這種三維微場景分析，這也是目前用深度學習來解決環(huán)境的一個重要的研究方向。

我們說了，可以用它去解決物體的識別，場景的分析問題，當然也可以用它解決決策規(guī)劃問題。近年來，我覺得做的比較好的工作就是他們提出的ChauffeurNet，他做的工作就是設計一個非常復雜的網(wǎng)絡結(jié)構(gòu)，要來實現(xiàn)抑制數(shù)據(jù)的處理融合，這是他們設計的整個網(wǎng)絡結(jié)構(gòu)，用來把各種各樣的信息能夠融合到整個駕駛過程中去，這是我們說的從決策的角度，當然也有人研究用機器學習解決控制問題。

丨國防科技大學無人駕駛團隊實踐

現(xiàn)在我們回到我們團隊，我們這些年在這方面也做了很多研究工作，我們用學習解決車輛控制，車輛縱向控制，甚至包括像我們把這個環(huán)境變成一個多車道的模型，實現(xiàn)無人車在環(huán)境里面的自主決策等等，這也是用機器學習做的。我們有兩個博士生在這一塊做的非常好，一個是基于廣義Haar濾波器的實時目標檢測，我們在考慮能夠壓縮計算資源，使得利用十分之一或者五分之一的資源來實現(xiàn)同樣類似的效果，這對于機器學習的應用應該說是有非常幫助的。另外我們也做了交通場景的多任務學習，什么意思？一個神經(jīng)網(wǎng)絡能夠?qū)崿F(xiàn)多個任務，像今天早上有院士做報告也說到這個問題，對于人工智能是一個困難，我們也在做這方面的嘗試，這是我們自己做的實際的情況，包括物體的分割，行為場景的分割等等。

另外我們在記憶式網(wǎng)絡，在目標檢測方面的應用也做了很多工作。什么意思呢？大家有沒有注意到，所謂的深度神經(jīng)網(wǎng)絡往往需要人工去標注大量的樣本，這很顯然是很復雜的工作，我們做的探索是怎么能夠?qū)崿F(xiàn)目標檢測，實現(xiàn)機器學習。這個如果大家感興趣可以下去關注一下我們做的工作，應該說是比較好的，當然它的基本原理就是我們首先在靜態(tài)的情況下拍一些視頻。我是在靜態(tài)的環(huán)境、背景下去檢測動態(tài)的目標，通過這個辦法不斷地收集大量的樣本，然后再把學習好的檢測器用在一個動態(tài)的載體上，這是我們已經(jīng)做的一些工作。

最后我說一下自己對這個事的一點理解：第一說我們機器學習對于解決無人駕駛的問題是非常非常重要的，但是它不是全部，它只能解決其中一部分問題。第二深度神經(jīng)網(wǎng)絡它場景建模與理解的有力工具。第三統(tǒng)計學習、增強學習對于解決行為決策問題會有所幫助，但是目前看來前提是必須要由人工建立一個合適的決策模型的基礎上用學習的方法來實現(xiàn)決策的前件的學習。第四是用積極學習的方法解決動力學控制問題，這個問題按說傳統(tǒng)方法已經(jīng)解決比較好了，但是對于機器學習來說，好象沒有那么簡單，反而是比較復雜的問題。第五能夠?qū)崿F(xiàn)任務、本體狀態(tài)、環(huán)境信息并行輸入的網(wǎng)絡結(jié)構(gòu)應該是未來把機器學習用在無人駕駛上的一個研究重點。第六現(xiàn)有的計算能力仍不足以支持神經(jīng)網(wǎng)絡在無人車中的大規(guī)模應用。我的匯報就到這里，謝謝大家。