4）深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)：

要回答這個問題，我們首先需要回答點(diǎn)云的最佳深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)是什么。對于圖像處理，CNN是最佳選擇，并已被廣泛接受。但點(diǎn)云處理仍然是一個開放的研究問題。同時沒有點(diǎn)云深度學(xué)習(xí)網(wǎng)絡(luò)的設(shè)計(jì)原則，被廣泛的接受或被證明是最有效的。當(dāng)前大多數(shù)傳感器融合網(wǎng)絡(luò)都是基于對應(yīng)的圖像的網(wǎng)絡(luò)結(jié)構(gòu)，或者是基于經(jīng)驗(yàn)或?qū)嶒?yàn)來進(jìn)行設(shè)計(jì)的。因此，采用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（NAS）［95］的方法可能會帶來進(jìn)一步的性能提升。

5）無監(jiān)督或弱監(jiān)督的學(xué)習(xí)框架：

人工標(biāo)注圖像和點(diǎn)云數(shù)據(jù)既昂貴又耗時，這限制了當(dāng)前多傳感器數(shù)據(jù)集的大小。采用無監(jiān)督和弱監(jiān)督的學(xué)習(xí)框架，可以使網(wǎng)絡(luò)在更大的未標(biāo)記／粗標(biāo)簽的數(shù)據(jù)集上進(jìn)行訓(xùn)練，從而提升性能。 

B．與可靠性相關(guān)的開放研究問題

1）與傳感器無關(guān)的融合框架：

從工程角度來看，自動駕駛汽車的冗余設(shè)計(jì)對其安全至關(guān)重要。盡管將LiDAR和攝像頭融合在一起可以改善感知性能，但是它也會帶來信號耦合問題。如果在工作時有一條信號路徑失效，那么整個流程都可能會發(fā)生故障，并影響下游模塊。這對于在安全關(guān)鍵環(huán)境中運(yùn)行的自動駕駛汽車是不可接受的。這一問題可以通過加入能接受不同傳感器輸入的多個融合模塊，或異步多模數(shù)據(jù)、多路徑的融合模塊來解決。但最佳解決方案仍有待進(jìn)一步的研究。 2）全天候／光線下的工作能力：

自動駕駛汽車需要在所有天氣和光照條件下工作。然而，當(dāng)前的數(shù)據(jù)集和方法主要集中在具有良好照明和天氣條件的場景上。這會導(dǎo)致在現(xiàn)實(shí)世界中表現(xiàn)不佳，因?yàn)槠涔庹蘸吞鞖鈼l件更加復(fù)雜。

3）（Adversarial Attacks and Corner Cases）對抗攻擊和極端案例：

針對基于圖像的感知系統(tǒng)的對抗已被證明是有效的，這對自動駕駛汽車構(gòu)成了嚴(yán)重的危險。在這種情況下，可以進(jìn)一步探索如何利用LiADR的準(zhǔn)確3D幾何信息和圖像來共同識別這些攻擊。

由于自動駕駛汽車需要在不可預(yù)測的開放環(huán)境中運(yùn)行，因此也必須考慮感知中的（edge cases）極端案例。在設(shè)計(jì)感知系統(tǒng)時，應(yīng)該考慮到不常見的特殊障礙物，例如奇怪的行為和極端的天氣。例如，打印在大型車輛上的人和物體（車體廣告）以及穿著怪異服裝的人。利用多模數(shù)據(jù)來識別這些極端情況，可能會比用單模傳感器更為有效、可靠和簡單。在這個方向上的進(jìn)一步研究可以幫助提高自動駕駛技術(shù)的安全性和加快其商用

C．與工程有關(guān)的開放研究問題

1）傳感器在線自校準(zhǔn)：

相機(jī)和LiDAR融合的前提和假設(shè)是相機(jī)和LiDAR之間的精確校準(zhǔn)，其中包括相機(jī)內(nèi)部參數(shù)和相機(jī)與LiDAR之間的外部參數(shù)。但在實(shí)際上做到校準(zhǔn)參數(shù)一直準(zhǔn)確很難。即使在對相機(jī)和LiDAR進(jìn)行了完美的校準(zhǔn)之后，在車輛機(jī)械振動，熱量等因素的影響下，其校準(zhǔn)參數(shù)也會隨時間變化而變得不準(zhǔn)。由于大多數(shù)融合方法對校準(zhǔn)誤差極為敏感，因此這會嚴(yán)重削弱其性能和可靠性。此外校準(zhǔn)過程大多需要從頭進(jìn)行，所以不斷的人工更新校準(zhǔn)參數(shù)既麻煩又不切實(shí)際。然而此問題受到的關(guān)注較少，因?yàn)檫@個問題在已發(fā)布的數(shù)據(jù)集中不太明顯。盡管如此，仍然有必要研究相機(jī)和LiDAR在線自校準(zhǔn)的方法。最近的一些研究采用了運(yùn)動引導(dǎo)［96］和無目標(biāo)［97］自校準(zhǔn)。在這個重要方向上進(jìn)行更多的研究是有必要的。

2）傳感器時間同步：

明確來自多個傳感器數(shù)據(jù)幀的確切時間對于實(shí)時傳感器融合至關(guān)重要，這將直接影響融合結(jié)果。但在實(shí)踐中，我們很難保證完美的時間同步。首先，LiDAR和相機(jī)具有不同的刷新率，并且每個傳感器都有自己的時間源。此外，感知系統(tǒng)的許多部分（數(shù)據(jù)傳輸，傳感器曝光時間等）都可能發(fā)生不可控制的時間延遲。幸運(yùn)的是，有幾種緩解該問題的方法。首先可以增加傳感器刷新率以減少時間偏差。也可以使用GPS PPS時間源與主機(jī)保持同步，并且由主機(jī)將時間戳同步請求發(fā)送到每個傳感器，以使每個傳感器都在同一時間軸上。此外如果傳感器可以由外部信號觸發(fā)，則帶有晶振的特定電路硬件可以記錄精確的時間戳，該時間戳可用于在幾乎同時觸發(fā)每個傳感器。該方法被認(rèn)為是目前最有效的。

03．深度補(bǔ)全

激光點(diǎn)云的稀疏性極大地制約了3D感知算法并使之復(fù)雜化。深度補(bǔ)全旨在通過將稀疏的，不規(guī)則的深度數(shù)據(jù)，上采樣為密集的規(guī)則的數(shù)據(jù)來解決此問題。基于相機(jī)－激光雷達(dá)融合的方法通常利用高分辨率圖像來引導(dǎo)深度上采樣，并采用（encoder－decoder）編碼器－解碼器架構(gòu)，這也意味著pixel－wise fusion。圖2是深度補(bǔ)全模型的發(fā)展時間軸和其對應(yīng)的數(shù)據(jù)融合層級。表I列出了KITTI深度補(bǔ)全基準(zhǔn)測試中各模型的結(jié)果比較和對應(yīng)的數(shù)據(jù)融合的層級，并在圖3中繪制成散點(diǎn)圖。

圖3． 深度補(bǔ)全模型的發(fā)展時間軸和其對應(yīng)的數(shù)據(jù)融合層級

表II． KITTI深度補(bǔ)全基準(zhǔn)測試中各模型的結(jié)果比較和對應(yīng)的數(shù)據(jù)融合的層級

當(dāng)前大多數(shù)研究使用單目圖像來引導(dǎo)深度補(bǔ)全。這些方法認(rèn)為圖像的顏色，材質(zhì)等信息包含著幾何信息，故可以將其作為深度上采樣的參考。與單目圖像相比，由立體相機(jī)的視差計(jì)算得到的幾何信息更豐富，更精確。在深度補(bǔ)全任務(wù)上，立體相機(jī)和激光雷達(dá)在理論上更具互補(bǔ)性，應(yīng)該能從中計(jì)算出更密集，更準(zhǔn)確的深度信息。但在實(shí)際應(yīng)用中，立體攝像機(jī)的有效距離范圍有限（與激光雷達(dá)的有效距離不匹配），且其在高遮擋，無紋理的環(huán)境中不可靠（如部分城市道路），這使其目前不太適用于自動駕駛。

圖4． KITTI深度補(bǔ)全基準(zhǔn)測試中各模型的結(jié)果散點(diǎn)圖

各模型介紹與對比的詳細(xì)內(nèi)容見原文。

04．3D目標(biāo)識別

3D目標(biāo)檢測旨在3D空間中定位，分類并估計(jì)具備方向性的（bbox）目標(biāo)邊界框。當(dāng)前有兩種主要的目標(biāo)檢測流程：（Sequential／ two－stage）多階段和（single－shot／one－stage）單階段。基于多階段的模型大體由（proposal stage）候選框階段和3D邊界框（3D bbox regression）回歸階段組成。在候選框階段，檢測并提出所有可能包含感興趣對象的區(qū)域。在（bbox）目標(biāo)邊界框回歸階段，根據(jù)候選的區(qū)域的特征對區(qū)域進(jìn)行進(jìn)一步甄別。但是，該模型的性能受到每個階段的限制。在另一方面，single－shot模型只包含一個階段，其通常以并行的方式處理2D和3D信息。3D對象檢測模型的發(fā)展時間軸和其對應(yīng)的數(shù)據(jù)融合層級如圖4所示。表II和圖6展示了在KITTI 3D目標(biāo)檢測基準(zhǔn)測試中各模型的性能對比和對應(yīng)的數(shù)據(jù)融合的層級。

圖5．3D對象檢測模型的發(fā)展時間軸和其對應(yīng)的數(shù)據(jù)融合層級

A． 基于（2D Proposal）2D候選區(qū)域的多階段模型：

這部分模型首先基于2D圖像語義生成2D候選區(qū)域，這使其能利用現(xiàn)成的圖像處理模型。更具體的來說，這些方法利用2D圖像目標(biāo)檢測器生成2D候選區(qū)域，并將其投影回3D點(diǎn)云空間中，形成3D搜索空間，并在這些3D搜索空間內(nèi)進(jìn)一步完成3D bbox的回歸檢測。這其中有兩種將2D候選區(qū)域轉(zhuǎn)換到3D點(diǎn)云空間的投影方法。第一個是將圖像平面中的邊界框投影到3D點(diǎn)云，從而形成一個錐形的3D搜索空間。而第二種方法將點(diǎn)云投影到圖像平面，將點(diǎn)云逐點(diǎn)與對應(yīng)的2D語義信息聯(lián)系起來。但在點(diǎn)云中，遠(yuǎn)處的或被遮擋的物體通常只由少量的稀疏點(diǎn)組成，這增加了第二階段中3D bbox回歸的難度。

表III． KITTI 3D目標(biāo)檢測基準(zhǔn)測試中各模型的性能對比和對應(yīng)的數(shù)據(jù)融合的層級。

B． 基于（3D Proposal）3D候選區(qū)域的多階段模型：

基于3D候選區(qū)域的模型直接從2D或3D數(shù)據(jù)中生成3D候選區(qū)域。其通過消除2D到3D轉(zhuǎn)換，極大地縮小了3D搜索空間。用于3D候選區(qū)域生成的常見方法包括（multi－view）多視角方法和（point cloud voxelization）點(diǎn)云體素化方法�；�于多視角的方法利用點(diǎn)云的鳥瞰（BEV representation）圖來生成3D候選區(qū)域。鳥瞰圖避免了透視遮擋，并保留了對象的方向信息和x，y坐標(biāo)的原始信息。這些方向和x，y坐標(biāo)信息對于3D對象檢測至關(guān)重要，且鳥瞰圖和其他視角之間的坐標(biāo)轉(zhuǎn)換較為直接。而基于點(diǎn)云體素化的模型，將連續(xù)的不規(guī)則數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為離散的規(guī)則數(shù)據(jù)結(jié)構(gòu)。這讓應(yīng)用（standard 3D discrete convolution）標(biāo)準(zhǔn)3D離散卷積，并利用現(xiàn)有網(wǎng)絡(luò)模型來處理點(diǎn)云變得可能。其缺點(diǎn)是失去了部分空間分辨率，細(xì)粒度的3D結(jié)構(gòu)信息以及引入了（boundary artifacts）邊界痕跡。

圖6． KITTI 3D目標(biāo)檢測基準(zhǔn)測試中各模型的性能散點(diǎn)圖。 

C． 單階段模型單階段模型將候選區(qū)域生成和bbox回歸階段融合為一個步驟，這些模型通常在計(jì)算效率上更高。這使它們更適合于移動計(jì)算平臺上的實(shí)時應(yīng)用。

各模型介紹與對比的詳細(xì)內(nèi)容請見原文。

05．2D／3D語義分割

本節(jié)回顧了用于2D語義分割，3D語義分割和實(shí)例分割的現(xiàn)有Camera－LiDAR融合方法。2D ／ 3D語義分割旨在預(yù)測每個像素和每個點(diǎn)的類型標(biāo)簽，而實(shí)例分割還關(guān)心單個實(shí)例。圖6給出了3D語義分割網(wǎng)絡(luò)的時間順序概述和對應(yīng)的數(shù)據(jù)融合的層級。詳細(xì)內(nèi)容請見原文。

圖7． 3D語義分割網(wǎng)絡(luò)的發(fā)展時間軸和其對應(yīng)的數(shù)據(jù)融合層級

06．跟蹤

多目標(biāo)跟蹤（MOT）對于自動駕駛汽車的決策是不可或缺的。為此，本節(jié)回顧了基于相機(jī)－激光雷達(dá)融合的對象跟蹤方法，并在表III中的KITTI多對象跟蹤基準(zhǔn)（汽車）［47］上比較了它們的性能。

A． Detection－Based Tracking （DBT）／Tracking－by－Detection

檢測跟蹤框架包括兩個階段。在第一階段為目標(biāo)檢測。第二階段在時間軸上將這些目標(biāo)關(guān)聯(lián)起來，并計(jì)算軌跡，這些軌跡可被表示成線性程序。

表IV． KITTI 跟蹤基準(zhǔn)測試中各模型的性能對比和對應(yīng)的方法。