本文整理了多傳感器數(shù)據(jù)融合（Multi－Sensor Data Fusion，MSDF）的要點(diǎn)和基本方法。介紹了Harmonize、Reconcile、Integrate、Synthesize之間的區(qū)別和對(duì)應(yīng)的解決方案。文章主要圍繞什么是MSDF；為什么要MSDF和如何進(jìn)行MSDF展開(kāi)，希望給對(duì)自動(dòng)駕駛感興趣的小伙伴，提供一些參考。

許多人工智能系統(tǒng)的一個(gè)關(guān)鍵要素是具有多傳感器數(shù)據(jù)融合（Multi－Sensor Data Fusion，MSDF）的能力。在人工智能系統(tǒng)處于一個(gè)特定的環(huán)境時(shí)，MSDF需要對(duì)周?chē)�環(huán)境數(shù)據(jù)進(jìn)行Harmonize；Reconcile；Integrate；Synthesize。簡(jiǎn)單來(lái)說(shuō)，傳感器相當(dāng)于眼睛耳朵等輸入感官，而人工智能系統(tǒng)需要以某種方式解釋這些輸入感官收集回來(lái)的信息，使其成為在現(xiàn)實(shí)世界可以被解釋且有價(jià)值的信息。在駕駛汽車(chē)時(shí)，多目標(biāo)跟蹤（Multi－Target Tracking，MTT）也是非常重要的課題——設(shè)想在市中心開(kāi)車(chē)，周?chē)�都是行人和�?chē)輛，人類(lèi)駕駛員要準(zhǔn)確的識(shí)別并躲避他們，自動(dòng)駕駛汽車(chē)也是。所以，這要求傳感器融合具備一個(gè)必須的性質(zhì)——實(shí)時(shí)性，就像人類(lèi)每時(shí)每刻都在大腦中進(jìn)行傳感器融合一樣。盡管人類(lèi)不會(huì)公開(kāi)地明確地將想法付諸于行動(dòng)，但是這些“傳感器融合”過(guò)程都是自然發(fā)生的。

自動(dòng)駕駛的MSDF

首先，需要明確一個(gè)老生常談的概念——SAE對(duì)于自動(dòng)駕駛等級(jí)的劃分。SAE給自動(dòng)駕駛汽車(chē)劃分為5個(gè)等級(jí)，對(duì)于L5以下的自動(dòng)駕駛汽車(chē)，要求必須有一個(gè)人類(lèi)駕駛員（安全員）在場(chǎng)。目前，人工智能和人類(lèi)駕駛員共同承擔(dān)駕駛?cè)蝿?wù)，而人類(lèi)駕駛員被認(rèn)定為汽車(chē)行為的責(zé)任人。

回到MSDF的話(huà)題，下圖展示了人工智能自動(dòng)駕駛汽車(chē)如何進(jìn)行MSDF的一些關(guān)鍵要素。

上圖指出了MSDF面臨的主要挑戰(zhàn)是如何將收集來(lái)的大量數(shù)據(jù)集中在一起，并做出正確決策。因?yàn)槿绻鸐SDF出錯(cuò)，意味著下游階段要么沒(méi)有必要的信息，要是使用了錯(cuò)誤的信息做出了錯(cuò)誤的決策�？梢钥吹�，一般來(lái)說(shuō)，自動(dòng)駕駛汽車(chē)會(huì)通過(guò)安裝在車(chē)身周?chē)�的攝像頭收集視覺(jué)數(shù)據(jù)，也會(huì)通過(guò)雷達(dá)（激光雷達(dá)、毫米波雷達(dá)等）來(lái)收集諸如周?chē)�物體運(yùn)動(dòng)速度的數(shù)據(jù)，但是這些數(shù)據(jù)是從不同角度來(lái)描述現(xiàn)實(shí)世界的同一樣或不同樣的物體。所以，使用什么類(lèi)型的傳感器，怎么融合傳感器收集回來(lái)的數(shù)據(jù)，使用多少傳感器才能實(shí)現(xiàn)基于數(shù)據(jù)的對(duì)客觀世界的描述呢？通常來(lái)說(shuō)，使用越多的傳感器，對(duì)計(jì)算能力的要求就越高，這意味著自動(dòng)駕駛汽車(chē)必須搭載更多的計(jì)算機(jī)處理器和內(nèi)存，這也會(huì)增加汽車(chē)的重量，需要更多的功率，還會(huì)產(chǎn)生更多的熱量。諸如此類(lèi)的缺點(diǎn)還有很多。

多傳感器融合（MSDF）的四個(gè)關(guān)鍵方法

圖 Harmonize；Reconcile；Integrate；Synthesize的區(qū)別

Harmonize：

假設(shè)有兩種不同的傳感器，稱(chēng)它們?yōu)閭鞲衅鱔和傳感器Z。它們都能夠感知自動(dòng)駕駛汽車(chē)的外部世界。在現(xiàn)實(shí)世界中存在一個(gè)物體，這個(gè)物體可能是人，也可能是車(chē)，甚至是一條狗，傳感器X和傳感器Z都能夠檢測(cè)到這個(gè)物體。這就意味著傳感器對(duì)這個(gè)物體進(jìn)行了雙重檢測(cè)，這種雙重檢測(cè)意味著兩種不同類(lèi)型的傳感器都有關(guān)于該物體的數(shù)據(jù)報(bào)告，對(duì)于該物體有兩個(gè)維度不同地認(rèn)知。假設(shè)，傳感器X表示該物體高6英尺，寬2英尺；傳感器Z表示該物體以每秒3英尺的速度正朝著自動(dòng)駕駛車(chē)輛方向移動(dòng)。結(jié)合兩個(gè)傳感器采集到的數(shù)據(jù)，就可以得出一條相對(duì)準(zhǔn)確的信息：有一個(gè)高約6英尺，寬2英尺的物體正在以每秒鐘3英尺的速度移動(dòng)。假設(shè)這兩自動(dòng)駕駛汽車(chē)上只安裝了X傳感器，那么就無(wú)法得知該物體的大小；若Z傳感器壞了，那么就只有物體的大小信息，無(wú)法檢測(cè)該物體的運(yùn)動(dòng)狀態(tài)。這也就是最近業(yè)內(nèi)廣泛討論的“在自動(dòng)駕駛汽車(chē)上應(yīng)該安裝哪些傳感器”的問(wèn)題。

此前，特斯拉埃隆·馬斯克（Elon Musk）旗幟鮮明地聲稱(chēng)，特斯拉不會(huì)安裝激光雷達(dá)。盡管馬斯克自己也認(rèn)為，L5自動(dòng)駕駛不會(huì)通過(guò)激光雷達(dá)來(lái)實(shí)現(xiàn)這個(gè)想法最終可能被驗(yàn)證為錯(cuò)誤的，這依舊沒(méi)有改變馬斯克的決定。一些反對(duì)的聲音稱(chēng)，不配備激光雷達(dá)的特斯拉，無(wú)法通過(guò)其他的傳感器獲取如同激光雷達(dá)效果相同的感官輸入，也無(wú)法提供補(bǔ)償和三角測(cè)量。但是另一些支持者認(rèn)為，激光雷達(dá)不值得話(huà)費(fèi)如此高昂的費(fèi)用成本，不值得為其增大計(jì)算能力，也不值得為其增加認(rèn)知時(shí)間。

Reconcile：

在同一個(gè)視場(chǎng)（Field of View，F(xiàn)OV）內(nèi)，假設(shè)傳感器X探測(cè)到一個(gè)物體，而傳感器Z沒(méi)有探測(cè)到。注意，這與物體完全在傳感器Z的FOV之外的情況有很大的不。一方面，系統(tǒng)會(huì)認(rèn)為傳感器X是正確的，Z是錯(cuò)誤的，可能是因?yàn)閆有故障，或者有模糊探測(cè)，或者是其他的一些什么原因。另一個(gè)方面，也許傳感器X是錯(cuò)誤的，X可能是報(bào)告了一個(gè)“幽靈”（實(shí)際上并不存在的東西），而傳感器Z報(bào)告那里沒(méi)有東西是正確的。

Integrate：

假設(shè)我們有兩個(gè)物體a和b，分別在傳感器X和傳感器Z的視場(chǎng)FOV內(nèi)（a在X視場(chǎng)內(nèi)，b在Z視場(chǎng)內(nèi)）。也就是說(shuō)，Z無(wú)法直接檢測(cè)到a，X也無(wú)法直接檢測(cè)到b。目前，想要實(shí)現(xiàn)的效果是，能否將X和Z的報(bào)告整合在一起，讓它們?cè)诟髯缘囊晥?chǎng)內(nèi)探測(cè)物體同時(shí)，判斷是否為X視場(chǎng)中的物體正在向Z視場(chǎng)移動(dòng)，預(yù)先提醒Z將有物體進(jìn)入探測(cè)區(qū)域。