文章詳情

在自動駕駛汽車成為常態(tài)之前，人類和機器人將不得不共享道路。在這種共享的場景中，車輛之間的通信對于向其他車輛發(fā)出緊急或危險的演習警報至關(guān)重要。因此，對人類意圖的社會理解對自我驅(qū)動的進步至關(guān)重要。這給自動駕駛系統(tǒng)帶來了額外的復雜性，因為這種交互通常很難學習模仿。司機們相互交流意圖，以便做出臨時決策的動作，以便在更早的時候發(fā)出警告，而不是通過運動來推斷。雖然駕駛員的動作傳達了意圖，例如，當駕駛員減速以表示其他車輛可以并道，或接近車道邊界以表示所需的合并位置時，駕駛員的動作提示是微妙的、全動作相關(guān)的、并且是短期瞬時的。相比之下，視覺信號，尤其是信號燈，是清晰的，可以提前很長時間發(fā)出警告，這種警告表示可能出現(xiàn)的意外動作。

例如，如果沒有檢測到轉(zhuǎn)彎信號，一輛停著的汽車在駛?cè)胗�面而來的車流時，同樣有可能保持停著不動。類似地，當司機計劃在另一輛車前面停車時，他們通常會提前發(fā)出安全信號。公共汽車在停車接送乘客時也會發(fā)出閃光信號，允許從后面駛來的車輛改變車道，從而減少了延誤和擁堵。當司機了解其他交通參與者的意圖，這些日常行為是安全的；但如果忽視視覺信號是危險的。因此，人類希望自動駕駛汽車做出反應，通過視覺信號預測駕駛員意圖的問題，并特別關(guān)注于解釋信號燈。

圖2 來自1，257，591個標記幀的數(shù)據(jù)集的挑戰(zhàn)性場景。

研究人員在一個全新的、具有挑戰(zhàn)性的真實數(shù)據(jù)集上展示了他們的方法的有效性，該數(shù)據(jù)集包含來自他們實驗室的自動駕駛平臺的34小時視頻。該數(shù)據(jù)集包括在真實的（黑夜白天）城市駕駛場景中發(fā)現(xiàn)的不利條件，包括擁堵、遠距離和不常見的車輛、惡劣天氣等各種場景（參見圖2）。

圖3 在這項工作中，研究人員建議使用一個卷積循環(huán)架構(gòu)來分類車輛的轉(zhuǎn)彎信號狀態(tài)。對于每個輸入幀，使用全卷積網(wǎng)絡預測掩碼（a），然后使用原始輸入圖像獲取element－wise，并使用基于vgg16的CNN提取空間特征（b），然后合并使用卷積LSTM時序特性（c），從最終隱藏狀態(tài)出發(fā)，預測了車輛轉(zhuǎn)彎信號狀態(tài)和視場面的概率分布（d）。

該模型的建立是為了解決三個問題：attention意圖，識別行為人的信號燈； understanding語義理解，識別遮擋和觀察行動者的方向； temporal reasoning時間推理，以區(qū)別閃爍燈和持久燈。針對這些問題研究人員設計了一個深度學習體系結(jié)構(gòu)。請參考圖3以獲得詳細說明。輸入幀首先由應用空間掩碼的attention模塊進行處理，然后使用深度卷積網(wǎng)絡恢復空間概念。然后，將每幀的信息輸入卷積LSTM，將轉(zhuǎn)彎信號和緊急閃光的時間模式與其他內(nèi)容區(qū)分開來。生成的時空特征被傳遞到完全連接的層中進行分類。

研究人員使用多任務丟失來訓練模型。具體來說，在任務上定義了加權(quán)交叉熵損失。給定模型輸入x，地面真值標簽y，模型權(quán)值θ，任務權(quán)值γ，網(wǎng)絡函數(shù)σ，損失函數(shù)為：

其中每個任務損失使用交叉熵定義為：

由于沒有用于轉(zhuǎn)彎信號分類的公共數(shù)據(jù)集，研究人員在自主駕駛平臺上記錄了超過10000條10赫茲下的車輛軌跡，并將其標記為轉(zhuǎn)彎信號狀態(tài)，總共標記了1，257，591幀。每一幀都被標記為左轉(zhuǎn)彎和右轉(zhuǎn)彎燈的ON打開，OFF關(guān)閉或UNKNOWN未知。注意，標簽標識了每盞燈的概念狀態(tài)，ON表示即使燈泡沒有被點亮，信號也是活動的。這些較低層次的標簽被用來推斷高層次的動作意圖：左轉(zhuǎn)、右轉(zhuǎn)、閃光、關(guān)閉和未知。圖4a顯示了標簽的數(shù)量，它證明了數(shù)據(jù)集中對OFF類有相當大的偏向。還顯示了距離上的分布（圖4c）和視點（圖4d）。