滑鐵盧大學(xué)Cogdrive實(shí)驗(yàn)室和重慶大學(xué)先進(jìn)制造與信息技術(shù)實(shí)驗(yàn)室聯(lián)合建立了一個(gè)駕駛員情緒面部表情（DEFE）數(shù)據(jù)集，用于駕駛員自發(fā)情緒分析。該數(shù)據(jù)集包括駕駛過程中60位參與者（43位男性）的面部表情記錄。該數(shù)據(jù)集可用于評(píng)估駕駛員面部表情識(shí)別的算法，DEFE數(shù)據(jù)集也為同時(shí)從不同的情緒模型研究情緒識(shí)別提供了可能。

背景

駕駛員情緒在駕駛中起著重要作用，因?yàn)樗鼤?huì)影響駕駛安全性和舒適性。在全球每年發(fā)生的20－50百萬例非致命傷害和124萬例致命道路交通事故中，駕駛員無力控制情緒已被視為安全的關(guān)鍵因素之一。智能汽車的快速發(fā)展也要求在駕駛員與自動(dòng)化交互與協(xié)作的集成方面出現(xiàn)新的需求，從而進(jìn)一步提升駕駛舒適性，其中駕駛員情緒是關(guān)鍵狀態(tài)之一。因此識(shí)別駕駛員情緒對(duì)于提升來智能汽車的安全性和舒適性至關(guān)重要。

面部表情對(duì)駕駛員來說是表達(dá)情感的有力渠道�；�于面部表情的情緒識(shí)別的最新進(jìn)展促使人們創(chuàng)建了多個(gè)面部表情數(shù)據(jù)集。公開可用的數(shù)據(jù)集是加速面部表情研究的基礎(chǔ)，如表1所示，我們總結(jié)了到目前為止所有包含面部表情的數(shù)據(jù)集，這些數(shù)據(jù)集已被用于面部表情來情緒識(shí)別，并獲得了不同程度的成功。這些數(shù)據(jù)集的共同特征之一是在靜態(tài)等場景下采集參加者的面部表情數(shù)據(jù)。

盡管靜態(tài)場景下采集到的面部表情數(shù)據(jù)可以研究通過面部表情識(shí)別情緒狀態(tài)，但是它將所提出的算法的應(yīng)用局限到了靜態(tài)生活場景下。結(jié)果，如果將此類算法應(yīng)用到動(dòng)態(tài)的駕駛場景下，可能無法得到可靠的識(shí)別效果。相對(duì)地，駕駛汽車是是一個(gè)復(fù)雜的認(rèn)知過程，需要駕駛員動(dòng)態(tài)地對(duì)視覺提示，危害評(píng)估，決策，戰(zhàn)略規(guī)劃等同時(shí)做出反應(yīng)，從而占用駕駛員大量的認(rèn)知資源，而認(rèn)知過程對(duì)引起情緒反應(yīng)來說是必須的，顯然，駕駛會(huì)影響駕駛員的情緒表達(dá)，這種情緒表達(dá)和生活場景中相比是有差異的。

表1． 基于面部表情的情緒識(shí)別公開數(shù)據(jù)集小結(jié)

DEFE數(shù)據(jù)集

為了解決現(xiàn)有駕駛員情緒分析數(shù)據(jù)集的局限性，我們建立了一個(gè)駕駛員情緒面部表情數(shù)據(jù)集（DEFE），以研究基于面部視覺數(shù)據(jù)的駕駛員情緒識(shí)別。在表2中，我們描述了收集駕駛員真實(shí)面部表達(dá)的實(shí)驗(yàn)細(xì)節(jié)，以及數(shù)據(jù)集中的情感標(biāo)簽。DEFE數(shù)據(jù)集共有60位參加者（43位男性），每位參加者在觀看完經(jīng)選擇的刺激材料后，在相同的駕駛場景下完成駕駛?cè)蝿?wù)，并分別從維度情緒和離散情緒兩方面評(píng)價(jià)了他們在這一駕駛過程中的情緒反應(yīng)，這些度量包括喚醒，效價(jià)和掌控力以及情感類別和強(qiáng)度，實(shí)驗(yàn)數(shù)據(jù)采集及駕駛場景如圖1所示。

表2． DEFE數(shù)據(jù)集小結(jié)

圖1． DEFE實(shí)驗(yàn)數(shù)據(jù)集實(shí)驗(yàn)采集及駕駛場景

我們還比較了使用DEFE數(shù)據(jù)集進(jìn)行駕駛員情緒識(shí)別的結(jié)果。DEFE數(shù)據(jù)集可以分別從維度情緒（喚醒，效價(jià)和掌控力）和離散情緒（情感類別和強(qiáng)度）兩方面對(duì)駕駛員情緒進(jìn)行識(shí)別，以準(zhǔn)確度和F1分?jǐn)?shù)建立了數(shù)據(jù)集的基線結(jié)果。除了DEFE數(shù)據(jù)集的情緒識(shí)別外，我們還選擇了DEAP和CK＋數(shù)據(jù)集作為靜態(tài)生活場景下的比較數(shù)據(jù)集，比較結(jié)果如表3所示（DEAP數(shù)據(jù)集因?yàn)椴杉�過程中面部存在隨機(jī)電極片遮擋，可能是造成識(shí)別結(jié)果較低的主要原因）。

表3．DEFE數(shù)據(jù)集情緒識(shí)別結(jié)果

圖2顯示了DEFE數(shù)據(jù)集的樣例圖片。我們觀察到面部表達(dá)隨情感的種類而變化，但是在駕駛中這種變化是特別微弱的。例如，消極情緒（憤怒）和中性狀態(tài)的差異非常小。在大多數(shù)視頻剪輯中我們很難觀察到峰值表情，這種現(xiàn)象很可能是因?yàn)榍榫w的面部表達(dá)受到了駕駛?cè)蝿?wù)的影響。

圖2． DEFE數(shù)據(jù)集中3種情緒類別的樣例圖像：第一行憤怒，第二行快樂和第三行中性。

動(dòng)態(tài)駕駛場景和靜態(tài)生活場景下面部表情的差異

進(jìn)一步的，我們基于DEFE和JAFFE數(shù)據(jù)集對(duì)動(dòng)態(tài)駕駛和靜態(tài)生活條件之間的面部表情進(jìn)行了差異分析。圖3顯示了在面部動(dòng)作編碼系統(tǒng)（FACS）中憤怒和開心的動(dòng)作單元（AU）編碼以及描述。通過比較兩個(gè)數(shù)據(jù)集中不同情緒的動(dòng)作單元出現(xiàn)（AU presence），如表4所示，我們發(fā)現(xiàn)兩種場景下AU presence存在顯著差異。

圖3． FACS可用于描述成人的面部表情。（a）和（b）分別顯示常見的FACS憤怒和快樂編碼，（c）呈現(xiàn)AU的憤怒和快樂的內(nèi)容描述

表4．動(dòng)態(tài)駕駛和靜態(tài)生活場景下的AU presence差異分析

對(duì)于邏輯回歸結(jié)果，動(dòng)態(tài)駕駛和靜態(tài)生活場景下也有顯著性差異。對(duì)于憤怒情緒，動(dòng)態(tài)駕駛場景下的邏輯回歸結(jié)果顯示只有AU4和憤怒情緒相關(guān)且顯著，而在靜態(tài)生活場景下AU4，AU5和AU23都和憤怒情緒相顯著相關(guān)。對(duì)于開心情緒，動(dòng)態(tài)駕駛場景下的回歸結(jié)果顯示沒有任何AU和開心顯著相關(guān)，但是在靜態(tài)生活場景下的結(jié)果顯示AU12和開心情緒顯著相關(guān)。

表5．動(dòng)態(tài)駕駛和靜態(tài)生活場景下的AU presence回歸分析

以上結(jié)果表明駕駛場景中的人類面部情感表達(dá)與其他生活場景不同。這可能是由于駕駛員需要在駕駛過程中保持專注，這降低了面部肌肉運(yùn)動(dòng)的頻率和幅度。關(guān)于這些結(jié)果的解釋性研究可能需要進(jìn)一步探索。