為了有效阻止新冠病毒的傳播和感染，近兩個多月來世界各國人民都帶上了口罩。雖然口罩能夠幫助我們抵御病毒 ，但先前已經(jīng)廣泛使用的人臉識別系統(tǒng)卻無法正常工作了，包括乘坐交通工具認(rèn)證、門禁、打卡、手機(jī)解鎖和付款等功能都無法正常進(jìn)行。因此研發(fā)出佩戴口罩的人臉識別系統(tǒng)對于復(fù)工復(fù)產(chǎn)和正常的社會經(jīng)濟(jì)活動具有十分重要的作用。

目前絕大多數(shù)的人臉識別系統(tǒng)都需要大規(guī)模的數(shù)據(jù)來訓(xùn)練深度學(xué)習(xí)。雖然很多公司提出了自己的口罩人臉識別方案，但目前卻還沒有開源的人臉佩戴口罩公開數(shù)據(jù)集。

為了有效助力疫情防控中的人臉識別，促進(jìn)復(fù)工復(fù)產(chǎn)的順利進(jìn)行，來自武漢大學(xué)的研究人員提出了三種佩戴口罩的人臉數(shù)據(jù)集，包括1、口罩佩戴檢測人臉數(shù)據(jù)集（Masked Face Detection Dataset，MFDD）2、真實(shí)世界的口罩佩戴人臉識別數(shù)據(jù)集（Real－world Masked Face Recognition Dataset， RMFRD）3、模擬口罩佩戴人臉識別數(shù)據(jù)（Simulated Masked Face Recognition Dataset， SMFRD）

其中RMFRD是目前世界上最大的公開人臉口罩佩戴數(shù)據(jù)集，可以廣泛用于人臉識別、口罩佩戴檢測和多種識別任務(wù)中。實(shí)驗(yàn)表明，這一數(shù)據(jù)和對應(yīng)方法可以實(shí)現(xiàn)95％的佩戴口罩人臉識別準(zhǔn)確率。

口罩抗疫，技術(shù)護(hù)航

我們周圍的每個人幾乎都在這次疫情中帶起了口罩保護(hù)自己，為抗疫作出自己的貢獻(xiàn)。然而在過去一段時間，人臉識別這一計(jì)算機(jī)視覺最為重要的應(yīng)用在諸多場合失效了，除了日常生活不便外、在公共場所人臉識別的失效將會帶來較大的安全風(fēng)險。同時在疫情期間，非接觸式的人臉識別與授權(quán)驗(yàn)證的優(yōu)勢也顯現(xiàn)了出來，比人臉識別認(rèn)證比指紋識別或輸入密碼更加安全。

人臉識別技術(shù)基本上依賴于面部關(guān)鍵點(diǎn)和特征的檢測，絕大部分都是利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)。在佩戴口罩的情況下只能漏出眉眼和額頭，需要對算法進(jìn)行重新訓(xùn)練，更重要的是需要龐大的佩戴口罩人臉數(shù)據(jù)對模型進(jìn)行訓(xùn)練。目前需求最大的任務(wù)要數(shù)口罩佩戴檢測和佩戴口罩人臉識別兩個應(yīng)用了。

目前進(jìn)入公共場所都需要佩戴口罩，利用視覺檢測進(jìn)入場所的個人是否佩戴口罩對于疫情防控十分必要！而佩戴口罩者人臉身份識別則對于各類需要人臉識別認(rèn)證、授權(quán)和支付的場合至關(guān)重要。這兩類任務(wù)需要不同的數(shù)據(jù)集進(jìn)行訓(xùn)練，前者只需要佩戴口罩的人臉樣本而后者則需要同一主體佩戴口罩和正常狀況下的多張照片，構(gòu)建的難度更大。針對用途的不同，研究人員分類構(gòu)建了口罩佩戴檢測數(shù)據(jù)集MFDD，真實(shí)口罩人臉識別數(shù)據(jù)集RMFRD和模擬人臉口罩?jǐn)?shù)據(jù)集SMFRD。

三種數(shù)據(jù)集，了解一下！

MFDD的數(shù)據(jù)主要來源于兩部分：其中一部分?jǐn)?shù)據(jù)來自于aizoo．com先前的研究，而另一部分則從互聯(lián)網(wǎng)上爬取，并對其進(jìn)行了口罩佩戴和位置標(biāo)注，最終構(gòu)建了包含2771張口罩佩戴圖片。MFDD數(shù)據(jù)可用于訓(xùn)練精確的佩戴口罩的人臉檢測模型，同時可以作為口罩人臉識別的預(yù)處理工具。此外還可用于判斷圖像中的個人是否按照規(guī)定佩戴口罩。

RMFRD則使用爬蟲爬取公眾人物的正面照和對應(yīng)的口罩人臉照，并利用人工去除一系列不符合要求的人臉圖像。隨后利用LabelMe剪切了人物的頭部從而得到了包含525個人的90000張頭像。這是目前最大的公開人臉佩戴口罩?jǐn)?shù)據(jù)集，下圖顯示了一些數(shù)據(jù)樣本：

為了擴(kuò)充數(shù)據(jù)的多樣性，研究人員同時制作了合成數(shù)據(jù)集SMFRD，利用Dlib將口罩合成到現(xiàn)有的大規(guī)模人臉數(shù)據(jù)集上（包括LFW和Webface數(shù)據(jù)集），通過這樣的方法研究人員構(gòu)建了包含一萬個人的五十萬張合成口罩佩戴圖像。下圖顯示了一系列合成的口罩佩戴圖像。

口罩佩戴人臉識別

人臉識別基本分為兩種場景：受控和非受控環(huán)境。
其中非受控環(huán)境主要是公共監(jiān)控下，人臉的距離、光照、位姿、遮擋等帶來的不確定性，這種場景下的識別精度較低，再加上口罩后會使得精度進(jìn)一步下降。

而受控場景主要包括公司門禁、打卡、火車站人臉查驗(yàn)和手機(jī)解鎖等場景，這些場景具有高質(zhì)量的正面照使得佩戴口罩識別的難度有所下降。即使口罩遮擋了部分面部，上半部分的眉眼額等特征也可以被用于人臉識別。

在本研究中提出的人臉識別技術(shù)兼顧了兩方面的因素，一方面是構(gòu)建數(shù)據(jù)集，另一面則充分利用未被遮擋部分的人臉特征。研究人員充分利用了現(xiàn)有公開人臉數(shù)據(jù)集，并結(jié)合上文中提出的數(shù)據(jù)集來訓(xùn)練面部－眉眼多粒度口罩人臉識別模型。研究人員對人臉輪廓、眼部、眼周圍、前額等面部可見區(qū)域的關(guān)鍵特征使用了不同的注意力權(quán)重，有效地解決了面部可識別特征的不平衡分布問題。在這些方法的提升下，研究人員最終將模型的識別精度從50％提升到了95％。

應(yīng)用與展望

也許是疫情來勢兇猛，只有少數(shù)機(jī)構(gòu)實(shí)現(xiàn)了人臉口罩佩戴情況下的準(zhǔn)確識別。據(jù)作者了解，商湯目前在50％鼻子暴露的情況下達(dá)到了85％的準(zhǔn)確率，漢王科技也達(dá)到了85％的識別精度，小視科技則報道了90％的識別精度。而本文提出的面部－眉眼多粒度口罩人臉識別模型則達(dá)到了95％的識別精度，但與常規(guī)情況下達(dá)到99％的人臉識別相比還不是太可靠。
而在另一識別主體是否佩戴口罩的任務(wù)中，騰訊、百度和京東等公司都達(dá)到了超過99％的精度。本文提出的數(shù)據(jù)集和算法將有效提升口罩佩戴檢測和佩戴口罩人臉識別的精度，為基于人臉的授權(quán)、驗(yàn)證等場景應(yīng)用提供較好的解決方案，為疫情期間甚至冬季霧霾期間佩戴口罩情況下的各類人臉識別場景作出貢獻(xiàn)。

山川異域，風(fēng)月同天；共同戰(zhàn)疫，全球加油!