本文為將門技術(shù)社群第227期talk直播的文字內(nèi)容整理分享嘉賓：曠視南京研究院研究員 趙冰辰

眾所周知，參加頂會(huì)競(jìng)賽是當(dāng)今AI研究人員鍛煉自身、驗(yàn)證已有學(xué)術(shù)成果的一大舞臺(tái)。從2017年到現(xiàn)在，曠視研究院在全球頂會(huì)累計(jì)榮獲28項(xiàng)世界冠軍，好奇的同學(xué)們肯定想知道其中的經(jīng)驗(yàn)與技巧。
為此我們很榮幸邀請(qǐng)到曠視南京研究院研究員—趙冰辰，與大家分享其團(tuán)隊(duì)在 CVPR 2020 iWildCam 項(xiàng)目奪冠的經(jīng)歷，同時(shí)也介紹了他們?cè)诒敬伪荣愔嗅槍?duì) Camera Trap 數(shù)據(jù)的特點(diǎn)設(shè)計(jì)的方法及冠軍方案。

值得一提的是，雖然曠視南京研究院在整個(gè)參賽過程中持續(xù)領(lǐng)先，但就在最終截止日期前5天，F(xiàn)acebook突然大比分反超。經(jīng)過對(duì)現(xiàn)有模型的快速分析，團(tuán)隊(duì)通過序列和日期信息大幅提升了模型性能近10個(gè)點(diǎn)，在48小時(shí)內(nèi)重新登頂，并奪得iWildCam的全球冠軍。

本文回顧了此次比賽的基本背景、團(tuán)隊(duì)方案，并介紹了團(tuán)隊(duì)總結(jié)的參賽經(jīng)驗(yàn)，希望能為同學(xué)們帶來(lái)啟發(fā)。

背景

iWildCam競(jìng)賽隸屬于 CVPR 2020 FGVC workshop， 其目的是利用部署在野外無(wú)人操縱的 Camera Trap 來(lái)識(shí)別野生動(dòng)物，從而輔助對(duì)野生動(dòng)物的研究與保護(hù)。該比賽的難點(diǎn)在于，由于 Camera Trap 的拍攝機(jī)制是通過熱感或運(yùn)動(dòng)來(lái)觸發(fā)相機(jī)，因此成像效果與ImageNet或者是iNaturalist中的圖像有很大區(qū)別。

一個(gè)典型的camera trap設(shè)備 例如下圖，每張圖片中都存在動(dòng)物，但是由于 camera trap 無(wú)人操縱的特性，獲取的畫面會(huì)受到光照、模糊、小ROI、遮擋、奇異視角、或者動(dòng)物本身保護(hù)色等諸多因素的干擾。 可以發(fā)現(xiàn)，定位到這些動(dòng)物并且給出正確分類，即使對(duì)人類來(lái)說也比較困難。

Camera Trap數(shù)據(jù)的另外一個(gè)特點(diǎn)在于畫面背景。由于camera trap固定在某個(gè)區(qū)域進(jìn)行拍攝，因此由特定camera trap所采集到的圖片背景相似度極高。如下圖，Camera－1和Camera－2分別對(duì)應(yīng)部署在兩個(gè)位置的camera trap，可以發(fā)現(xiàn)同一個(gè)camera拍到的圖片背景基本一致。而相應(yīng)的，不同camera獲取的背景差異顯著。

因此，這對(duì)分類模型的泛化性提出了極高的要求。iWildCam數(shù)據(jù)集總共包括263個(gè)類別，28萬(wàn)張圖片，其中訓(xùn)練集441個(gè)camera trap，測(cè)試集111個(gè)camera trap。主辦方將全部552個(gè)位置的camera trap分成為train set 441個(gè)，和test set 111個(gè)，這也就是說測(cè)試集圖片全部來(lái)自訓(xùn)練集之外的camera trap 。 另外，類別數(shù)據(jù)的長(zhǎng)尾分布也是必須考慮的問題。 因此可以總結(jié)，在Camera Trap場(chǎng)景下，主要存在三個(gè)問題： Camera Trap無(wú)人操作導(dǎo)致的圖像模糊，遮擋等問題。來(lái)自訓(xùn)練與測(cè)試集不同背景所導(dǎo)致的泛化問題。野生動(dòng)物分布帶來(lái)的長(zhǎng)尾問題。  針對(duì)上述問題，曠視南京研究院在此次參賽中進(jìn)行了逐項(xiàng)攻克。  挑戰(zhàn)一：ROI尺寸過小 如前所述，iWildCam的第一個(gè)挑戰(zhàn)來(lái)自于camera trap所捕獲的畫面，即動(dòng)物圖片經(jīng)常存在過小或者被遮擋等問題。 因此比賽主辦方提供了Mega Detector（一個(gè)微軟提供的Camera Trap動(dòng)物檢測(cè)器，輸出類別只有animal和background）。 因此，曠視南京研究院用Mega Detector來(lái)提取圖像的ROI區(qū)域，從輔助進(jìn)一步的分類工作。