前言:

本文針對anchor-free模型用于行人搜索中會出現(xiàn)三個不對齊問題:Scale misalignment,Region misalignment,Task misalignment提出了相應(yīng)的解決方案,進一步提出了一個更簡單更有效的anchor-free模型--AlignPS。

更多內(nèi)容請關(guān)注公眾號CV技術(shù)指南,專注于計算機視覺的技術(shù)總結(jié),最新技術(shù)跟蹤。

Introduction

行人重識別的方法分為兩個類別,一類是基于two-step的方法,如圖a所示,先使用現(xiàn)成的模型進行行人檢測,將其裁剪出來,再放進re-id網(wǎng)絡(luò)識別。這種方法可以獲得比較好的效果,但對時間和資源消耗比較大。第二類是基于one-step的方法,如圖b所示,使用一種端到端的方式檢測并識別。

如圖b所示,這種一步到位的方式在檢測出行人后,將檢測框內(nèi)的feature通過ROI Align得到相同大小feature maps, 再進行回歸,分類,re-id損失值的計算。這種方式類似于目標檢測的two-stages的方法,我們稱之為one-step two-stage模型。

這種one-step two-stage模型不可避免的與目標檢測的two-stages模型一樣,也有一些內(nèi)在缺陷,例如密集anchors帶來的高計算量,對大小、比例和anchor數(shù)量這些超參數(shù)的高敏感性。

最近幾年,基于anchor-free的模型展現(xiàn)了獨有的優(yōu)點,即更簡單的結(jié)構(gòu)和更快的速度�；�于這一點,作者提出要在Re-ID中構(gòu)建一個anchor free模型。

但這會存在以下三個不對齊的問題:

1) 許多anchor-free模型通過FPN的方式學習多尺度特征以實現(xiàn)目標檢測的尺度不變性。但在Re-ID上會存在尺度不對齊的問題,這是因為在gallery set中會存在各種尺度的人。

2) 沒有了ROI-Align操作,anchor-free模型無法根據(jù)指定區(qū)域?qū)�re-id和檢測聯(lián)系起來。因此,必須直接從特征圖中學習re-id embedding,而無需顯式的區(qū)域?qū)�齊。

3) 行人搜索可以直觀地認為是一個把檢測和Re-ID作為自認為的多任務(wù)學習框架,因此需要找到這兩個任務(wù)的平衡。

在這篇論文中提出了第一個用于行人搜索的anchor-free模型,稱之為Feature Aligned Person Search Network (AlignPS),AlignPS遵循Re-ID優(yōu)先的原則提出了aligned feature aggregation (AFA) module,用于處理上面這三個問題。

AFA通過可變形卷積重塑了FPN的一些構(gòu)造塊,通過特征融合解決了在Re-ID特征學習中區(qū)域和尺度不對齊的問題。同時優(yōu)化了Re-ID和檢測在訓練過程中的步驟,更注重生成更魯棒的Re-ID embeddings。這些簡單有效的設(shè)計成功的將一個經(jīng)典的anchor-free模型變成了一個很強很有效率的行人搜索框架,超過了anchor-based模型。

Feature Aligned Person Search Network

AlignPS的基礎(chǔ)框架是FCOS,FCOS是目標檢測中最常用的one-stage anchor-free框架之一。

前面提到,AlignPS是基于Re-ID優(yōu)先的原則,為了學習Re-ID embedding,直接使用AFA輸出的feature maps進行flatten,沒有使用額外的embedding layers。

對于檢測,使用了FCOS中的檢測頭。檢測頭分成兩個分支,兩條分支都由四個3x3卷積層組成,第一個分支預(yù)測回歸偏移和中心得分,第二個對前景背景進行分類。最后,AFA輸出feature maps的每個位置都會與一個含有分類、中心得分以及Re-ID embedding的Bounding boxes聯(lián)系起來。

Aligned Feature Aggregation

Scale Alignment--FCOS采用在不同層檢測不同大小的目標,對于一些重疊的有歧義的目標很有可能會分到不同的層,因此可以很好的提升檢測效果。然而這對于Re-ID來說這并不好,因為Re-ID需要與gallery set進行比較,在不同的尺度下檢測將會出現(xiàn)尺度不對齊的問題。

本文的解決辦法是只使用P3層的信息,這樣就不存在尺度不對齊的問題,注意,可以這樣做的原因是P3層基本融合了全部的語義信息。在上一篇論文分享《YOLOF: 特征金字塔的新方式》中提到,特征金字塔的最頂層基本融合了全部語義信息,進行多尺度融合對精度提升影響不大。

Region Alignment--前面提到?jīng)]有ROI-Align操作會出現(xiàn)Region misalignment問題,AlignPS從三個方面處理這個問題。

第一,使用3x3可變形卷積來代替FPN中鄰側(cè)連接過程中的1x1卷積。3x3可變形卷積可以使網(wǎng)絡(luò)自適應(yīng)input feature maps的感受野,很好地完成Region Alignment。

第二,使用concatenation代替自頂向下路徑中的求和操作,這可以整合多尺度特征。

第三,再次使用3x3可變形卷積代替FPN輸出層的3x3卷積。這可以對其多尺度特征從而生成更精確的feature map。

Task Alignment--提出Re-ID優(yōu)先是基于以下兩點考慮。

第一,因為現(xiàn)有的一些檢測框架有比較強的效果,以至于檢測任務(wù)相比Re-ID更好處理,因此學習判別Re-ID embedding是首要關(guān)注的問題。經(jīng)過作者們討論,在anchor-free框架中,Re-ID的performance對Region misalignment更敏感。因此,傾向于Re-ID對于行人搜索是比較理想的。

第二,對比于檢測優(yōu)先和兩者并重的結(jié)構(gòu),Re-ID優(yōu)先的結(jié)構(gòu)不需要額外的層去生成Re-ID embedding,從而更有效率。

Triplet-Aided Online Instance Matching Loss

目前典型的行人搜索方法大多采用Online Instance Matching(OIM)損失來監(jiān)督ReID任務(wù)的訓練過程。

具體而言,OIM將所有帶標簽個體的特征中心存儲在一個查找表(Lookup Table,簡稱LUT)中,其中L代表特征個數(shù)、D代表特征維度。同時,維護一個循環(huán)隊列(Circular Queue),其包含了Q個無標簽個體的特征。在每次迭代過程中,給定標簽為i的輸入特征x,OIM分別將x與查找表和循環(huán)隊列中的所有特征計算相似度,這樣可得到x屬于標簽i的概率pi。

本文發(fā)現(xiàn),盡管OIM能夠有效地利用帶標簽和無標簽樣本,但還是具有下面兩個局限性:1)相似度計算只局限在輸入特征與查找表或循環(huán)隊列之間,輸入特征之間并沒有任何相似度計算操作。2)對數(shù)似然損失并沒有給出特征對之間的明確距離度量。

為此,提出了一種三元組損失(Triplet Loss)來進一步增強OIM損失。對于輸入圖像中的每個行人,首先采用中心采樣(Center Sampling)策略對特征進行采樣。這樣,每個人中心附近的特征被認為是正樣本,這里目標是拉近同一個人采樣到的不同特征,將不同人的特征盡量分開。

與此同時,帶標簽個體采樣到的不同特征也應(yīng)與查找表中相應(yīng)的個體中心特征相接近,與查找表中不同個體的中心特征相遠離。虛線框中展示的就是根據(jù)上述策略構(gòu)建得到的三元組。

其中M代表正負樣本間的邊界大小,Dpos和Dneg分別代表正、負樣本對之間的歐氏距離。最后,本文所提出的TOIM損失即為OIM和三元組損失函數(shù)的簡單疊加。

Conclusion

AlignPS在CUHK-SYSU上比baseline anchor-free模型提高了20%的mAP。且以更快的速度超過了two-stages 的SOTA。

更多內(nèi)容請關(guān)注公眾號CV技術(shù)指南,專注于計算機視覺的技術(shù)總結(jié),最新技術(shù)跟蹤。