三、方法梗概

我們發(fā)現(xiàn)，雖然在訓練的前 3K iterations，mini－batch 過去的提取特征與當前模型偏差很大，但是，隨著訓練時間的延長，過去的迭代里所提取過的特征，逐漸展示為當前模型的一個有效近似。我們要做的不過是把這些特征給存下來，每個特征不過是 128 個 float 的數(shù)組，即便我們存下了過去 100 個 mini－batch 的特征，不過是6400個（假設(shè) batch size ＝ 64）float 數(shù)組，所需要不過是幾十 MB 的顯存。而它帶來的好處是顯而易見的，我們能夠組成的樣本對的個數(shù)是僅僅利用當前 mini－batch 的一百倍。即便這些特征不能高精準地反映當前模型的信息，但是只要特征偏移在合理的范圍內(nèi)，這種數(shù)量上帶來的好處，可以完全補足這種誤差帶來的副作用。 具體來看，我們的 XBM 的方法架構(gòu)大致如下：

偽代碼如下：

我們的 XBM 從結(jié)構(gòu)上非常簡單清晰。我們先訓練一個 epoch 左右，等待特征偏移變小。然后，我們使用 XBM：一個特征隊列去記憶過去 mini－batch 的特征，每次迭代都會把當前 mini－batch 提取出來的新鮮特征加入隊列，并把最舊的特征踢出隊列，從而保證 XBM 里的特征盡量是最新的。每次去構(gòu)建樣本隊列的時候，我們將當前 mini－batch 和 XBM 里的所有特征都進行配對比較，從而形成了巨量的樣本對。如果說 XBM 存儲了過去 100 個 mini－batch，那么其所產(chǎn)生的樣本對就是基于 mini－batch 方法的 100 倍。 不難發(fā)現(xiàn)，XBM 其實直接和過去基于樣本對的方法結(jié)合，只需要把原來的 mini－batch 內(nèi)的樣本對換成當前 mini－batch 和 XBM 的特征構(gòu)成的樣本對就可以了。所以，我們通過 XBM 這種存儲特征的機制，能夠讓不同時序的 mini－batch 的特征成功配對。

四、實 驗

消融實驗 ①

首先，我們在三個常用的檢索數(shù)據(jù)集，和三個基于樣本對的深度學習的方法上，使用 XBM 進行測試，同時控制其他的設(shè)置全部不變。我們發(fā)現(xiàn)，XBM 帶來的效果很明顯。尤其是在最基本的對比損失（Contrastive Loss）上，可以看到，本來這個方法只利用 mini－batch 內(nèi)的樣本時，其效果并不顯著，但是 XBM 帶來了顯著的效果提升。在三個數(shù)據(jù)集， Recall＠1 都至少提升 10 個點，尤其是 VehicleID 數(shù)據(jù)集的最大（Large）測試集，效果提升了 22 個點，從 70．0 到 92．5。

消融實驗 ②

關(guān)于 mini－batch 的大小對結(jié)果的影響， 從上圖可發(fā)現(xiàn)三點：1． 無論是否使用 XBM，mini－batch 越大，效果越好；2． XBM 方法即便是使用很小的 batch （16）， 也比沒有XBM 使用大的 batch （256） 效果好；3． 由于 XBM 本身可以提供正樣本對，所以可以不一定要用 PK sampler 來生成 mini－batch，而是可以直接使用原始的 shuffle sampler，效果相似。

五、計算資源消耗

下圖我們展示了在 SOP 上訓練 XBM 時的計算資源消耗，即便把整個訓練集（50K＋）的特征都加載到 XBM，不過需要 0．2GB 的顯存；而如果是使用增大 batch 的方法，會額外需要 15GB 顯存，是 XBM 的 80 倍，但是效果的提升比 XBM 差很多。畢竟 XBM 僅僅需要存特征，特征也是直過去的 mini－batch 的前向計算的結(jié)果，計算資源的需求很小。