Start MGN

1. 序言

現(xiàn)代基于感知的信息中，視覺信息占了80~85%?；谝曈X信息的處理和分析被應(yīng)用到諸如安防、電力、汽車等領(lǐng)域。

以安防市場(chǎng)為例，早在2017年，行業(yè)咨詢公司IHS Market，我國(guó)在公共和私人領(lǐng)域安裝有攝像頭約1.76億部，至2020年這一數(shù)值將激增至6.26億部。雖然這一數(shù)字值得考量，但網(wǎng)絡(luò)攝像頭、家用安防攝像頭以及各行業(yè)特定用途攝像頭安裝數(shù)量的逐年增長(zhǎng)是無(wú)需置疑的，且現(xiàn)存攝像頭安裝數(shù)量應(yīng)該是一個(gè)不小的量級(jí)。圍繞各種攝像頭，各公司、個(gè)人開發(fā)了各種各樣的智能分析算法，這其中就包括人臉識(shí)別、車牌識(shí)別以及我們本序列要講的ReID算法。

2. ReID概念

行人重識(shí)別（Person Re-identification也稱行人再識(shí)別，簡(jiǎn)稱為ReID，是利用計(jì)算機(jī)視覺技術(shù)，通過(guò)提取在匹配特征，依次判斷圖像或者視頻序列中是否存在特定行人的技術(shù)。簡(jiǎn)單點(diǎn)講，就是跨攝像頭、跨區(qū)域?qū)崿F(xiàn)行人的匹配。

ReID被廣泛的認(rèn)為是一個(gè)圖像檢索的子問題。給定一個(gè)圖像輸入點(diǎn)的視頻所檢索到的行人，在其他視頻采集點(diǎn)所采集的視頻中檢索出現(xiàn)過(guò)的人。從另一個(gè)角度講，ReID常被用來(lái)作為人臉檢測(cè)識(shí)別的補(bǔ)充。在一些無(wú)法獲得高質(zhì)量人臉圖像的場(chǎng)合，整體的人體外觀信息就被用來(lái)作為檢索的依據(jù)。

3. ReID應(yīng)用

(1) 行人檢測(cè)與搜索

以往的行人檢測(cè)與搜索側(cè)重于傳統(tǒng)的方法，即首先提取行人視覺特征，然后再進(jìn)行特征的匹配。近幾年來(lái)，行人重識(shí)別領(lǐng)域引入了深度學(xué)習(xí)的方法，即通過(guò)深度學(xué)習(xí)的方法提取視覺特征，然后進(jìn)行匹配。

近幾年來(lái)，ReID技術(shù)在行人檢測(cè)與搜索領(lǐng)域應(yīng)用非常廣泛。尤其在安防監(jiān)控、其他智能視頻監(jiān)控（如無(wú)人超市）、刑偵（追捕嫌疑人）、交管（追蹤車輛等）方面應(yīng)用尤其突出。

(2) MOT(多目標(biāo)跟蹤)

MOT全程多目標(biāo)跟蹤，顧名思義，是對(duì)多個(gè)目標(biāo)同時(shí)執(zhí)行跟蹤的一種技術(shù)。當(dāng)前MOT領(lǐng)域一種研究方向比較多，但主要的研究方向無(wú)非是JDE(協(xié)同檢測(cè)與Embedding特征提取)、SDE(分離式檢測(cè)與Embedding特征提取)和JDT(協(xié)同檢測(cè)與跟蹤)。其中JDE與SDE合稱TBD(Tracking by detection, 基于檢測(cè)的跟蹤技術(shù))。無(wú)論是JDE還是SDE ，均需要析出所有目標(biāo)特征，然后在不同幀之間進(jìn)行匹配(關(guān)聯(lián))。析出特征并進(jìn)行前后幀關(guān)聯(lián)的技術(shù)，實(shí)際上就利用了ReID的理論。

(3) 其他目標(biāo)檢測(cè)與搜索

前面講到，ReID一般譯作行人重識(shí)別，同理，在其他類型目標(biāo)上也同樣適用ReID技術(shù)(特征析出+匹配/關(guān)聯(lián))。如車輛跟蹤、無(wú)人機(jī)跟蹤等。

4. ReID算法分類

前述內(nèi)容大致帶大家諒解了一些關(guān)于ReID的知識(shí)，接下來(lái)我們一同歸納一下ReID的幾種方法。

(1) 表征方法

表征學(xué)習(xí)又稱表示學(xué)習(xí)，是利用機(jī)器學(xué)習(xí)獲取每個(gè)實(shí)體或關(guān)系的向量化表達(dá)，以便在構(gòu)建分類器或其他預(yù)測(cè)變量時(shí)更易提取有用信息的方法。如圖一為表征學(xué)習(xí)方法的一般圖例。

圖一 表征學(xué)習(xí)

概念有些繞，我們簡(jiǎn)單理解，表征學(xué)習(xí)包含以下幾個(gè)部分。

a. 首先是通過(guò)一個(gè)分類網(wǎng)絡(luò)，對(duì)目標(biāo)進(jìn)行分類(Softmax Loss)。由于ReID一般是對(duì)同一類目標(biāo)進(jìn)行重識(shí)別，因此這里的分類，更具體的，是一種類內(nèi)再分類的行為。不同于傳統(tǒng)的目標(biāo)檢測(cè)等網(wǎng)絡(luò)，我們?cè)俅颂帉?shí)際上是學(xué)習(xí)一種學(xué)習(xí)類內(nèi)特征、增大類內(nèi)特征的網(wǎng)絡(luò)。

b. 一般情況下，除了分類以外，還需要添加屬性判別分支(Attribute Loss)。這里的屬性包括性別、頭發(fā)、衣著等，增強(qiáng)對(duì)目標(biāo)的特征描述能力。

c. 孿生網(wǎng)絡(luò)。表征學(xué)習(xí)一般情況下，會(huì)同時(shí)訓(xùn)練兩個(gè)一模一樣的網(wǎng)絡(luò)，每個(gè)網(wǎng)絡(luò)除了執(zhí)行分類和屬性判別任務(wù)以外，網(wǎng)絡(luò)間還要執(zhí)行對(duì)比，獲得對(duì)比損失(Contrastive Loss)。

(2) 度量方法

度量學(xué)習(xí)不同于前述的表征學(xué)習(xí)，度量學(xué)習(xí)旨在學(xué)習(xí)兩幅圖像的相似度。度量學(xué)習(xí)的依據(jù)是同一行人的不同圖片的相似度大于不通行人的不同圖片，同理，前者的Loss需要小于后者的Loss。

圖二 度量學(xué)習(xí)

在訓(xùn)練過(guò)程中，網(wǎng)絡(luò)輸入為兩張圖片（Anchor和Positive、Anchor和Negative）或三張圖片(Anchor、Positive、Negative)，前者計(jì)算析出特征向量的歐氏距離(或其他特征向量損失)，后者一般使用Triplet損失。

(3) 局部方法

局部特征是相對(duì)于整體特征而言的。在一些訓(xùn)練網(wǎng)絡(luò)中，會(huì)提取某一行人的全局特征，用來(lái)計(jì)算Loss?；诰植刻卣鞯膶W(xué)習(xí)方法大致分為三種思路，分別是基于局部調(diào)整的方法、基于特征點(diǎn)檢測(cè)的方法和基于局部導(dǎo)入判別的方法(PCB)。如圖三為基礎(chǔ)的局部特征方法。

圖三 局部特征ReID網(wǎng)絡(luò)

a. 基于局部調(diào)整的方法

該方法是將行人劃分為幾個(gè)等分不分，同時(shí)輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。

b. 基于特征點(diǎn)檢測(cè)的方法

基于特征點(diǎn)檢測(cè)的方法又叫基于姿態(tài)估計(jì)的局部調(diào)整方法。即首先通過(guò)特征點(diǎn)估計(jì)方法檢測(cè)出特征點(diǎn)，然后根據(jù)已知知識(shí)進(jìn)行學(xué)習(xí)，如頭部與頭部比較，手部與手部比較。

c. 基于局部導(dǎo)入的方法(PCB)

該方法類似于基于局部調(diào)整的方法，不同的是，前者是同時(shí)輸入網(wǎng)絡(luò)，后者是以此導(dǎo)入網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。

(4) 多粒度

多粒度學(xué)習(xí)方法類似于局部方法，不同的是，多粒度是將全局特征以及不同粒度的局部信息同時(shí)學(xué)習(xí)，最后整合到一起，以此來(lái)學(xué)習(xí)一個(gè)能夠提取豐富信息和細(xì)節(jié)的網(wǎng)絡(luò)。

5. MGN

MGN網(wǎng)絡(luò)(多粒度網(wǎng)絡(luò))在云從科技的論文“Learning Discriminative Features with Multiple Granularities”中被提出。其核心思想是，不僅提取整張圖像的特征，同時(shí)還將圖像劃分為不同粒度進(jìn)行特征的提取，最后將完整圖像的特征與不同粒度圖像特征進(jìn)行融合。

MGN網(wǎng)絡(luò)的Backbone采用了ResNet50，但從res_conv4_1之后產(chǎn)生不同粒度的的學(xué)習(xí)分支。

MGN網(wǎng)絡(luò)的Loss采用了交叉熵?fù)p失(CE)和Triplet損失。

接下來(lái)我們將從Backbone、數(shù)據(jù)預(yù)處理、Loss計(jì)算等角度做詳細(xì)解讀。

參考：

(1) 行人重識(shí)別(Person re-identification)概述 - 知乎

(2) https://www.lmlphp.com/user/70900/article/item/2612478/&wd=&eqid=c976327300010b9000000005645894a3

(3) https://blog.csdn.net/qq_39388410/article/details/108173767

(4) https://blog.csdn.net/wq3095435422/article/details/123697940 各種損失

(5) https://blog.51cto.com/u_15316394/3217922