在本文中，作者根據(jù)現(xiàn)有先進(jìn)方法中各種特征尺度之間缺少的組合連接的問題，提出了一種新的邊緣GPU友好模塊，用于多尺度特征交互。此外，作者提出了一種新的遷移學(xué)習(xí)backbone采用的靈感是來自不同任務(wù)的轉(zhuǎn)換信息流的變化，旨在補(bǔ)充特征交互模塊，并提高準(zhǔn)確性和推理速度的各種邊緣GPU設(shè)備上的可用性。

目錄

1簡介

本文主要貢獻(xiàn)

2研究背景

2.1 單階段目標(biāo)檢測

2.2 Building Blocks

2.3 Multi-Scale Feature Fusion

3本文方法

3.1 原始特征收集和再分配——RFCR

3.2 Backbone Truncation

4實驗

4.1 消融實驗

1、Truncated feature extraction backbone

2、Raw feature collection and redistribution

3、SOTA對比

5參考

---

1簡介

目標(biāo)檢測模型的性能在模型精度和效率兩個主要方面得到了快速的發(fā)展。然而，為了將基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的目標(biāo)檢測模型部署到邊緣設(shè)備，通常需要對模型進(jìn)行比較大的壓縮，但是與之而來的也降低了模型的準(zhǔn)確性。

在本文中，作者根據(jù)現(xiàn)有先進(jìn)方法中各種特征尺度之間缺少的組合連接的問題，提出了一種新的邊緣GPU友好模塊，用于多尺度特征交互。此外，作者提出了一種新的遷移學(xué)習(xí)backbone采用的靈感是來自不同任務(wù)的轉(zhuǎn)換信息流的變化，旨在補(bǔ)充特征交互模塊，并提高準(zhǔn)確性和推理速度的各種邊緣GPU設(shè)備上的可用性。

例如，基于MobileNetV2-0.75 Backbone的YOLO-ReT在Jetson Nano上實時運(yùn)行，在Pascal VOC上實現(xiàn)了68.75 mAP/33.19FPS(MobileNetV2為68.67 mAP/28.16FPS)，在COCO上實現(xiàn)了34.91 mAP/33.19FPS。

此外，在YOLOv4-tiny和YOLOv4-tiny中引入本文的多尺度特征交互模塊，使其在COCO上的性能分別提高到41.5和48.1 mAP，比原始版本提高了1.3mAP和0.9mAP。

本文主要貢獻(xiàn)

1. 提出了RFCR模塊，有效結(jié)合多尺度特征，兼容各種Backbone和檢測頭。此外，RFCR模塊的特征收集與檢測頭的輸出尺度數(shù)無關(guān)，便于更好的特征交互；
2. 對個體遷移學(xué)習(xí)層的重要性進(jìn)行廣泛的實驗分析，并采用截斷方法提高模型效率。截斷和RFCR模塊相互補(bǔ)充，允許創(chuàng)建更快、更準(zhǔn)確的檢測模型；
3. 針對邊緣gpu的設(shè)備上執(zhí)行延遲實驗的深入消融研究，而不是其他間接指標(biāo)，如MFLOPs或模型大小，從而提供各種競爭設(shè)計的準(zhǔn)確比較。

2研究背景

2.1 單階段目標(biāo)檢測

單階段目標(biāo)檢測模型包括2個部分：

• 在ImageNet上預(yù)訓(xùn)練的特征提取器
• 負(fù)責(zé)最終輸出的目標(biāo)檢測頭

雖然CNN是特征提取模型的首選，但也有一些工作在探索其他形式的特征提取器，如極限學(xué)習(xí)機(jī)(ELM)、運(yùn)動概率地圖等。單階段目標(biāo)檢測模型可以根據(jù)其使用的檢測頭進(jìn)一步劃分為基于Anchor的模型和Anchor-Free的模型。Heatmap-based的檢測模型，如CornerNet、CenterNet等，是Anchor-Free模型的常見例子。然而，這些模型需要復(fù)雜計算的Backbone，因為它們依賴于保持輸入圖像的高分辨率信息的完整性。另一方面，基于Anchor的檢測模型是較輕的選擇。例如YOLOv3檢測頭是邊緣設(shè)備最常用的檢測頭之一，可以輕松集成輕量級Backbone。

2.2 Building Blocks

對實時目標(biāo)檢測模型的大量研究都致力于改進(jìn)CNN的基本構(gòu)建模塊。傳統(tǒng)的CNN層包含大量的參數(shù)和計算，這使得大多數(shù)實時檢測模型明顯是淺層網(wǎng)絡(luò)。將二維卷積解耦為深度可分離卷積和(1×1)卷積是一種使網(wǎng)絡(luò)更輕的常用技術(shù)。在應(yīng)用卷積之前，使用1×1卷積進(jìn)一步減少通道數(shù)量，產(chǎn)生了fire 模塊的想法，并已被應(yīng)用于各種輕量級檢測模型。

然而，使用多個連續(xù)pointwise卷積來降低信息流的計算成本，違反了設(shè)計快速深度學(xué)習(xí)模型的一個基本規(guī)則，即網(wǎng)絡(luò)碎片化。網(wǎng)絡(luò)碎片化是一種現(xiàn)象，在這種現(xiàn)象中，一個較重的操作被碎片化為多個輕量級操作，并嚴(yán)重影響模型的執(zhí)行速度，因為它干擾了模型內(nèi)部的并行度。例如，mobiledet發(fā)現(xiàn)分組的point-wise卷積在GPU設(shè)備上執(zhí)行得不好，而ShuffleNetV2發(fā)現(xiàn)當(dāng)輸入和輸出通道數(shù)量相同時，point-wise卷積速度最快。

最后的特征提取Backbone是通過組合上述的一個或多個構(gòu)建塊而形成的。許多研究甚至利用神經(jīng)結(jié)構(gòu)搜索(NAS)來建立他們自己的Backbone和檢測模型。然而，這些模型忽略了存在于其他預(yù)訓(xùn)練Backbone中的遷移學(xué)習(xí)信息。另一方面，在現(xiàn)有數(shù)據(jù)集上預(yù)訓(xùn)練的Backbone可能包含分類任務(wù)特定的特征，這可能會增加不必要的特征計算負(fù)擔(dān)。因此，從分類到目標(biāo)檢測的預(yù)訓(xùn)練Backbone的有效適應(yīng)也對模型的最終性能起著重要作用。

2.3 Multi-Scale Feature Fusion

無論是在單階段還是兩階段目標(biāo)檢測模型中，多尺度特征交互都是目標(biāo)檢測頭的重要組成部分。現(xiàn)有的特征交互方法采用自頂向下或自底向上的方法相結(jié)合的方法來處理跨多尺度特征的信息流。特征金字塔網(wǎng)絡(luò)(FPN)是第一個創(chuàng)建從高級特征尺度到低級特征尺度的自上而下路徑，目的是使用處理良好的深層特征，以幫助提高使用較淺特征的檢測層的準(zhǔn)確性。PANet更進(jìn)一步，表明額外的自底向上路徑有助于進(jìn)一步提高High-Level特征的檢測精度。

在FPN和PANet成功的基礎(chǔ)上，NAS-FPN試圖尋找各種多尺度特征之間的最優(yōu)信息流路徑。由于這種基于架構(gòu)搜索的模型是專門為某些數(shù)據(jù)集和Backbone網(wǎng)絡(luò)設(shè)計的，因此很難將它們推廣到更廣泛的應(yīng)用中。然而，這些搜索揭示了有趣的趨勢，可以幫助更多地了解此類模型的內(nèi)在需求。NAS-FPN設(shè)計揭示了不同特征尺度之間不相鄰的直接聯(lián)系，表明僅通過相鄰尺度的信息流動可能會變得復(fù)雜，因此需要這種ShortCut。同樣，NAS-FPN也揭示了反復(fù)遵循自上而下和自下而上路徑的重要性，BiFPN后來采用了這一路徑來進(jìn)一步提高模型精度。

不僅是將多尺度特征組合在一起的路徑，而且還對各種特征如何組合做了大量工作。雖然大多數(shù)現(xiàn)有工作只是簡單地將多個尺度的特征圖連接在一起，但也有人提出了加權(quán)或基于注意力的特征融合，以更好地突出更重要的特征尺度。融合特征的另一個方面是使它們達(dá)到共同的規(guī)模。更簡單的解決方案包括對一個特征尺度進(jìn)行上采樣或下采樣以匹配另一個特征尺度。然而，這可能導(dǎo)致不同尺度之間的局部位置不匹配，因此也探索了多種方法來處理融合前后的特征，以促進(jìn)不同尺度之間更好的信息流動。

3本文方法

3.1 原始特征收集和再分配——RFCR

作者希望使用改進(jìn)的特征交互網(wǎng)絡(luò)來加強(qiáng)Backbone提取特征的能力進(jìn)而提高檢測精度，同時也不對推理速度造成任何重大影響。雖然本文中重點(diǎn)關(guān)注檢測，但RFCR模塊可以推廣為類似任務(wù)提供交互特征。

現(xiàn)有的多尺度特征交互方法可以分解為自頂向下和自底向上方法的組合，這種方法一次只關(guān)注兩個相鄰的特征尺度。這使得大量可能的組合對被遺漏，使得信息在遠(yuǎn)處特征尺度之間的傳播效率低下。此外，當(dāng)重復(fù)使用自頂向下和自底向上的路徑(例如從BiFPNx2到BiFPNx3)時模型的檢測精度開始飽和。

在這里，受到NAS-FPN中非相鄰特征尺度連接的啟發(fā)，本文提出了一個輕量級的特征收集和再分配模塊，該模塊將來自Backbone的原始多尺度特征融合在一起，然后將其重新分配到每個特征尺度。因此，每個比例的特征圖包含了所有其他比例尺度的特征。這種層不涉及任何沉重的計算或參數(shù)，但允許每對特征尺度之間的直接聯(lián)系，如圖1所示。

需要注意的是，RFCR模塊無法取代其他特征聚合方法提供的細(xì)致性，相反，目標(biāo)是在將其傳遞給其他多尺度特征融合方法之前，提供一個極其輕量級的特征處理，在精度上提供正交改進(jìn)。

此外，RFCR模塊設(shè)計允許有獨(dú)立于檢測頭的輸出尺度數(shù)量，因為RFCR模塊的輸入和輸出特性之間沒有限制。例如，盡管YOLOv3檢測頭有3個輸出尺度，但在特征采集階段可以使用4個不同的Backbone特征(3個與輸出尺度相同的特征，第4個較淺的特征)，這樣就可以利用更細(xì)粒度的low-level特征來提高模型性能。同樣的，即使對于只有2個輸出刻度的檢測頭，如YOLOv4-tiny，通過采用RFCR模塊，檢測功能也被多個low-level特征豐富了。

正如在第2.3節(jié)中討論的，特征融合的方式與聚合路徑同樣重要。為了將額外的延遲開銷保持在最小，在收集過程中通過單個1x1卷積傳遞原始特征，并使用簡單的加權(quán)和將特征融合在一起。作者將融合后的特征圖通過MobileNet的卷積塊(MBConv)，然后將其重新分配回不同的尺度。

這樣的設(shè)計允許保持網(wǎng)絡(luò)碎片到最小，因為RFCR模塊可以只有4層：

• 1x1卷積
• Weighted sum
• MBConv
• 上采樣和下采樣層。

特性的并行收集和重新分配也可以很容易地進(jìn)行優(yōu)化，進(jìn)而可以提高執(zhí)行速度。

在融合不同尺度的特征時，單純的上采樣和下采樣會導(dǎo)致語義不一致和局部位置失配。因此，提出使用5x5卷積核來增加特征融合層的感受野，而不是傳統(tǒng)的3x3或1x1卷積核，以幫助提高模型的檢測精度，同時對其推理延遲的影響可以忽略不計。作者還發(fā)現(xiàn)將kernel size增加到7x7時并不能進(jìn)一步提高性能。

def RFCR_Module(inp_arr):b1c = inp_arr[0]b2c = inp_arr[1]b3c = inp_arr[2]b4c = inp_arr[3]b1c = tf.keras.layers.Conv2D(48, kernel_size=1, padding='same', use_bias=False)(b1c)b2c = tf.keras.layers.Conv2D(48, kernel_size=1, padding='same', use_bias=False)(b2c)b3c = tf.keras.layers.Conv2D(48, kernel_size=1, padding='same', use_bias=False)(b3c)b4c = tf.keras.layers.Conv2D(48, kernel_size=1, padding='same', use_bias=False)(b4c)bc = WeightedSum()([tf.keras.layers.UpSampling2D()(b1c), b2c, downsample_layer(b3c), b4c])bc = MobilenetSeparableConv2D(96,kernel_size=(5, 5),use_bias=False,padding='same')(bc)b1 = tf.keras.layers.Concatenate()([inp_arr[0], downsample_layer(bc)])b2 = tf.keras.layers.Concatenate()([inp_arr[1], bc])b3 = tf.keras.layers.Concatenate()([inp_arr[2], tf.keras.layers.UpSampling2D()(bc)])return b1, b2, b3

3.2 Backbone Truncation

大多數(shù)最先進(jìn)的輕量級圖像分類模型試圖通過在每幾個卷積塊之后逐漸增加通道的數(shù)量來將通道的數(shù)量保持在最小。然而，到了最后，即使是這些模型也開始在每個塊之后迅速擴(kuò)展通道的數(shù)量，試圖在最終 FC 層之前更清楚地表示特征。

從分類模型遷移學(xué)習(xí)的重要性以前就受到過質(zhì)疑，一些論文甚至設(shè)計了專門的檢測Backbone。這是基于直覺，而在任務(wù)中是不同的。例如，分類模型不保留空間信息，可能累積成空間粗特征。

另一方面，檢測模型試圖保持空間信息的完整性，這是細(xì)粒度檢測輸出所需要的。作者發(fā)現(xiàn)，Backbone的初始層的遷移學(xué)習(xí)能力是非常重要的，而最后一層并不會為檢測/識別提供關(guān)鍵信息。

作者測試了單個Backbone卷積層的重要性，詳細(xì)分析了各個Backbone的遷移學(xué)習(xí)能力，完成了PANet特征聚合路徑和YOLOv3檢測頭。

作者用3個常用的Backbone進(jìn)行實驗，分別是：MobilenetV2-0.75、MobilenetV2-1.4和EfficientNet-B3，并將Backbone分成不同的塊，在本例中是Mobilenet V2 的MBConv塊和EfficientNet的MBConvSE塊。接下來，逐漸增加使用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練的權(quán)值初始化的塊的數(shù)量，從淺到深，而其余的塊則像檢測頭一樣隨機(jī)初始化，并訓(xùn)練每個單獨(dú)的模型收斂。收集的結(jié)果如圖2所示。

從圖中可以看出，當(dāng)增加使用預(yù)訓(xùn)練過的權(quán)值初始化的特征提取Backbone的比例時，模型的性能得到了提高，這也強(qiáng)調(diào)了遷移學(xué)習(xí)的重要性。然而，在60%左右，表現(xiàn)開始惡化和波動。這表明，與隨機(jī)初始化相比，使用來自ImageNet的遷移學(xué)習(xí)權(quán)值初始化最后一層特征提取器實際上會損害性能，這可能是因為這些層的特定任務(wù)性質(zhì)導(dǎo)致它們陷入局部極小值。

由于最后的這些層沒有遷移學(xué)習(xí)的需要，所以可以純粹從架構(gòu)的角度來分析它們。如圖2所示，由于與目標(biāo)檢測無關(guān)的通道數(shù)量的極端擴(kuò)展，最后2或3層包含了超過40%的權(quán)重。因此，作者提出使用截斷版本的各種Backbone作為最終目標(biāo)檢測模型。作者使用圖2的結(jié)果來找到截斷點(diǎn)，即截斷來自MobileNetV2版本的最后兩個塊，以及EfficientNet的最后三個塊。

4實驗

4.1 消融實驗

1、Truncated feature extraction backbone

作者比較了2種壓縮MobileNetV2和EfficientNet主干的方法，這兩種方法降低了縮放因子(或MobileNetV2的寬度倍增器)并截斷了最后的參數(shù)層，并得到了表2中的結(jié)果。值得注意的是，刪節(jié)版的EfficientNet在準(zhǔn)確性和FPS方面都優(yōu)于其他版本，這樣強(qiáng)調(diào)了分類任務(wù)特定骨干特征的負(fù)面影響。

對于MobileNetV2，在比較幀數(shù)相似的模型時，主干截斷的模型比縮放因子較小的模型性能更好。例如，當(dāng)比較截斷主干MobileNetV2x1.4和完整主干MobileNetV2x1.0時，它們都提供了相似的FPS，而前者提供了更好的0.27 mAP。這是由于減少寬度乘法器減少了所有層的通道數(shù)量，而截斷主干只刪除了最后一層的特征。這種差異在低功率設(shè)備上更輕的機(jī)型上表現(xiàn)得更明顯。例如，MobileNetV2中寬度為0.75的截斷主干提供了與寬度為0.5的完整主干相似的FPS(在Jetson Nano中分別為34.02和35.18)，但在mAP中提供了2.64點(diǎn)的提升。

顯然，當(dāng)在邊緣推理時，使用截斷的主干更優(yōu)。

2、Raw feature collection and redistribution

在深入研究表3時可以注意到，當(dāng)沒有其他的特性聚合方法時，特征再分配的效果要顯著得多。這可以歸因于這樣一個事實，即在多尺度特征之間沒有任何相互作用的情況下，除了通過主干本身，這種再分配提供了非常需要的特征相互作用。然而，即使使用BiFPNx3，本文方法在性能上仍然得到了顯著的提升，這顯示了非相鄰層之間的shortcut 連接的重要性。

最后，將以上討論的所有方法結(jié)合起來進(jìn)行聯(lián)合成分消融研究。結(jié)果收集于表4。從Jetson Nano的MobileNetV2(0.75)主干、Jetson Xavier NX的MobileNetV2(1.4)主干和Jetson AGX Xavier的EfficientNet-B3主干開始，以及基于YOLOv3對象檢測頭和輕量級檢測層的PANet功能聚合。接下來，在不截斷主干的情況下測試RFCR模塊。雖然RFCR模塊在這兩種情況下表現(xiàn)都很好，但具有完整主干的模型FPS的下降要比具有截斷主干的模型更多。這是因為完整的主干在末端有較重的層，這使得下面的特性聚合層也較重。

正如3.1節(jié)所討論的，作者還引入了"shortcut"到RFCR模塊中。這種來自主干較淺層的額外“shortcut”進(jìn)一步提高了準(zhǔn)確性，強(qiáng)調(diào)了low-level特征對檢測任務(wù)的重要性，以及本文的設(shè)計在使用更多的主干輸入特征而非輸出尺度數(shù)量時所提供的自由度。綜上所述，通過將主干截斷和RFCR模塊相結(jié)合，既能加快推理速度，又能提高精度。

3、SOTA對比

5參考

[1].YOLO-ReT: Towards High Accuracy Real-time Object Detection on Edge GPUs