論文地址：3D Object Detection with SLS-Fusion Network in Foggy Weather Conditions
論文代碼：https://github.com/maiminh1996/SLS-Fusion

論文摘要

攝像頭或激光雷達（光檢測和測距）等傳感器的作用對于自動駕駛汽車的環(huán)境意識至關(guān)重要。然而，在霧、雨、雪等極端天氣條件下，從這些傳感器收集的數(shù)據(jù)可能會出現(xiàn)失真。這個問題可能會導致在操作自動駕駛車輛時出現(xiàn)許多安全問題。
論文的研究目的是分析霧對駕駛場景中目標的影響，然后提出改進方法。在惡劣天氣條件下收集和處理數(shù)據(jù)通常比在良好天氣條件下收集和處理數(shù)據(jù)更困難。因此，可以模擬惡劣天氣條件的合成數(shù)據(jù)集是驗證方法的一個不錯的選擇，因為在使用真實數(shù)據(jù)集之前它更簡單、更經(jīng)濟。
論文中，在公共 KITTI 數(shù)據(jù)集上應用霧合成來生成圖像和點云的 Multifog KITTI 數(shù)據(jù)集。在處理任務(wù)方面，測試了之前基于 LiDAR 和攝像頭的 3D 目標檢測器，名為 Spare LiDAR 立體融合網(wǎng)絡(luò)（SLS-Fusion），看看它如何受到霧天條件的影響。建議使用原始數(shù)據(jù)集和增強數(shù)據(jù)集進行訓練，以提高霧天條件下的性能，同時在正常條件下保持良好的性能。
論文在 KITTI 和提出的 Multifog KITTI 數(shù)據(jù)集上進行了實驗，結(jié)果表明，在進行任何改進之前，霧天氣條件下中等物體的 3D 目標檢測性能下降了 42.67%。通過使用特定的訓練策略，結(jié)果顯著提高了 26.72%，并且在原始數(shù)據(jù)集上保持了很好的表現(xiàn)，僅下降了 8.23%。綜上所述，霧往往會導致行車場景 3D 目標檢測失敗。通過使用增強數(shù)據(jù)集進行額外訓練，顯著提高了所提出的霧天條件下自動駕駛汽車 3D 目標檢測算法的性能。

論文背景

如今的趨勢是將自動化應用帶入生活，以降低成本、人力并提高工作效率。人類使用眼睛、耳朵、鼻子和觸覺等感覺器官來感知周圍的世界，而工業(yè)應用則使用相機、雷達（無線電探測和測距）、Kinect、LiDAR（光探測和測距）、IMU 等傳感器（慣性測量單元）在通過復雜算法處理之前收集數(shù)據(jù)。這項研究主要集中在自動駕駛汽車上，其中攝像頭和激光雷達在環(huán)境感知中發(fā)揮著至關(guān)重要的作用。
攝像頭、激光雷達和雷達、GPS/IMU等其他傳感器的融合為自動駕駛汽車帶來了感知環(huán)境并做出操作決策的能力。
Waymo、Uber、Lyft、Tesla 等大型科技公司已經(jīng)將自動駕駛汽車投入了不同自動化程度的測試甚至商業(yè)用途，但這些汽車尚未達到全環(huán)境、全天氣的性能水平狀況。許多因素會影響自動駕駛汽車的感知能力，從而可能對其他道路使用者的生活造成嚴重后果。原因之一是從這些傳感器收集的數(shù)據(jù)因環(huán)境影響而失真，可能直接影響自動駕駛汽車的意識。

雖然使用這些傳感器的應用在受控照明或不受天氣影響的室內(nèi)環(huán)境中表現(xiàn)良好，但戶外應用面臨許多問題。例如，使用攝像頭感知環(huán)境的應用程序在極端照明條件下（例如曬傷、弱光或夜間條件）通常會失敗。自動駕駛汽車在霧、雨或雪等惡劣天氣條件下會遇到重大挑戰(zhàn)，其中攝像頭和 LiDAR 都受到嚴重影響，如圖所示。
因此，論文重點關(guān)注使用攝像頭和激光雷達在霧天條件下運行進行 3D 目標檢測。

產(chǎn)生最佳結(jié)果的方法大多基于深度學習架構(gòu)，通過使用與標簽相關(guān)的大量數(shù)據(jù)（監(jiān)督學習）來訓練模型。雖然在白天或晴朗天氣等良好條件下標記和收集數(shù)據(jù)需要時間，但在極端天氣下則需要更多的時間和精力。因此，與正常條件下記錄的數(shù)據(jù)量相比，極端天氣條件下記錄的數(shù)據(jù)量存在不平衡。此外，在收集數(shù)據(jù)時，不同級別的霧、雨或雪可能會出現(xiàn)不平衡。大多數(shù)數(shù)據(jù)僅在給定時間和地點收集，因此數(shù)據(jù)無法完全覆蓋所有情況，因此使用有限數(shù)據(jù)范圍訓練的模型可能會出錯。因此，除了真實數(shù)據(jù)之外，創(chuàng)建可以在許多受控參數(shù)下進行模擬的合成數(shù)據(jù)也同樣重要。
論文旨在在白天和溫和陽光條件下收集的著名數(shù)據(jù)集上生成基于物理的霧數(shù)據(jù)，以在霧天條件下提供改進。

論文貢獻

1.提出了一個從 KITTI 數(shù)據(jù)集增強的新公共數(shù)據(jù)集，用于通過 20 到 80 m 的不同可見度范圍（霧中）的圖像和點云，以盡可能接近真實的霧環(huán)境。
2.發(fā)現(xiàn)從相機和激光雷達收集的數(shù)據(jù)在霧天場景下明顯失真。正如我們的實驗所證實的，它直接影響自動駕駛汽車 3D 目標檢測算法的性能。
3.從論文之前對原始數(shù)據(jù)的工作[1]延伸，提出了一種特定的訓練策略，使用正常和有霧的天氣數(shù)據(jù)集作為訓練數(shù)據(jù)集。實驗表明，該模型在霧天條件下可以更好地運行，同時保持性能接近正常天氣條件下的性能。

[1] Mai, N.A.M.; Duthon, P.; Khoudour, L.; Crouzil, A.; Velastin, S.A. Sparse LiDAR and Stereo Fusion (SLS-Fusion) for Depth Estimation and 3D Object Detection. arXiv 2021, arXiv:2103.03977.

論文相關(guān)

3d 目標檢測

根據(jù)用作輸入的傳感器，自動駕駛汽車的 3D 目標檢測算法通常分為基于攝像頭的方法、基于 LiDAR 的方法和基于融合的方法等類別。由于圖像不提供深度信息，因此在嘗試預測 3D 空間中目標的位置時，使用 RGB 圖像的方法會遇到許多困難和模糊性。 Mono3D 是單目 3D 目標檢測的開創(chuàng)性工作。它基于 Fast RCNN，這是一種流行的 2D 目標檢測器，加上許多 handcrafted 特征來預測 3D 邊界框。這些方法嘗試預測 RGB 圖像上的 2D 關(guān)鍵點，然后通過結(jié)合每個特定車輛的一些約束，它可以推斷 3D 中的其他點以獲得最終的 3D 邊界框。偽激光雷達提出了一種表示數(shù)據(jù)的新方法。它通過簡單地轉(zhuǎn)換圖像的預測深度圖來生成偽點云。然后它可以利用任何基于激光雷達的方法在偽點云上進行檢測。相比之下，LiDAR 提供 3D 點云數(shù)據(jù)，從中可以獲得從自我車輛到物體的非常準確的深度信息。基于激光雷達的方法通常在感知任務(wù)中給出非常好的結(jié)果，并且近年來受到了廣泛的關(guān)注。
PointRCNN 是一個兩級檢測器，嘗試將 Faster RCNN 和 Mask RCNN 擴展到點云表示。 VoxelNet 和 PointPillars 嘗試將點云編碼為 3D 單元（體素或柱），類似于圖像但具有高度通道，然后使用 3D CNN 提取特征。與此同時，嘗試結(jié)合圖像和點云的方法盡管吸收了兩種信息流，但尚未真正從激光雷達方法中脫穎而出。 FPointNet 或 F-ConvNet 首先使用從圖像中檢測到的目標的 2D 邊界框來查找 3D 空間中的截錐體區(qū)域。然后，使用 PointNet 分割來查找每個視錐體中的對象。 MV3D 使用點云生成 3D 建議框，加上傳感器融合層來細化最終的 3D 邊界框。點云表示為圖像（鳥瞰圖和前視圖）。這些方法通常相當麻煩并且還不能實時運行。

惡劣天氣條件下的數(shù)據(jù)集

大多數(shù)常見的現(xiàn)有數(shù)據(jù)集都是在良好的條件下收集的，例如 KITTI、Cityscape，或在不同的光照條件下收集，例如 BDD100K、Waymo、NuScenes。最近的注意力集中在自動駕駛汽車在惡劣天氣條件下的感知能力，因為這種條件會對攝像頭和激光雷達傳感的質(zhì)量產(chǎn)生負面影響，導致性能下降。因此，一些數(shù)據(jù)集是在霧天條件下收集的，包括 Foggy Driving、Foggy Zurich、SeeingThroughFog、nuscenes、BDD100k、Oxford 數(shù)據(jù)集、雨或雪條件。
然而，在這種條件下收集數(shù)據(jù)并不容易，并且可能會導致后處理問題，例如不平衡問題或標簽錯誤。相比之下，合成數(shù)據(jù)集越來越接近真實數(shù)據(jù)，可以避免此類問題。合成數(shù)據(jù)集可以分為兩類：基于物理的，例如 Foggy Cityscapes 、RainCityscapes、Foggy Cityscapes、Rain Augmented 和基于生成對抗網(wǎng)絡(luò)（基于 GAN）。
盡管上述這些數(shù)據(jù)集很有用，但 KITTI 數(shù)據(jù)集在文獻中很常用，而且很容易處理。論文決定使用該數(shù)據(jù)集作為基礎(chǔ)數(shù)據(jù)集，以對其進行進一步的霧渲染。雖然大多數(shù)合成數(shù)據(jù)集僅關(guān)注圖像，但這項工作旨在從良好的天氣數(shù)據(jù)集開始考慮圖像和點云的霧。論文使用 [2] 中提出的基于物理的程序來保留像真實霧一樣的物理屬性。

[2] Bijelic, M.; Gruber, T.; Mannan, F.; Kraus, F.; Ritter, W.; Dietmayer, K.; Heide, F. Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather. In Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, 13–19 June 2020; pp. 11679–11689. [CrossRef]

惡劣天氣條件下的感知

雖然室外感知算法在不同的照明條件下通常比室內(nèi)更敏感，但極端天氣條件下的感知更具挑戰(zhàn)性，因為傳感器退化、對比度較低、可見度有限，從而導致錯誤在預測中
。事實上，之前的研究已經(jīng)表明分割、2D 目標檢測和深度估計中的性能如何下降。一些研究還表明，通過學習合成數(shù)據(jù)[、去霧或使用基于后期的融合可以提高性能。
與之前的工作一樣，論文旨在分析霧天場景下自動駕駛汽車的感知算法，特別強調(diào)3D模板檢測任務(wù)。事實上，霧場景中 3D 目標檢測的性能會大大降低，但通過使用正常數(shù)據(jù)集和合成數(shù)據(jù)集進行訓練，性能可能會得到提高。

論文內(nèi)容

霧現(xiàn)象

霧是水蒸氣凝結(jié)成微小的云狀顆粒的現(xiàn)象，這些顆粒出現(xiàn)在地面上和附近，而不是天空中。地球上的水分慢慢蒸發(fā)，當蒸發(fā)時，它會向上移動、冷卻并凝結(jié)形成霧。霧可以看作低云的一種形式。
從物理上講，霧是一種引起分散的現(xiàn)象。光線在落入圖像傳感器之前被懸浮的水滴散射。這種散射現(xiàn)象有兩個主要影響。 首先，主光線在落入傳感器之前會衰減，其次，存在散射光的信號層 。這些效果會降低對比度，如圖 2 所示，強度范圍充滿強度值（每個像素的灰度圖像的單個值），這些值隨著霧的強度（清晰、80、50、20 m）而減小）。因此，圖像的對比度與霧濃度成反比，這可能會給人類駕駛員和基于傳感器的自動系統(tǒng)或駕駛輔助設(shè)備帶來駕駛困難。

氣象光學范圍 (MOR)，也稱為能見度，用 V 表示，是在白色和黑色目標上不再區(qū)分對比度的距離（以米為單位）。當白色和黑色的目標在霧中移開時，人眼會看到均勻的灰色。標準中定義了 5% 的對比度限制水平。 MOR 越低，霧越濃。根據(jù)國際協(xié)議，當能見度 V 小于 1 公里時，使用術(shù)語“霧。

霧渲染

極端天氣條件下的數(shù)據(jù)集數(shù)量少于正常條件（晴朗天氣）下的數(shù)據(jù)集。首先，惡劣天氣條件并不經(jīng)常發(fā)生。其次，這類數(shù)據(jù)的清理和標注難度較大。它會導致不同類型天氣條件之間的真實數(shù)據(jù)集出現(xiàn)不平衡問題。因此，合成數(shù)據(jù)集的生成對于開發(fā)在惡劣天氣條件下工作的系統(tǒng)很有用。
在霧天條件下生成人工數(shù)據(jù)有不同的方法：（a）在受控條件下獲取或（b）在正常條件數(shù)據(jù)集上進行增強。對于第二種類型，也有不同的方法來建模霧，例如基于物理的或基于GAN的建模。在論文文中，我們使用基于物理的方法，因為它可以保持天氣的物理特性，并且已經(jīng)研究了很長時間。
雖然雷達不會受到霧的顯著影響，但從 LiDAR 和相機收集的數(shù)據(jù)卻相當失真。

Camera in Fog

[3] Sakaridis, C.; Dai, D.; Van Gool, L. Semantic Foggy Scene Understanding with Synthetic Data. Int. J. Comput. Vis. 2018, 126, 973–992. [CrossRef]

Sakaridis 等人根據(jù) 1924 年的 Koschmieder Law。 [3]制定了方程以獲得像素 $(u,v)$ 處的觀測霧圖像 $I_{foggy}(u,v)$如下：
$$I_{foggy}(u,v)=t(u,v)I_{clear}(u,v)+(1?t(u,v))L\text{\hspace{1em}(1)}$$

其中 $I_{clear}(u,v)$ 表示潛清晰圖像，$L$ 表示大氣光，假設(shè)全局恒定（通常僅對白天圖像有效），在均勻介質(zhì)的情況下，透射系數(shù)為：
$$t(u,v)=exp(?\beta D(u,v))\text{\hspace{1em}(2)}$$

其中 $\beta$ 是霧密度（或衰減）系數(shù)，$D(u,v)$ 是像素 $(u,v)$ 處的場景深度。
霧的厚度由 $\beta$ 控制。使用 Koschmieder 定律，可見度 $V$ 可以通過下面方程中的一個描述：
$$C_T=exp(?\beta V)\text{\hspace{1em}(3)}$$

$$V=?\frac{\ln (C_T)}{\beta }\text{\hspace{1em}(4)}$$
其中 $C_T$ 是對比度閾值。根據(jù)國際照明委員會（CIE）的數(shù)據(jù)，CT 的白天能見度估計值為 $0.05$。還可以將 $t(u,v)$ 表示為對可見性 $V$ 和深度圖 $D$ 的依賴關(guān)系，如下所示：
$$t(u,v)=exp(\frac{\ln (C_T)D(u,v)}{V})\text{\hspace{1em}(5)}$$

LiDAR in Fog

Gruber et al. 假設(shè)光束發(fā)散度不受霧的影響。在此模型中，只要接收到的激光強度大于有效本底噪聲，就會始終記錄返回的脈沖回波。然而，霧的嚴重反向散射可能會導致散射霧體積內(nèi)點的直接反向散射，這通過透射率 $t(u,v)$ 進行量化。然后，觀測到的霧狀激光雷達 $L_{foggy}(u,v)$ 可以使用以下方程進行建模：
$$L_{foggy}(u,v)=t(u,v)L_{clear}(u,v)\text{\hspace{1em}(6)}$$

其中 $L_{clear}(u,v)$和 $L_{foggy}(u,v)$ 分別是 LiDAR 發(fā)射的光脈沖的強度和接收到的信號強度。
現(xiàn)代掃描激光雷達系統(tǒng)采用自適應激光增益來增加給定本底噪聲的信號，從而產(chǎn)生最大距離：
$$d_{max}=\frac{1}{2\beta }\ln (\frac{n}{L_{clear}+g})，\text{\hspace{1em}(7)}$$

其中 $n$ 是可檢測的本底噪聲。

3D 目標檢測算法

在這里，使用之前的 3D 目標檢測算法，稱為 SLS-Fusion，其靈感來自 Qiu 等人的工作。 圖 3 顯示了該 3D 探測器的框圖。它以一對立體圖像和模擬 4 光束 LiDAR 在左右圖像上的重新投影深度圖作為輸入。它使用后期融合，分為 3 部分：深度估計、轉(zhuǎn)換數(shù)據(jù)表示和基于 LiDAR 的 3D 目標檢測。

[4] Mai, N.A.M.; Duthon, P.; Khoudour, L.; Crouzil, A.; Velastin, S.A. Sparse LiDAR and Stereo Fusion (SLS-Fusion) for Depth Estimation and 3D Object Detection. arXiv 2021, arXiv:2103.03977.

該模型通過投射 4 束 LiDAR 來拍攝左側(cè)和右側(cè)的立體圖像 $(I_l,I_r)$ 和相應的模擬立體圖像 $(S_l,S_r)$。 $S_l$ 和 $S_r$ 使用[5]中提出的公式進行模擬。編碼器-解碼器網(wǎng)絡(luò)用于從圖像和點云中提取特征。

[5] You, Y.; Wang, Y.; Chao, W.L.; Garg, D.; Pleiss, G.; Hariharan, B.; Campbell, M.; Weinberger, K.Q. Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving. In Proceedings of the 2020 International Conference on Learning Representations (ICLR), Virtual Conference, 26 April–1 May 2020.

所提出的網(wǎng)絡(luò)具有針對 LiDAR 和圖像 $(I_l,S_l)$ 和 $(I_r,S_r)$ 的權(quán)重共享管道，而不是僅使用左右圖像。一旦從解碼階段獲得左右特征，它們就會被傳遞到 Depth Cost Volume（DeCV）以學習深度信息。這里，使用平滑的 L1loss函數(shù)：
$$\sum _{(u,v)\in I_l}|d(u,v)?D(u,v)|\text{\hspace{1em}(8)}$$

其中 $d(u,v)$ 表示有效深度地面事實。預測的深度圖是 $D$，其中 $D(u,v)$ 是對應于左圖像 $I_l$中的像素 $(u,v)$ 的深度。然后，使用針孔相機模型生成偽點云。給定深度 $D(u,v)$ 和相機固有矩陣，每個像素 $(u,v)$ 在相機坐標系中的 3D 位置 $(X_c,Y_c,Z_c)$ 由下式給出：
$$\begin{gathered} (depth)Z_c=D(u,v) \\ (width)X_c=\frac{(u?c_U)\times Z_c}{f_U} \\ (height)Y_c=\frac{(v?c_V)\times Z_c}{f_V}\text{\hspace{1em}(9)} \end{gathered}$$

其中 $c_U$和 $c_V$ 是主點的坐標，$f_U$ 和 $f_V$ 分別是像素寬度和高度的焦距。使用四光束激光雷達來增強偽點云的質(zhì)量。然后將每個點 $(X_c,Y_c,Z_c,1)$ 變換為LiDAR坐標系（現(xiàn)實世界坐標系）中的$(X_l,Y_l,Z_l,1)$。
通過添加反射率 1 來填充偽點云。給定相機外在矩陣 $C=\left[\begin{array}{cc}R& t\\ 0& 1\end{array}\right]$ ，其中 $R$ 和 $t$ 分別是旋轉(zhuǎn)矩陣和平移向量。偽點云可以通過如下方式獲得：
$$\left[\begin{array}{c}{X}_l\\ Y_l\\ Z_l\\ 1\end{array}\right]=C^{?1}\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right]\text{\hspace{1em}(10)}$$

一旦獲得偽點云，就可以將其視為普通點云，盡管其準確性取決于預測深度的質(zhì)量。與 PseudoLiDAR++ 類似，輸入（4 光束點云）用于糾正偽點云中的錯誤。這是獲得更準確點云的細化步驟。然后，將深度圖轉(zhuǎn)換為偽點云。這個想法是利用當前領(lǐng)先的基于 LiDAR 的方法的性能來檢測目標。

論文結(jié)論

論文研究的主要目的是分析霧對 3D 目標檢測算法的影響。為此，論文為霧天駕駛場景創(chuàng)建了一個新穎的合成數(shù)據(jù)集。它被稱為 Multifog KITTI 數(shù)據(jù)集。該數(shù)據(jù)集是通過在不同能見度（20 至 80 m）級別應用霧從原始數(shù)據(jù)集 KITTI 數(shù)據(jù)集生成的。該數(shù)據(jù)集涵蓋了左右圖像、4 光束 LiDAR 數(shù)據(jù)和 64 光束 LiDAR 數(shù)據(jù)，盡管有霧的 64 光束數(shù)據(jù)尚未被利用。
這項工作發(fā)現(xiàn)，在圖像和 LiDAR 數(shù)據(jù)中添加霧會導致圖像不規(guī)則（對比度較低）以及 LiDAR 目標的 3D 點云失真。然后的目的是測試 SLS-Fusion 算法在處理圖像和 LiDAR 數(shù)據(jù)退化方面的魯棒性。第一個測試列表包括驗證霧對檢測算法的負面影響。將霧數(shù)據(jù)作為輸入并在訓練中使用正常數(shù)據(jù)會導致結(jié)果下降。因此，觀察到 3D 物體檢測性能下降（中等水平物體的檢測率從 63.90% 下降到 21.23%）。第二個主要發(fā)現(xiàn)是，即使不去霧，也可以通過直接使用 KITTI 數(shù)據(jù)集和合成 Multifog KITTI 數(shù)據(jù)集進行訓練來提高 3D 對象檢測算法的性能。這些結(jié)果增加了在惡劣天氣條件下，特別是在霧天場景中快速擴大的感知范圍。
另一項測試是將 SLS-Fusion 算法與領(lǐng)先的基于低成本傳感器的方法（偽 LiDAR++）進行比較。結(jié)果發(fā)現(xiàn)，我們的方法在所提出的 Multifog KITTI 數(shù)據(jù)集的不同指標上都優(yōu)于 Pseudo-LiDAR++ 方法。這個結(jié)果非常令人滿意，因為它顯示了該方法在處理有霧數(shù)據(jù)集時的魯棒性。
這項研究的范圍在點云的影響方面受到限制。由于實驗中使用的數(shù)據(jù)是4束點云，其特征不如圖像或64束點云的特征豐富。這些發(fā)現(xiàn)為未來的研究提供了以下見解：在 Multifog KITTI 數(shù)據(jù)集上測試基于 64 束 LiDAR 的 3D 物體檢測算法，以更清楚地顯示霧對點云的影響。我們還計劃處理相機或激光雷達因天氣影響而損壞的情況。