摘要

??基于事件的視覺(jué)受到人類(lèi)視覺(jué)系統(tǒng)的啟發(fā)，提供了變革性的功能，例如低延遲、高動(dòng)態(tài)范圍和降低功耗。本文對(duì)事件相機(jī)進(jìn)行了全面的調(diào)查，并追溯了事件相機(jī)的發(fā)展歷程。它介紹了事件相機(jī)的基本原理，將其與傳統(tǒng)的幀相機(jī)進(jìn)行了比較，并強(qiáng)調(diào)了它的獨(dú)特性和操作差異。調(diào)查涵蓋了來(lái)自領(lǐng)先制造商的各種事件相機(jī)型號(hào)、關(guān)鍵技術(shù)里程碑和有影響力的研究貢獻(xiàn)。它探索了不同領(lǐng)域的各種應(yīng)用，并討論了促進(jìn)研究發(fā)展所必需的真實(shí)世界和合成數(shù)據(jù)集。此外，還討論了事件相機(jī)模擬器在測(cè)試和開(kāi)發(fā)中的作用。這項(xiàng)調(diào)查旨在鞏固事件相機(jī)的現(xiàn)狀，并激發(fā)這個(gè)快速發(fā)展領(lǐng)域的進(jìn)一步創(chuàng)新。為了支持研究社區(qū)，GitHub 頁(yè)面對(duì)過(guò)去和未來(lái)的研究文章進(jìn)行了分類(lèi)并整合了寶貴的資源。

1 理解基于事件的視覺(jué)——引言

??基于事件的視覺(jué)代表了視覺(jué)傳感技術(shù)的范式轉(zhuǎn)變，其靈感來(lái)源于人類(lèi)視覺(jué)系統(tǒng)檢測(cè)和響應(yīng)環(huán)境變化的能力（因此也被稱(chēng)為神經(jīng)形態(tài)視覺(jué)）。和以固定時(shí)間間隔捕捉靜態(tài)圖像的傳統(tǒng)幀式相機(jī)不同，基于事件的視覺(jué)技術(shù)則利用事件相機(jī)連續(xù)監(jiān)測(cè)每個(gè)像素的光強(qiáng)變化。這些相機(jī)僅在發(fā)生重大變化時(shí)才會(huì)產(chǎn)生 “事件”，從而生成反映實(shí)時(shí)場(chǎng)景動(dòng)態(tài)的動(dòng)態(tài)數(shù)據(jù)流?；谑录囊曈X(jué)模仿了人類(lèi)感知的異步性質(zhì)，即對(duì)每個(gè)像素獨(dú)立檢測(cè)和記錄變化。這種方法具有極高的時(shí)間分辨率，這對(duì)于準(zhǔn)確捕捉快速移動(dòng)的物體和動(dòng)態(tài)場(chǎng)景至關(guān)重要，而不會(huì)出現(xiàn)幀相機(jī)通常伴隨的運(yùn)動(dòng)模糊現(xiàn)象。事件相機(jī)僅關(guān)注變化而不關(guān)注靜態(tài)信息，因此能更有效地管理數(shù)據(jù)，從而顯著降低冗余和帶寬要求。
??對(duì)事件的實(shí)時(shí)捕捉和處理可實(shí)現(xiàn)對(duì)場(chǎng)景變化的即時(shí)響應(yīng)，因此基于事件的視覺(jué)技術(shù)特別適用于需要快速?zèng)Q策的應(yīng)用。該技術(shù)側(cè)重于檢測(cè)對(duì)數(shù)尺度(log函數(shù))而非絕對(duì)值的變化，因此能夠有效處理各種照明條件，避免了傳統(tǒng)系統(tǒng)中常見(jiàn)的曝光過(guò)度或曝光不足等問(wèn)題。這種適應(yīng)性在室外光線條件惡劣的環(huán)境中尤為重要。此外，由于事件相機(jī)只處理變化，因此與傳統(tǒng)相機(jī)相比，它們所需的數(shù)據(jù)帶寬和計(jì)算能力更低。這種效率可顯著節(jié)省能源，使基于事件的視覺(jué)成為電池供電設(shè)備和長(zhǎng)期監(jiān)控應(yīng)用的理想選擇。異步特性還有助于高效處理和分析數(shù)據(jù)，專(zhuān)注于相關(guān)變化，實(shí)現(xiàn)更快、更準(zhǔn)確的處理。
??事件相機(jī)具有低延遲、高動(dòng)態(tài)范圍、低功耗和高效數(shù)據(jù)處理等顯著特點(diǎn)，因此被廣泛應(yīng)用于各種應(yīng)用領(lǐng)域，包括物體檢測(cè) [72]、移動(dòng)物體分割 [167-169，190]、物體跟蹤 [211，283]、物體分類(lèi) [12，235]、 手勢(shì)/動(dòng)作識(shí)別 [6,46,141]、流量/深度/姿勢(shì)估計(jì) [11,174,175,301,302]、語(yǔ)義分割 [4,243]、視頻去模糊 [107,139]、視頻生成 [145,258]、神經(jīng)輻射場(chǎng) (NERF) [119,217]、視覺(jué)里程計(jì) [25,279,298,306]、高分辨率視頻重建 [29,249,289] 和運(yùn)動(dòng)捕捉 [90,166,274]。
??本綜述旨在讓研究人員全面了解事件相機(jī)的現(xiàn)狀。它提供了研究趨勢(shì)的背景，以說(shuō)明人們對(duì)該領(lǐng)域日益增長(zhǎng)的興趣（第 2 節(jié)）。本綜述解釋了事件相機(jī)的工作原理（第 3 節(jié)），并將其與傳統(tǒng)幀相機(jī)進(jìn)行了對(duì)比（第 4 節(jié)）。它研究了來(lái)自領(lǐng)先制造商的各種事件相機(jī)型號(hào)，提供了功能方面的比較以幫助選擇相機(jī)（第 5 節(jié)）。概述了關(guān)鍵的里程碑工作，為未來(lái)的研究方向奠定了基礎(chǔ)（第 6 節(jié)）。此外，本綜述討論了基于事件的視覺(jué)的各種應(yīng)用領(lǐng)域，介紹了不同領(lǐng)域的杰出工作（第 7 節(jié)）。還包括對(duì)關(guān)鍵的基于事件的數(shù)據(jù)集（第 8 節(jié)）和推進(jìn)研究和開(kāi)發(fā)所必需的模擬器的概述（第 9 節(jié)）。
??本次調(diào)查的目的是整合基于事件的視覺(jué)系統(tǒng)資源，強(qiáng)調(diào)技術(shù)進(jìn)步和實(shí)際應(yīng)用，同時(shí)作為該領(lǐng)域功能和選項(xiàng)的全面指南。GitHub 資源頁(yè)面是本次調(diào)查的補(bǔ)充，它將定期更新，為研究人員提供基于事件的視覺(jué)的最新發(fā)展，促進(jìn)明智的決策并推動(dòng)持續(xù)創(chuàng)新。

2 基于事件的視覺(jué)的興起：背景

??近年來(lái)，基于事件的視覺(jué)研究界取得了重大進(jìn)展，發(fā)表的論文數(shù)量不斷增加就是明證（見(jiàn)圖 1）。從 2010 年的少量論文開(kāi)始，該領(lǐng)域不斷擴(kuò)大，到 2023 年學(xué)術(shù)活動(dòng)大幅增加，達(dá)到頂峰。這一顯著增長(zhǎng)，尤其是從 2019 年開(kāi)始，歸功于各個(gè)供應(yīng)商提供的事件相機(jī)可用性的增加，以及引入先進(jìn)的基于事件的模擬器。CVPR、ECCV、ICCV 和 WACV 等主要計(jì)算機(jī)視覺(jué)會(huì)議上，基于事件的視覺(jué)研究論文數(shù)量顯著增加。例如，在 CVPR 上發(fā)表的基于事件的視覺(jué)論文數(shù)量顯著增加，從 2018 年的幾篇增加到 2024 年的相當(dāng)多的數(shù)量。專(zhuān)門(mén)針對(duì)基于事件的視覺(jué)研討會(huì)進(jìn)一步促進(jìn)了該領(lǐng)域研究的傳播。這一趨勢(shì)表明，在更廣泛的計(jì)算機(jī)視覺(jué)社區(qū)中，該領(lǐng)域的影響力不斷擴(kuò)大，認(rèn)可度不斷提高。。

??在 20 世紀(jì) 90 年代末和 21 世紀(jì)初，神經(jīng)形態(tài)視覺(jué)領(lǐng)域取得了顯著進(jìn)展，包括開(kāi)發(fā)機(jī)器人神經(jīng)形態(tài)傳感器 [81]、脈沖神經(jīng)控制器 [57]、仿生視覺(jué)傳感器 [237] 和神經(jīng)形態(tài)視覺(jué)開(kāi)源工具包 [104]。關(guān)鍵工作還包括對(duì)人工人類(lèi)視覺(jué)技術(shù)的綜述[47]、嵌入式實(shí)時(shí)跟蹤系統(tǒng) [140] 和基于脈沖處理的多芯片系統(tǒng) [253]。此外，還討論了無(wú)幀動(dòng)態(tài)數(shù)字視覺(jué) [44]，為平衡機(jī)器人引入了 AER 動(dòng)態(tài)視覺(jué)傳感器 [38,39]，開(kāi)發(fā)了動(dòng)態(tài)立體視覺(jué)系統(tǒng) [225]，并引入了活動(dòng)驅(qū)動(dòng)傳感器 [43]。值得注意的是，[19] 組織了一次關(guān)于仿生視覺(jué)的研討會(huì)。
??從 2010 年代初到 2020 年，顯著的進(jìn)展包括探索基于事件的異步雙目立體匹配 [216]、人形機(jī)器人的嵌入式神經(jīng)形態(tài)視覺(jué) [10]、多核卷積處理器模塊 [21]、微粒子跟蹤的高速視覺(jué) [181]、時(shí)間相關(guān)特征提取 [14, 137] 和識(shí)別算法 [158]。研究人員在基于事件的視覺(jué)流 [11]、SLAM [267]/3D SLAM [266]、具有快速反應(yīng)能力的機(jī)器人守門(mén)員[42]，以及關(guān)于視網(wǎng)膜傳感器的綜述 [199]等方面采用了先進(jìn)技術(shù)。此外，2010 年代中期還探索了用于高速視覺(jué)特征跟蹤的多核算法 [125]、連續(xù)時(shí)間軌跡估計(jì) [173]、事件壽命估計(jì)和視覺(jué)跟蹤 [172]、立體匹配 [56] 和 三維感知的脈沖神經(jīng)網(wǎng)絡(luò)模型 [185]。出現(xiàn)了事件驅(qū)動(dòng)分類(lèi)器 [240]、用于減少噪聲的時(shí)空濾波器 [112]、低延遲線跟蹤 [54]、基于圖的物體分類(lèi) [12] 和步態(tài)識(shí)別 [262] 等創(chuàng)新技術(shù)。2010 年代后期，人們對(duì)基于事件的視覺(jué) [61] 和用于自動(dòng)駕駛的神經(jīng)形態(tài)視覺(jué) [28] ，以及用于神經(jīng)形態(tài)視覺(jué)感知的時(shí)空特征學(xué)習(xí) [13]進(jìn)行了全面的研究。在2020 年代初，事件相機(jī)和模擬器的迅速出現(xiàn)對(duì)該領(lǐng)域產(chǎn)生了重大影響，并取得了第 6 節(jié)中論述的里程碑式的成就。

3. 事件相機(jī)的工作原理：內(nèi)部剖析

??基于事件的視覺(jué)在處理場(chǎng)景的方式上與傳統(tǒng)的基于幀的視覺(jué)有著根本的不同。受人類(lèi)視網(wǎng)膜的啟發(fā)，視桿細(xì)胞、雙極細(xì)胞和視網(wǎng)膜神經(jīng)節(jié)細(xì)胞可獨(dú)立檢測(cè)和傳輸視覺(jué)信號(hào)（見(jiàn)圖 2 (a)），傳感器中每個(gè)像素的作用都是異步捕捉場(chǎng)景中視覺(jué)信息的任何變化。傳感器的這種自主原理為實(shí)時(shí)處理視覺(jué)數(shù)據(jù)提供了一種獨(dú)特而有效的方法。事件相機(jī)的工作機(jī)制包括幾個(gè)關(guān)鍵步驟。每個(gè)像素都獨(dú)立、連續(xù)且異步地處理進(jìn)入的光線。光子撞擊每個(gè)像素中的光電二極管，被轉(zhuǎn)換為電流，并轉(zhuǎn)化為電壓信號(hào)。產(chǎn)生的電壓與每個(gè)像素的參考電壓進(jìn)行連續(xù)比較，以檢測(cè)光強(qiáng)度的對(duì)數(shù)變化。
??如圖 2 (b) 所示，每當(dāng)電壓差超過(guò)預(yù)定閾值時(shí)，就會(huì)觸發(fā)一個(gè)事件 ?x, y, p, t?，記錄像素坐標(biāo) (x, y)、變化時(shí)間 t 和極性 p ∈ {?1, +1}表示光強(qiáng)度的增加或減少。這些事件在發(fā)生時(shí)輸出，通過(guò)連續(xù)的數(shù)據(jù)流而不是一系列靜態(tài)幀來(lái)反映場(chǎng)景隨時(shí)間的變化。數(shù)據(jù)流可視化為 3D 空間中的雙通道表示。其中，兩個(gè)維度構(gòu)成了捕捉事件在圖像坐標(biāo)中位置的空間部分，第三個(gè)維度表示其時(shí)間坐標(biāo)，精確指示事件發(fā)生的時(shí)間。這種空間-時(shí)間表示法最大限度地減少了數(shù)據(jù)冗余，并通過(guò)其稀疏結(jié)構(gòu)實(shí)現(xiàn)了對(duì)場(chǎng)景動(dòng)態(tài)方面的高效處理。

4. 事件相機(jī)與幀相機(jī)：比較

??與傳統(tǒng)的幀式相機(jī)相比，事件相機(jī)因其獨(dú)特的工作原理而具有多項(xiàng)優(yōu)勢(shì)。事件相機(jī)中的每個(gè)像素都會(huì)在檢測(cè)到變化的瞬間將其記錄下來(lái)，因此可以捕捉到快速移動(dòng)的物體和動(dòng)態(tài)場(chǎng)景，從而實(shí)現(xiàn)高時(shí)間分辨率（>10,000 fps）。運(yùn)動(dòng)模糊是基于幀的系統(tǒng)中常見(jiàn)的問(wèn)題 [40] ，當(dāng)物體在相機(jī)的曝光時(shí)間內(nèi)快速移動(dòng)時(shí)，就會(huì)發(fā)生運(yùn)動(dòng)模糊，導(dǎo)致物體在圖像中模糊不清。然而，幀式相機(jī)的每個(gè)像素都必須等待幀的整體曝光時(shí)間，而事件相機(jī)則不同，它能立即對(duì)場(chǎng)景中的變化做出反應(yīng)。這種即時(shí)響應(yīng)有助于事件相機(jī)實(shí)現(xiàn)低延遲，并顯著減少運(yùn)動(dòng)模糊，如圖 3 所示。在機(jī)器人和自動(dòng)駕駛等需要實(shí)時(shí)監(jiān)控和快速響應(yīng)的應(yīng)用中，這種能力至關(guān)重要 [55, 187]。
??雖然現(xiàn)代幀式相機(jī)可以實(shí)現(xiàn)高幀率，但其代價(jià)是需要很大的帶寬和存儲(chǔ)空間，這可能會(huì)限制其性能。與傳統(tǒng)的幀式相機(jī)相比，事件相機(jī)只記錄場(chǎng)景中的變化，產(chǎn)生的數(shù)據(jù)更少。數(shù)據(jù)帶寬的減少使得事件相機(jī)成為帶寬或存儲(chǔ)容量有限的應(yīng)用的理想選擇。對(duì)變化而非絕對(duì)光照度的關(guān)注進(jìn)一步確保了只捕捉相關(guān)信息，減少了冗余。這些優(yōu)勢(shì)對(duì)嵌入式系統(tǒng)和邊緣設(shè)備系統(tǒng)最為重要，因?yàn)樗鼈兊奶幚砟芰?、?nèi)存和存儲(chǔ)能力通常有限，而高效、精簡(jiǎn)的數(shù)據(jù)輸出可使它們受益匪淺[75, 120, 134, 219, 238]。
??此外，事件相機(jī)可在各種照明條件下有效工作。事件相機(jī)專(zhuān)注于光照強(qiáng)度的對(duì)數(shù)變化，從而避免了曝光過(guò)度、曝光不足和光照條件突變(突然變化)等通常會(huì)影響傳統(tǒng)相機(jī)的問(wèn)題。事件傳感器的高動(dòng)態(tài)范圍（>120 dB）遠(yuǎn)遠(yuǎn)超過(guò)了不超過(guò) 95 dB 的高質(zhì)量幀相機(jī)的動(dòng)態(tài)范圍[91]。這使它們適用于具有挑戰(zhàn)性光照的環(huán)境（見(jiàn)圖 3），如光照變化的室外場(chǎng)景。其出色的低照度截止（0.08 Lux）促使人們進(jìn)一步探索各種低照度應(yīng)用 [159,278,288]?？傊?#xff0c;這些優(yōu)勢(shì)使事件相機(jī)成為各種應(yīng)用的理想選擇。

5. 事件相機(jī)模型(型號(hào))：概述

??2017 年，開(kāi)創(chuàng)性研究 [6, 175] 采用了早期的事件相機(jī)，如 DVS 128 [93] 和 DAVIS 240 [92]，為該領(lǐng)域的高級(jí)應(yīng)用奠定了基礎(chǔ)。此后，事件相機(jī)技術(shù)取得了長(zhǎng)足進(jìn)步，iniVation [101]、Prophesee [207]、Lucid Vision Lab (TRT009S-EC、TRT003S-EC) [124]、Celepixe (CeleX5-MIP、CeleX-V) 和 Insightness (SiliconEye Rino 3 EVK) [103] 等知名制造商推出了創(chuàng)新的事件相機(jī)模型。其中，iniVation 和 Prophesee 已成為領(lǐng)導(dǎo)者，DAVIS 346 [97]、Prophesee EVK4 [203] 和 DAVIS 240 [92] 等模型在研究界越來(lái)越受到重視。本節(jié)將評(píng)述 iniVation 和 Prophesee 的各種事件相機(jī)。

??iniVation 是神經(jīng)形態(tài)視覺(jué)系統(tǒng)領(lǐng)域的領(lǐng)先公司，因其生物啟發(fā)技術(shù)而聞名，該技術(shù)可提供超低延遲、高動(dòng)態(tài)范圍和低功耗。他們目前的產(chǎn)品系列包括具有 VGA 分辨率、110 dB 動(dòng)態(tài)范圍和每秒 1.65 億個(gè)事件的 DVXplorer [98]；具有 QVGA 分辨率、110 dB 動(dòng)態(tài)范圍和每秒 1 億個(gè)事件的 DVXplorer Lite [99]；具有 QVGA 分辨率、110 dB 動(dòng)態(tài)范圍和每秒 1 億個(gè)事件的 DVXplorer Lite [99]；具有 QVGA+ 分辨率和每秒多達(dá) 1200 萬(wàn)個(gè)事件的 DAVIS 346 [97]；以及具有 120 dB 動(dòng)態(tài)范圍的DAVIS 346 AER，它提供事件和幀的輸出 [94]。此外，DVXplorer S Duo[100]將基于事件的傳感器與全局快門(mén)彩色圖像傳感器集成在一起，并由 Nvidia Jetson Nano SOM 驅(qū)動(dòng)。此外，他們的 Stereo Kit [102] 包括兩個(gè)設(shè)備、鏡頭、三腳架和其他用于高級(jí)立體視覺(jué)探索的配件。請(qǐng)注意，一些早期產(chǎn)品，如 DVXplorer Mini、DVS 240、DAVIS 240、eDVS、DVS 128、DVL-5000，已被 iniVation 停產(chǎn)，不再可用。此外，iniVation 還提供軟件解決方案，如用于用戶(hù)友好可視化的 DV [95]、用于基于 C++/Python 處理的 DV-Processing [96]、ROS 集成，以及用于事件相機(jī)使用的底層庫(kù)。表 1 總結(jié)了 iniVation 事件相機(jī)的主要特點(diǎn)和功能。

??Prophesee 提供用于探索基于事件的視覺(jué)的評(píng)估套件，包括 USB 攝像頭和嵌入式啟動(dòng)套件。USB 攝像頭包括配備 IMX636 傳感器（1280x720px）[208] 的 Metavision EVK4-HD [203]，可提供高動(dòng)態(tài)范圍（>120 dB）和低像素延遲（<100 μs）； 配備 GenX320 傳感器（320x320px）[201]的 Metavision EVK3- GENX320以超低功耗（低至 36 μW）和高動(dòng)態(tài)范圍（>120 dB）而聞名；以及配備 IMX636 傳感器和 USB 3.0 接口的 Metavision EVK3-HD [202]。嵌入式入門(mén)套件包括 Metavision 入門(mén)套件–AMD Kria KV260 [205]，結(jié)合了 IMX636 [236] 和 GenX320 傳感器，適用于基于 FPGA 的開(kāi)發(fā)；以及 Metavision 入門(mén)套件–STM32F7 [206]，針對(duì) STM32-F7 MCU 和 GenX320 傳感器進(jìn)行了優(yōu)化，適用于低功耗應(yīng)用。Metavision SDK [204] 提供了一套全面的工具，包括可視化應(yīng)用程序、編程指南以及用于定制解決方案開(kāi)發(fā)和樣本記錄的 C++ 和 Python API。表 2 總結(jié)了 Prophesee 事件相機(jī)的主要特點(diǎn)和功能。

6. 開(kāi)拓進(jìn)取：基于事件的視覺(jué)里程碑

??本節(jié)將回顧在 2017 年至 2024 年（7 月）期間，基于事件的視覺(jué)領(lǐng)域具有里程碑意義的重要作品，重點(diǎn)介紹塑造該領(lǐng)域的關(guān)鍵進(jìn)展，如圖 4 所示。2017 年，[6] 推出了一個(gè)使用 TrueNorth 處理器的低功耗、完全基于事件的手勢(shì)識(shí)別系統(tǒng)，以最小的功耗實(shí)現(xiàn)了實(shí)時(shí)準(zhǔn)確性。[175]發(fā)布了一個(gè)綜合數(shù)據(jù)集和模擬器，結(jié)合了全局快門(mén)和基于事件的傳感器，推進(jìn)了機(jī)器人和視覺(jué)應(yīng)用的算法。[129]開(kāi)發(fā)了 CIFAR10-DVS 數(shù)據(jù)集，將 CIFAR-10 圖像轉(zhuǎn)換為事件流，利用基于幀圖像的重復(fù)閉環(huán)平滑（RCLS）運(yùn)動(dòng)，為事件驅(qū)動(dòng)的物體分類(lèi)提供了寶貴的基準(zhǔn)。

??2018 年，[161] 通過(guò)調(diào)整深度神經(jīng)網(wǎng)絡(luò)來(lái)處理事件數(shù)據(jù)，增強(qiáng)了自動(dòng)駕駛汽車(chē)的轉(zhuǎn)向預(yù)測(cè)能力。[235] 推出了 HATS，這是一種特征表示和機(jī)器學(xué)習(xí)架構(gòu)，可提高物體分類(lèi)準(zhǔn)確性，，并發(fā)布了首個(gè)基于事件的大型真實(shí)世界數(shù)據(jù)集。[300]發(fā)布了多車(chē)輛立體事件相機(jī)數(shù)據(jù)集（MVSEC），為 3D 感知任務(wù)提供同步事件流和 IMU 數(shù)據(jù)。[212]開(kāi)發(fā)了用于生成高質(zhì)量合成事件數(shù)據(jù)的開(kāi)源模擬器 ESIM，[301]還推出了用于從事件流中進(jìn)行光流估計(jì)的自監(jiān)督框架 EV-FlowNet。2019 年，[302] 提出了一種無(wú)監(jiān)督學(xué)習(xí)框架，利用離散體積表示法從事件流中預(yù)測(cè)光流和深度。[213]開(kāi)發(fā)了一種利用遞歸神經(jīng)網(wǎng)絡(luò)從事件數(shù)據(jù)重建高質(zhì)量視頻的方法，用于物體分類(lèi)和視覺(jué)慣性里程測(cè)量。[189]引入了基于事件的雙積分（EDI）模型，從單個(gè)模糊幀和事件數(shù)據(jù)生成清晰的高幀率視頻，解決了運(yùn)動(dòng)模糊問(wèn)題。此外，[214] 利用在模擬數(shù)據(jù)上訓(xùn)練的遞歸網(wǎng)絡(luò)改進(jìn)了強(qiáng)度圖像和彩色視頻重建。
??2020 年，[196] 發(fā)布了高分辨率（1Mpx）數(shù)據(jù)集和具有時(shí)間一致性損失的遞歸結(jié)構(gòu)，從而改進(jìn)了物體檢測(cè)。[68]將傳統(tǒng)視頻數(shù)據(jù)集轉(zhuǎn)換為用于檢測(cè)和分割任務(wù)的合成事件數(shù)據(jù)，加強(qiáng)了模型訓(xùn)練，而[224]則開(kāi)發(fā)了一種神經(jīng)網(wǎng)絡(luò)，用于從事件數(shù)據(jù)中快速高效地重建圖像。2021 年，[71] 引入了高分辨率 DSEC 立體數(shù)據(jù)集，以改善具有挑戰(zhàn)性照明條件下的自動(dòng)駕駛。[85]開(kāi)發(fā)了 v2e 工具箱，用于從強(qiáng)度幀生成逼真的合成 DVS 事件，從而提高物體檢測(cè)能力，尤其是在夜間。[251] 提出了 “時(shí)間透鏡”，這是一種幀插值方法，可提高圖像質(zhì)量并處理動(dòng)態(tài)場(chǎng)景。[298]提出了一種具有實(shí)時(shí)魯棒性的基于事件的立體視覺(jué)里程測(cè)量系統(tǒng)。[113]引入了 N-ImageNet 數(shù)據(jù)集，以支持使用事件攝像機(jī)進(jìn)行細(xì)粒度物體識(shí)別。

??2022 年，[283] 推出了 STNet，這是一種用于單目標(biāo)跟蹤的脈沖變換器網(wǎng)絡(luò)，它結(jié)合了全局空間和時(shí)間線索，具有極高的準(zhǔn)確性和速度。[241]開(kāi)發(fā)了 EFNet，這是一種利用跨模態(tài)注意力的兩階段復(fù)原網(wǎng)絡(luò)，利用 REBlur 數(shù)據(jù)集設(shè)定了運(yùn)動(dòng)去模糊的新基準(zhǔn)。[222]提出了 AEGNN，通過(guò)將事件處理為稀疏、不斷演化的時(shí)空?qǐng)D，降低了計(jì)算復(fù)雜度和延遲。[249]提出了 Time Lens++，利用參數(shù)非線性流和多尺度融合增強(qiáng)幀插值。2023 年，[217] 提出了 EventNeRF，它使用單色事件流實(shí)現(xiàn)了具有高質(zhì)量 RGB 渲染的密集 3D 重建。[72]開(kāi)發(fā)了循環(huán)視覺(jué)變換器（RVT），達(dá)到了最先進(jìn)的物體檢測(cè)性能，同時(shí)縮短了推理時(shí)間并提高了參數(shù)效率。[89]引入了 Ev-NeRF，將神經(jīng)輻射場(chǎng)與事件數(shù)據(jù)相適應(yīng)，以改進(jìn)極端條件下的強(qiáng)度圖像重建。
??2024 年，[261] 引入了高分辨率數(shù)據(jù)和分層知識(shí)提煉，以提高視覺(jué)對(duì)象跟蹤的速度和準(zhǔn)確性。文獻(xiàn)[2]（SEVD）提供了用于穩(wěn)健交通參與者檢測(cè)的合成多視角數(shù)據(jù)，而文獻(xiàn)[252]（eTraM）則提供了 10 小時(shí)基于事件的交通監(jiān)控?cái)?shù)據(jù)，展示了事件相機(jī)在不同場(chǎng)景中的有效性。這些里程碑式的事件展示了基于事件的視覺(jué)技術(shù)的快速進(jìn)步和不斷增長(zhǎng)的潛力。

7. 事件攝像機(jī)的實(shí)際應(yīng)用：多樣化的任務(wù)和影響

??基于事件的視覺(jué)技術(shù)通過(guò)在檢測(cè)、跟蹤、分類(lèi)、識(shí)別和估算等廣泛任務(wù)中引入新功能，正在為眾多領(lǐng)域帶來(lái)變革。本節(jié)重點(diǎn)介紹圖 5 所示的關(guān)鍵任務(wù)，并探討其對(duì)不同應(yīng)用領(lǐng)域的重大影響。在檢測(cè)和跟蹤方面，具有高時(shí)間分辨率和低延遲的事件相機(jī)推動(dòng)了物體檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)和跟蹤方面的進(jìn)步。場(chǎng)景自適應(yīng)稀疏變換器[194]、脈沖[283]和遞歸視覺(jué)變換器[72]以及自監(jiān)督學(xué)習(xí)[66]等創(chuàng)新技術(shù)提高了這些領(lǐng)域的準(zhǔn)確性，使監(jiān)控和自動(dòng)駕駛[26]等應(yīng)用受益匪淺。在分類(lèi)和識(shí)別方面，事件相機(jī)明顯改善了物體分類(lèi)、手勢(shì)和步態(tài)識(shí)別以及動(dòng)作識(shí)別，尤其是在動(dòng)態(tài)或復(fù)雜場(chǎng)景中。通過(guò)平均時(shí)間表面直方圖 [235] 和時(shí)空事件云[260]，事件相機(jī)捕捉詳細(xì)時(shí)間信息的能力提高了物體分類(lèi)能力。

??此外，事件相機(jī)還能大大增強(qiáng)光流、運(yùn)動(dòng)/姿勢(shì)和深度估計(jì)等估計(jì)任務(wù)。事件相機(jī)的高速和低延遲特性允許精確計(jì)算運(yùn)動(dòng)、方位和深度，這對(duì)理解場(chǎng)景動(dòng)態(tài)和改善三維感知至關(guān)重要。主要進(jìn)展包括用于運(yùn)動(dòng)估計(jì)的漸進(jìn)式時(shí)空對(duì)齊[86]、全局最優(yōu)對(duì)比度最大化[142]以及用于光流的切向拉長(zhǎng)高斯信念傳播[226]。這些發(fā)展對(duì)于機(jī)器人、增強(qiáng)現(xiàn)實(shí)和自主導(dǎo)航領(lǐng)域的應(yīng)用至關(guān)重要。在立體和光度分析方面，基于事件的視覺(jué)支持事件立體[32]、光度立體[280]等先進(jìn)技術(shù)、事件相機(jī)能夠根據(jù)偏振估計(jì)物體的偏振和形狀 [176]，提供高分辨率深度圖和詳細(xì)的表面屬性。對(duì)于分割任務(wù)，包括語(yǔ)義分割 [243]、運(yùn)動(dòng)/物體分割 [239] 和分割任何模型 [30]，事件相機(jī)在動(dòng)態(tài)和高速場(chǎng)景中表現(xiàn)出色，能夠精確地理解場(chǎng)景并隔離物體。將基于事件的數(shù)據(jù)與傳統(tǒng)的基于幀的數(shù)據(jù)[273]、激光雷達(dá)或紅外數(shù)據(jù)[73, 294]融合，可通過(guò)結(jié)合互補(bǔ)信息進(jìn)一步增強(qiáng)環(huán)境制圖等應(yīng)用。
??基于事件的視覺(jué)技術(shù)極大地推動(dòng)了重建和圖像處理任務(wù)，為視頻重建[268, 303]、圖像重建[191, 259]、視頻幀插值[150, 281]、事件去噪[9]和運(yùn)動(dòng)去模糊[33, 241]做出了貢獻(xiàn)。在與生成相關(guān)的任務(wù)中，它有助于視頻生成和增強(qiáng)[145, 258]、視頻到事件的轉(zhuǎn)換[68]和超分辨率[88, 153]，從而促進(jìn)高質(zhì)量?jī)?nèi)容的創(chuàng)建和分析。在里程測(cè)量和 SLAM 方面，基于事件的視覺(jué)在視覺(jué)里程測(cè)量 [311] 和同步定位與映射 [27] 中發(fā)揮了關(guān)鍵作用，提供了精確的導(dǎo)航和映射能力。表 3 重點(diǎn)介紹了在各種任務(wù)和應(yīng)用領(lǐng)域中使用事件相機(jī)的著名作品，強(qiáng)調(diào)了基于事件的視覺(jué)在應(yīng)對(duì)復(fù)雜挑戰(zhàn)和推動(dòng)創(chuàng)新方面的變革性影響。

8. 數(shù)據(jù)促進(jìn)創(chuàng)新：基于事件的視覺(jué)數(shù)據(jù)集

??基于事件的視覺(jué)數(shù)據(jù)集為訓(xùn)練和評(píng)估算法提供了資源，對(duì)推動(dòng)該領(lǐng)域的發(fā)展至關(guān)重要。使用事件相機(jī)拍攝的真實(shí)世界數(shù)據(jù)集涵蓋了各種場(chǎng)景，而來(lái)自模擬器的合成數(shù)據(jù)集則為實(shí)驗(yàn)提供了可控?cái)?shù)據(jù)。本節(jié)回顧了著名的數(shù)據(jù)集，總結(jié)見(jiàn)表 4 和表 5，詳細(xì)列表請(qǐng)參見(jiàn) GitHub 頁(yè)面。

8.1 真實(shí)世界數(shù)據(jù)集

??EventVOT [261] 數(shù)據(jù)集使用 Prophesee EVK4 高清攝像機(jī)提供高分辨率視覺(jué)物體跟蹤數(shù)據(jù)，涵蓋無(wú)人機(jī)、行人、車(chē)輛和球類(lèi)運(yùn)動(dòng)等各種目標(biāo)類(lèi)別，并跨越各種運(yùn)動(dòng)速度和照明條件。 eTraM [252] 數(shù)據(jù)集提供了一個(gè)全面的交通監(jiān)控?cái)?shù)據(jù)集，包含 Prophesee EVK4 高清攝像機(jī)提供的 10 小時(shí)數(shù)據(jù)，其中包括跨越八個(gè)交通參與者類(lèi)別的 200 萬(wàn)個(gè)邊界框注釋。SeAct [295] 引入了一個(gè)語(yǔ)義豐富的數(shù)據(jù)集，用于事件文本動(dòng)作識(shí)別，該數(shù)據(jù)集由 DAVIS 346 攝像機(jī)收集，并使用 GPT-4 生成的動(dòng)作說(shuō)明進(jìn)行了增強(qiáng)。DVS-Lip [247] 是使用 DAVIS 346 攝像機(jī)記錄的讀唇數(shù)據(jù)集，包含 100 個(gè)單詞和細(xì)粒度的動(dòng)作信息。DSEC [71] 提供了駕駛場(chǎng)景的立體數(shù)據(jù)，包括激光雷達(dá)和 GPS 測(cè)量數(shù)據(jù)，在各種光照條件下收集了 53 個(gè)序列。GEN1 [41] 提供了一個(gè)大規(guī)模汽車(chē)檢測(cè)數(shù)據(jù)集，在不同駕駛條件下收集了超過(guò) 39 小時(shí)的數(shù)據(jù)。
??1 MPX [196] 數(shù)據(jù)集包括來(lái)自 100 萬(wàn)像素事件攝像頭的高分辨率數(shù)據(jù)，為汽車(chē)場(chǎng)景中的物體檢測(cè)提供了 2500 萬(wàn)個(gè)邊界框。N-Cars[235]通過(guò) ATIS 攝像機(jī)采集了 80 分鐘的視頻，記錄了城市環(huán)境中的物體分類(lèi)。MVSEC [300] 包含同步立體數(shù)據(jù)，用于在不同環(huán)境中進(jìn)行 3D 感知，而 DDD17 [15] 則提供基于事件和幀的駕駛數(shù)據(jù)，記錄時(shí)間超過(guò) 12 小時(shí)。DvsGesture [6]是一個(gè)手勢(shì)識(shí)別數(shù)據(jù)集，包含在不同光照條件下使用 DVS 128 攝像機(jī)記錄的 11 種手勢(shì)和手臂手勢(shì)的 1 342 個(gè)實(shí)例。此外，Event Camera Dataset [175] 提供了使用 DAVIS 攝像機(jī)進(jìn)行姿態(tài)估計(jì)、視覺(jué)里程測(cè)量和 SLAM 的數(shù)據(jù)。

8.2 合成數(shù)據(jù)集

??SEVD 數(shù)據(jù)集[2]在 CARLA 模擬器中使用多個(gè) DVS 攝像機(jī)提供了一個(gè)全面的基于事件的合成視覺(jué)數(shù)據(jù)集。該數(shù)據(jù)集可捕捉各種照明和天氣條件下的多視角數(shù)據(jù)，用于自我和固定交通感知，包括 RGB 圖像、深度圖、光流和分割注釋，以促進(jìn)多樣化的交通監(jiān)控。事件-KITTI[294]數(shù)據(jù)集通過(guò)從白天生成事件流和合成夜間圖像對(duì) KITTI 進(jìn)行了擴(kuò)展，有助于場(chǎng)景流分析和運(yùn)動(dòng)融合。ESfP-Synthetic [176] 數(shù)據(jù)集通過(guò)使用偏振器渲染場(chǎng)景并使用 ESIM 模擬事件，重點(diǎn)關(guān)注偏振產(chǎn)生的形狀。
??N-ImageNet [113] 數(shù)據(jù)集來(lái)自 ImageNet，使用移動(dòng)事件相機(jī)設(shè)置，是細(xì)粒度物體識(shí)別的基準(zhǔn)，解決了顯示器刷新機(jī)制帶來(lái)的偽影問(wèn)題。CIFAR10-DVS [129] 數(shù)據(jù)集將 CIFAR-10 轉(zhuǎn)換為事件流，通過(guò)逼真的圖像運(yùn)動(dòng)為事件驅(qū)動(dòng)的物體分類(lèi)提供了一個(gè)中等難度數(shù)據(jù)集。最后，N-MNIST 和 N-Caltech [184] 數(shù)據(jù)集利用云臺(tái)相機(jī)平臺(tái)將 MNIST 和 Caltech101 轉(zhuǎn)換為脈沖神經(jīng)形態(tài)數(shù)據(jù)集，促進(jìn)了神經(jīng)形態(tài)視覺(jué)和傳感器運(yùn)動(dòng)的研究。這些合成數(shù)據(jù)集共同推進(jìn)了基于事件的視覺(jué)，為各種應(yīng)用提供了支持。

9. 模擬現(xiàn)實(shí)：基于事件的模擬器

??基于事件的模擬器對(duì)于推進(jìn)基于事件的視覺(jué)系統(tǒng)至關(guān)重要，它以可控、經(jīng)濟(jì)高效的方式為算法驗(yàn)證和應(yīng)用探索提供合成數(shù)據(jù)。著名的模擬器包括 DAVIS 模擬器 [175]，該模擬器通過(guò)時(shí)間插值生成高時(shí)間精度的事件流、強(qiáng)度幀和深度圖。ESIM [212] 對(duì)其進(jìn)行了擴(kuò)展，提供了一個(gè)開(kāi)源平臺(tái)，用于對(duì)三維場(chǎng)景中的攝像機(jī)運(yùn)動(dòng)進(jìn)行建模，生成事件和全面的地面實(shí)況數(shù)據(jù)。
??v2e 模擬器[85]將傳統(tǒng)視頻幀轉(zhuǎn)換為基于事件的真實(shí)數(shù)據(jù)，解決了高斯事件閾值不匹配等非理想問(wèn)題。ICNS 模擬器[111]通過(guò)整合真實(shí)像素噪聲分布，提高了噪聲精度。DVS-Voltmeter [138]采用隨機(jī)方法模擬現(xiàn)實(shí)事件，將高幀率視頻中的電壓變化和噪聲效應(yīng)納入其中。V2CE 工具箱[291]通過(guò)動(dòng)態(tài)感知時(shí)間戳推理改進(jìn)了視頻到事件的轉(zhuǎn)換。此外，CARLA DVS 攝像頭[234]實(shí)現(xiàn)了用高頻執(zhí)行模擬事件生成，以模擬微秒分辨率并根據(jù)場(chǎng)景動(dòng)態(tài)調(diào)整傳感器頻率，而 Prophesee 視頻到事件模擬器[200]提供了一個(gè) Python 腳本，用于將基于幀的視頻轉(zhuǎn)換為基于事件的對(duì)應(yīng)視頻。這些模擬器對(duì)于開(kāi)發(fā)和測(cè)試基于事件的視覺(jué)系統(tǒng)至關(guān)重要，推動(dòng)了該領(lǐng)域的創(chuàng)新。表6 總結(jié)了最常用的基于事件的模擬器。

10. 結(jié)論

??事件相機(jī)對(duì)視覺(jué)傳感技術(shù)產(chǎn)生了重大影響，本綜述概述了事件相機(jī)的演變過(guò)程，解釋了其工作原理，并重點(diǎn)介紹了事件相機(jī)與傳統(tǒng)幀式相機(jī)的不同之處。它回顧了各種模型和關(guān)鍵里程碑，全面概述了當(dāng)今基于事件的視覺(jué)技術(shù)。事件相機(jī)在不同領(lǐng)域的廣泛應(yīng)用證明了其靈活性和潛力。本書(shū)強(qiáng)調(diào)了真實(shí)世界和合成數(shù)據(jù)集在推動(dòng)該領(lǐng)域發(fā)展方面的重要性，以及模擬器在改進(jìn)測(cè)試和開(kāi)發(fā)方面的作用。隨著研究的不斷深入，鞏固和共享知識(shí)對(duì)于應(yīng)對(duì)新挑戰(zhàn)和促進(jìn)進(jìn)一步創(chuàng)新至關(guān)重要。所提供的 GitHub 頁(yè)面將成為研究界的寶貴資源，可訪問(wèn)過(guò)去的研究，并不斷更新正在進(jìn)行的研究和其他相關(guān)資料。