長(zhǎng)期視覺(jué)SLAM (Simultaneous Localization and Mapping)最重要的要求之一是魯棒的位置識(shí)別。經(jīng)過(guò)一段探索期后，當(dāng)長(zhǎng)時(shí)間未觀測(cè)到的區(qū)域重新觀測(cè)時(shí)，標(biāo)準(zhǔn)匹配算法失效。

當(dāng)它們被健壯地檢測(cè)到時(shí)，回環(huán)檢測(cè)提供正確的數(shù)據(jù)關(guān)聯(lián)以獲得一致的地圖。用于環(huán)路檢測(cè)的相同方法可用于機(jī)器人在軌跡丟失后的重新定位，例如由于突然運(yùn)動(dòng)，嚴(yán)重閉塞或運(yùn)動(dòng)模糊。

詞袋的基本技術(shù)包括從機(jī)器人在線收集的圖像中建立一個(gè)數(shù)據(jù)庫(kù)，以便在獲取新圖像時(shí)檢索最相似的圖像。如果它們足夠相似，則檢測(cè)到閉環(huán)。傳統(tǒng)的文本分類(lèi)主要采用基于詞袋(bag of words)模型的方法。但BoW模型存在一個(gè)重要問(wèn)題,即數(shù)據(jù)稀疏性。

由于文本中的單詞通常非常多,而一篇文本中只包含其中的很小一部分,所以BoW模型構(gòu)建的特征向量大多是零向量,非常稀疏。這會(huì)導(dǎo)致分類(lèi)效果不佳和計(jì)算效率低下。BoBW模型（二進(jìn)制詞袋）克服了BoW模型的稀疏性問(wèn)題。為解決BoW模型的稀疏性問(wèn)題,研究者提出了基于二進(jìn)制特征的bag of binary words(BoBW)模型。BoBW方法使用固定大小的二進(jìn)制碼(binary codes)表示文本,而不是高維的詞頻向量。

這樣一來(lái)就克服了BoW模型中的稀疏性問(wèn)題。BoBW模型還可以提高計(jì)算效率，由于BoBW模型使用低維的二進(jìn)制特征,大大減少了計(jì)算量和內(nèi)存需求。這使得BoBW模型在分類(lèi)速度和效率上具有明顯優(yōu)勢(shì)。

二進(jìn)制詞袋是一種特征表示方法,將文本中的詞映射為有限長(zhǎng)度的二進(jìn)制向量。具體而言:首先,為文本設(shè)定一個(gè)詞表,將文本中出現(xiàn)的所有不重復(fù)單詞作為詞表中的單詞。然后, 對(duì)于特定文本,檢查其中是否出現(xiàn)詞表中的每個(gè)單詞。如果出現(xiàn),則為1；否則為0。這樣便構(gòu)建出一個(gè)固定長(zhǎng)度的二進(jìn)制向量來(lái)表示該文本,其中每個(gè)元素對(duì)應(yīng)詞表中的一個(gè)單詞。

二進(jìn)制特征表示使用FAST算法檢測(cè)角點(diǎn),FAST算法通過(guò)比較角點(diǎn)周?chē)粋€(gè)半徑為3的Bresenham圓 的像素灰度來(lái)檢測(cè)角點(diǎn)。這樣只需比較少量像素,計(jì)算效率高。為每個(gè)FAST角點(diǎn)計(jì)算BRIEF描述子。BRIEF描述子是二值向量,每個(gè)元素是角 點(diǎn)周邊patch中兩個(gè)像素點(diǎn)亮度比較的結(jié)果。BRIEF描述子公式:

其中Bi(p) 是描述子的第i個(gè)元素,I()是像素處的亮度,ai和bi 是比較的兩個(gè)像素點(diǎn)相對(duì)于patch中心的偏移量。給出patch大小S_b和元素?cái)?shù)L_b,a_i 和 b_i在離線階段隨機(jī)選擇。兩個(gè)BRIEF描述子之間的距離使用漢明距離計(jì)算。使用二進(jìn)制構(gòu)建Bag of Words模型,通過(guò)二值聚類(lèi)(k-medians)將二值描述子空間離散化為視覺(jué)詞匯。實(shí)現(xiàn)了直接索引和反向索引,加快了相似圖像檢索和幾何驗(yàn)證過(guò)程。通過(guò)考慮與之前匹配的一致性,有效處理了語(yǔ)義相似問(wèn)題。最終算法的特征提取和語(yǔ)義匹配只需22ms,比SURF等特征快一個(gè)數(shù)量級(jí)。

圖1?：詞匯樹(shù)和組成圖像數(shù)據(jù)庫(kù)的正反索引的例子。詞匯是樹(shù)的葉節(jié)點(diǎn)。逆指數(shù)存儲(chǔ)單詞在其出現(xiàn)的圖像中的權(quán)重。直接索引將圖像的特征及其關(guān)聯(lián)節(jié)點(diǎn)存儲(chǔ)在詞匯樹(shù)的某個(gè)級(jí)別上。

一、圖像數(shù)據(jù)庫(kù)建模

這一節(jié)介紹使用Bag of Words模型將圖像特征轉(zhuǎn)換為稀疏數(shù)字向量,方便處理大量圖像。采用詞匯樹(shù)(vocabulary tree)將描述子空間離散化為W個(gè)視覺(jué)單詞。不同于其他特征,這里離散的是二值描述子空間,建模更緊湊。語(yǔ)義樹(shù)通過(guò)層次的k-medians聚類(lèi)建立。

先對(duì)訓(xùn)練樣本做k-medians聚類(lèi),取中心。然后遞歸地對(duì)每個(gè)聚類(lèi)分支重復(fù),建立Lw層語(yǔ)義樹(shù),W個(gè)葉節(jié)點(diǎn)作為最終視覺(jué)單詞。每個(gè)語(yǔ)義單詞根據(jù)其在訓(xùn)練語(yǔ)料中的頻繁程度賦予權(quán)重,抑制高頻低區(qū)分度的單詞。使用tf-idf值。圖像It轉(zhuǎn)換為 bag-of-words向量vt,它的二值描述子從根開(kāi)始遍歷語(yǔ)義樹(shù),選擇每一層與它漢明距離最小的中間節(jié)點(diǎn),最終達(dá)到葉節(jié)點(diǎn)。兩個(gè)bag-of-words 向量v1和v2的相似性計(jì)算為:

除了bag of words和反向????索引外,文章還提出使用直接索引,存儲(chǔ)每個(gè)圖像的單詞及其對(duì)應(yīng)特征。直接索引用于快速計(jì)算對(duì)應(yīng)點(diǎn),只比較屬于同一個(gè)層次的祖先節(jié)點(diǎn)的特征。

二、回環(huán)檢測(cè)

1.數(shù)據(jù)庫(kù)查詢

當(dāng)獲取最新圖像It時(shí),將It轉(zhuǎn)換為bag-of-words向量vt。搜索數(shù)據(jù)庫(kù),結(jié)果是與vt最相似的圖像<vt,vt1>, <vt,vt2>,...,與它們的分?jǐn)?shù)s(vt,vtj )。計(jì)算與最佳匹配圖像的歸一化相似度:

其中s(vt,vt-?t)是與前一張圖像的分?jǐn)?shù),用于近似It的最高分。

2.匹配分組

為了防止連續(xù)圖像競(jìng)爭(zhēng),將相似的連續(xù)圖像分組。如果兩個(gè)圖像之間的時(shí)間差小,那么它們就屬于同一個(gè)組。計(jì)算組的得分:

取分?jǐn)?shù)最高的組作為初始匹配。

3.時(shí)間一致性

連續(xù)查詢的一致性檢查。匹配<vt,VT'>必須與k個(gè)前一匹配< vt-?t,VT1>,...,< vt-k?t,VT" > 一致,相鄰組的時(shí)間間隔應(yīng)較短。只保留使得η得分最大的<vt,vt'>作為候選回環(huán)匹配。

4.有效幾何一致性

當(dāng)給出一個(gè)匹配的圖像對(duì)<It, It'>時(shí),我們首先查詢It'在直接索引里。直接索引存儲(chǔ)每個(gè)圖像相關(guān)的單詞及其對(duì)應(yīng)的特征。我們只對(duì)屬于同一個(gè)詞匯樹(shù)層次l的父節(jié)點(diǎn)的特征進(jìn)行比較。

參數(shù)l是一個(gè)權(quán)衡匹配點(diǎn)數(shù)量和時(shí)間成本的因子。當(dāng)l = 0時(shí),僅比較屬于同一個(gè)單詞的特征(速度最快),但得到的對(duì)應(yīng)點(diǎn)較少。當(dāng)l = Lw時(shí),對(duì)應(yīng)點(diǎn)數(shù)量不受影響但時(shí)間也沒(méi)有獲得改進(jìn)。一旦獲得足夠的對(duì)應(yīng)點(diǎn),我們用RANSAC算法找出基礎(chǔ)矩陣。雖然我們只需要基礎(chǔ)矩陣來(lái)驗(yàn)證匹配,但計(jì)算出基礎(chǔ)矩陣后,我們可以毫無(wú)額外代價(jià)地為SLAM算法提供圖像間的數(shù)據(jù)關(guān)聯(lián)。

三、實(shí)驗(yàn)測(cè)試

評(píng)估內(nèi)容包括：使用5個(gè)公開(kāi)數(shù)據(jù)集,涵蓋室內(nèi)外、靜態(tài)動(dòng)態(tài)環(huán)境。手動(dòng)創(chuàng)建環(huán)回 ground truth ,包含匹配時(shí)間間隔。使用精確率和召回率度量正確性。使用不同的數(shù)據(jù)集調(diào)參和評(píng)價(jià)效果,證明算法魯棒性。

與SURF進(jìn)行比較,結(jié)果顯示:BRIEF效果與SURF接近,在Bicocca25b上優(yōu)于SURF64和U-SURF128。BRIEF更快,但對(duì)尺度和旋轉(zhuǎn)變化敏感。BRIEF更適合匹配遠(yuǎn)距離對(duì)象,SURF適用于近距離變化大。

圖2：在不進(jìn)行幾何檢驗(yàn)的情況下，BRIEF、SURF64和U-SURF128在訓(xùn)練數(shù)據(jù)集上得到的Precision-recall曲線。

其次，需要一定數(shù)量的時(shí)間一致檢測(cè)才能檢測(cè)環(huán)回。k=3 的結(jié)果最佳,對(duì)于不同頻率穩(wěn)定。如下圖所示：

圖3?相似閾值α、時(shí)間一致匹配數(shù)k和處理頻率f

在時(shí)間耗時(shí)方面，完整算法只需22ms,比SURF慢一個(gè)數(shù)量級(jí)。提取特征花費(fèi)時(shí)間最多。使用大型詞匯表雖花更多時(shí)間轉(zhuǎn)換,但查詢更快。?

圖4?使用BRIEF(左側(cè)成對(duì))和SURF64描述符(右側(cè)成對(duì))匹配的單詞示例

四、結(jié)論

二進(jìn)制特征在詞袋方法中是非常有效和極其高效的。特別是，結(jié)果表明FAST+BRIEF特征與SURF(64維或128維且沒(méi)有旋轉(zhuǎn)不變性)一樣可靠，用于解決移動(dòng)機(jī)器人中常見(jiàn)的平面內(nèi)相機(jī)運(yùn)動(dòng)的環(huán)路檢測(cè)問(wèn)題。

在不需要特殊硬件的情況下，執(zhí)行時(shí)間和內(nèi)存需求要小一個(gè)數(shù)量級(jí)。公共數(shù)據(jù)集描述了室內(nèi)、室外、靜態(tài)和動(dòng)態(tài)環(huán)境，包括正面或側(cè)面攝像頭。與大多數(shù)以前的工作不同，為了避免過(guò)度調(diào)優(yōu)，我們限制自己使用從獨(dú)立數(shù)據(jù)集獲得的相同詞匯表和從一組訓(xùn)練數(shù)據(jù)集獲得的相同參數(shù)配置來(lái)呈現(xiàn)所有結(jié)果，而不窺視評(píng)估數(shù)據(jù)集。

因此，我們可以聲稱(chēng)我們的系統(tǒng)在廣泛的實(shí)際情況下提供了健壯和高效的性能，而無(wú)需任何額外的調(diào)優(yōu)。該技術(shù)的主要限制是使用缺乏旋轉(zhuǎn)和尺度不變性的特征。