0. 簡介

在沒有預(yù)先計算相機(jī)姿態(tài)的情況下訓(xùn)練神經(jīng)輻射場（NeRF）是具有挑戰(zhàn)性的。最近在這個方向上的進(jìn)展表明，在前向場景中可以聯(lián)合優(yōu)化NeRF和相機(jī)姿態(tài)。然而，這些方法在劇烈相機(jī)運動時仍然面臨困難。我們通過引入無畸變單目深度先驗來解決這個具有挑戰(zhàn)性的問題。這些先驗是通過在訓(xùn)練期間校正比例和平移參數(shù)生成的，從而能夠約束連續(xù)幀之間的相對姿態(tài)。這種約束是通過我們提出的新型損失函數(shù)實現(xiàn)的。對真實世界室內(nèi)和室外場景的實驗表明，我們的方法可以處理具有挑戰(zhàn)性的相機(jī)軌跡，并在新視角渲染質(zhì)量和姿態(tài)估計精度方面優(yōu)于現(xiàn)有方法。本文《NoPe-NeRF: Optimising Neural Radiance Field with No Pose Prior》的項目頁面是https://nope-nerf.active.vision。

1. 主要貢獻(xiàn)

綜上所述，我們提出了一種方法來聯(lián)合優(yōu)化攝像機(jī)的姿勢和來自具有大量攝像機(jī)運動的圖像序列的NeRF。我們的系統(tǒng)是由三個方面的貢獻(xiàn)促成的。

1. 我們提出了一種新的方法，通過明確地模擬比例和位移失真，將單深度整合到無姿勢的NeRF訓(xùn)練中。

2. 我們通過使用未扭曲的單深度地圖的幀間損失，為攝像機(jī)-NeRF聯(lián)合優(yōu)化提供相對位置。

3. 我們通過一個基于深度的表面渲染損失來進(jìn)一步規(guī)范我們的相對姿勢估計。

2. 詳細(xì)內(nèi)容

文中解決了在無姿態(tài)NeRF訓(xùn)練中處理大型相機(jī)運動的挑戰(zhàn)?？紤]到給定一系列圖像，相機(jī)內(nèi)參和它們的單目深度估計，我們的方法同時恢復(fù)相機(jī)姿態(tài)和優(yōu)化NeRF。我們假設(shè)相機(jī)內(nèi)參在圖像元塊中可用，并運行一個現(xiàn)成的單目深度網(wǎng)絡(luò)DPT[7]來獲取單目深度估計。在不重復(fù)單目深度的好處的情況下，我們將圍繞單目深度的有效集成到無posed-NeRF訓(xùn)練中展開。
訓(xùn)練是NeRF、相機(jī)姿態(tài)和每個單目深度地圖的畸變參數(shù)的聯(lián)合優(yōu)化。通過最小化單目深度地圖與從NeRF渲染的深度圖之間的差異來監(jiān)督畸變參數(shù)，這些深度圖是多視角一致的。反過來，無畸變深度地圖有效地調(diào)解了形狀-輻射（shape-radiance）的歧義，從而簡化了NeRF和相機(jī)姿態(tài)的訓(xùn)練。
具體來說，無畸變深度地圖提供了兩個約束條件。我們通過在無畸變深度地圖中反投影出的兩個點云之間的基于Chamfer距離的對應(yīng)來提供相鄰圖像之間的相對姿態(tài)，從而約束全局姿態(tài)估計。此外，我們通過將無畸變深度視為表面，使用基于表面的光度一致性來規(guī)范相對姿態(tài)估計。

3. NeRF與Pose

3.1 NeRF

Neural Radiance Field（NeRF）[24] 將場景表示為一個映射函數(shù) $F_{\Theta }:(x，d)\to (c，\sigma )$，其中 $x\in {\mathbb{R}}^3$ 為 3D位置， $d\in {\mathbb{R}}^3$ 為視角方向， $c\in {\mathbb{R}}^3$為輻射顏色，$\sigma$ 為體密度值。該映射通常是由參數(shù)化的神經(jīng)網(wǎng)絡(luò) $F_{\Theta }$ 實現(xiàn)的。給定 $N$ 張圖像 I = { I i ∣ i = 0... N ? 1 } I = \{I_i | i = 0 . . . N ? 1\} I={Ii?∣i=0...N?1} 及其相機(jī)姿態(tài) Π = { π i ∣ i = 0... N ? 1 } Π = \{π_i | i = 0 . . . N ? 1\} Π={πi?∣i=0...N?1}，可以通過最小化合成圖像 $\hat{I}$ 與捕獲圖像 $I$ 之間的光度誤差 $L_{rgb}={\sum }_i^N\Vert I_i?hat{I}_i{\Vert }_2^2$ 來優(yōu)化 NeRF。

在這里，${\hat{I}}_i$是通過聚合相機(jī)射線$r(h)=o+hd$上的輻射顏色在近界和遠(yuǎn)界$h_n$和$h_f$之間渲染的。更具體地說，我們使用體積渲染函數(shù)來合成${\hat{I}}_i$。

其中，$T(h)=exp(?{\int }_{h_n}^h\sigma (r(s))ds)$ 是沿著一條射線累積的透射率。更多細(xì)節(jié)請參見[24]。

3.2 聯(lián)合優(yōu)化姿態(tài)和 NeRF

之前的研究 [12、18、45] 表明，可以通過在 Eq. (2) 中使用相同的體積渲染過程，在最小化上述光度誤差 $L_{rgb}$ 的同時估計相機(jī)參數(shù)和 NeRF。
關(guān)鍵在于將相機(jī)光線投射的條件設(shè)置為可變的相機(jī)參數(shù) $\Pi$，因為相機(jī)光線 $r$ 是相機(jī)姿態(tài)的函數(shù)。數(shù)學(xué)上，這種聯(lián)合優(yōu)化可以表示為：

其中，符號$\hat{\Pi }$表示在優(yōu)化過程中更新的相機(jī)參數(shù)。請注意，公式（1）和公式（3）之間的唯一區(qū)別在于公式（3）將相機(jī)參數(shù)視為變量。
一般來說，相機(jī)參數(shù)$\Pi$包括相機(jī)內(nèi)參、姿態(tài)和鏡頭畸變。本文只考慮估計相機(jī)姿態(tài)，例如，第$i$幀圖像的相機(jī)姿態(tài)是一個變換$T_i=[R_i|t_i]$，其中$R_i\in SO(3)$表示旋轉(zhuǎn)，$t_i\in {\mathbb{R}}^3$表示平移。

3.3. 單目深度的校正

使用現(xiàn)成的單目深度網(wǎng)絡(luò)（如DPT [28]），我們從輸入圖像生成單目深度序列$D=D_i|i=\mathrm{0...}N?1$。不出所料，單目深度圖并不是多視角一致的，因此我們的目標(biāo)是恢復(fù)一系列多視角一致的深度圖，這些深度圖進(jìn)一步在我們的相對位姿損失項中得到利用。

具體而言，我們?yōu)槊總€單目深度圖考慮兩個線性變換參數(shù)，從而得到所有幀的變換參數(shù)序列$\Psi =({\alpha }_i，{\beta }_i)|i=\mathrm{0...}N?1$，其中${\alpha }_i$和${\beta }_i$分別表示比例因子和偏移量。在NeRF的多視角一致性約束下，我們的目標(biāo)是恢復(fù)$D_i$的多視角一致深度圖$D_i^{?}$：

通過聯(lián)合優(yōu)化${\alpha }_i$和${\beta }_i$以及NeRF，來實現(xiàn)這種聯(lián)合優(yōu)化，主要是通過在未畸變的深度圖$D_i^{?}$和通過NeRF渲染的深度圖${\hat{D}}_i$之間強(qiáng)制實現(xiàn)一致性來實現(xiàn)的。這種一致性通過深度損失來實現(xiàn)：

其中

式（5）對NeRF和單目深度圖都有好處。一方面，單目深度圖為NeRF訓(xùn)練提供了強(qiáng)的幾何先驗，降低了形狀-輻射度模糊性。另一方面，NeRF提供了多視角一致性，因此我們可以恢復(fù)一組多視角一致的深度圖用于相對姿態(tài)估計。

…詳情請參照古月居