2024-10-19，由伊利諾伊大學厄巴納-香檳分校和香港城市大學的研究團隊提出了一種創(chuàng)新方法，通過將常規(guī)視頻轉換成偽標記的多攝像機視角推薦數據集，有效解決了在未知領域中模型泛化能力差的問題。數據集的創(chuàng)建，為電影、電視和其他媒體制作中的攝像機選擇提供了有力的輔助，顯著提高了模型在目標領域的準確性，實現(xiàn)了68%的相對改進。

一、研究背景：

在電影、電視和其他媒體制作中，多攝像機系統(tǒng)的作用不可或缺。選擇合適的攝像機視角對于提高制作質量和滿足觀眾偏好至關重要。基于學習的視角推薦框架可以幫助專業(yè)人士做出決策，但這些框架在訓練領域之外往往表現(xiàn)不佳，而標記好的多攝像機視角推薦數據集的稀缺加劇了這一問題。

目前遇到困難和挑戰(zhàn):

1、多攝像機視角推薦模型在未見過的領域中泛化能力差，導致準確率顯著下降。

2、現(xiàn)有的多攝像機編輯數據集（如TVMCE）僅限于特定場景和類型，無法覆蓋更廣泛的領域。

3、收集相同領域的數據需要多個同步攝像機捕捉同一事件，且需要專業(yè)的電影制作專家進行標記，這在實際操作中非常困難。

數據集地址：多攝像頭視圖推薦數據集|模型泛化數據集

二、讓我們一起來看一下Pseudo Multi-Camera Editing數據集：

Pseudo Multi-Camera Editing Dataset：通過將常規(guī)視頻轉換為偽標記的多攝像機視角推薦數據集，以解決標記數據稀缺的問題。研究團隊利用視頻編輯中的鏡頭轉換來模擬攝像機切換，通過聚類鏡頭來模擬不同的攝像機，并選擇每個“偽”攝像機中最相似的鏡頭作為候選鏡頭，與真實鏡頭一起生成偽標記數據。

數據集構建：

包括鏡頭檢測、聚類生成偽攝像機標簽、以及從每個偽攝像機中選擇候選鏡頭。使用ResNet50預訓練模型提取圖像特征，并計算鏡頭間的視覺相似度。

數據集特點：

1、利用常規(guī)視頻生成偽標記數據，無需專業(yè)標記。

2、通過聚類模擬多攝像機系統(tǒng)，提高模型在未知領域的泛化能力。

3、實現(xiàn)了68%的相對準確率提升。

研究者可以使用該數據集訓練和測試多攝像機視角推薦模型。通過對比真實鏡頭和候選鏡頭的特征，模型可以學習在不同場景下選擇合適的攝像機視角。

基準測試 ：

在TVMCE數據集上，與現(xiàn)有的Temporal and Contextual Transformer (TC Transformer)模型相比，提出的框架在域內準確率上提高了11%。在未知領域（如情景喜劇場景）中，使用偽數據集訓練的模型表現(xiàn)出顯著更好的泛化能力。

（a） 在特定域的標記多相機編輯數據集上訓練的模型對前所未見的域的泛化效果不佳，準確性顯著下降。（b） 我們提出的方法利用常規(guī)視頻為目標域生成偽標記數據集并提高模型的準確性

模型架構。（a） 過去的編碼器將所有過去的特征編碼為單個特征向量。然后，應用對比損失以最大化過去特征和真實特征之間的余弦相似性。（b） 特征提取器通過向圖像特征添加位置嵌入來對幀進行編碼。

偽數據集生成管道。（a） 在輸入視頻中檢測到鏡頭，以及 （b） 分組。同一群集中的快照被視為來自同一“偽”攝像機。（c） 選擇鏡頭作為錨點。后續(xù)鏡頭是地面實況，而其他每個 N-1 偽相機中最相似的鏡頭被選為候選鏡頭。

與基線的比較。多攝像頭視圖推薦模型對前所未見的領域的泛化效果不佳。ID：域內，OOD：域外。

視頻場景的影響。在與測試集不同的場景中訓練的模型準確率較低。綠色和紅色表示相同和不同。

視頻場景和類型（情景喜劇）的影響。更顯著的域差異（視頻場景 + 視頻類型）會嚴重影響準確性。來自廣泛視頻的偽數據集可以覆蓋目標視頻場景和類型，從而獲得更高的準確性。綠色、橙色和紅色表示相同、有遮蓋和不同。

三、讓我們一起展望Pseudo Multi-Camera Editing數據集應用

比如，我是一名電影剪輯師。

我日常的工作：坐在剪輯室里，我得盯著屏幕，看那些復雜的實驗室場景，或者是太空船的駕駛艙。每個攝像機都捕捉了不同的角度，有的可能是全景，有的可能是特寫，還有的可能聚焦在某個重要的儀器上。我得決定什么時候切換到哪個鏡頭，才能讓觀眾感受到那種緊張刺激的氣氛，同時又不能錯過任何重要的細節(jié)。這就像是在做一道復雜的數學題，你得把所有的元素都考慮到，還得保證最后的結果讓觀眾滿意。

現(xiàn)在有了這個Pseudo Multi-Camera Editing Dataset數據集訓練的系統(tǒng)，我的眼睛得到更好的休息。

比如，我在剪輯一個太空船即將進入黑洞的緊張場景。這個系統(tǒng)就能幫我分析出，哪個鏡頭最能展現(xiàn)太空船的動態(tài)，哪個鏡頭最能捕捉到宇航員臉上的緊張表情。它會告訴我，現(xiàn)在可以切換到一個全景鏡頭，讓觀眾感受到太空船在黑洞面前的渺小；然后，再切換到宇航員的特寫，因為他的眼神中透露出堅定和決心。

這個系統(tǒng)就像是我的智能剪輯助手，它通過學習大量的視頻資料，已經知道在這種科技電影中，哪些鏡頭最能打動人心。比如，在剪輯一個科學家在實驗室里做實驗的場景時，它會建議我切換到一個特寫鏡頭，聚焦在科學家手中的那個即將引爆的裝置上，因為那個裝置的每一個細節(jié)都可能關系到整個實驗的成敗。

而且，這個系統(tǒng)還能幫我處理那些特別復雜的特效場景。比如，太空船在太空中爆炸的場景，它能夠分析出哪個鏡頭最能捕捉到爆炸的震撼效果，哪個切換最能帶動觀眾的情緒。這樣，我就可以把更多的精力放在故事的敘述上，而不是糾結于每個鏡頭的選擇。

有了Pseudo Multi-Camera Editing Dataset數據集訓練的系統(tǒng)，讓我在剪輯科技電影時，能夠更加專注于創(chuàng)意和故事的講述，而不用擔心錯過那些重要的細節(jié)。它幫我捕捉到每一個精彩的瞬間，讓我的工作變得更加高效和有趣。

來吧，讓我們走進多攝像頭視圖推薦數據集|模型泛化數據集