wordpress 圖片 分離seo研究所
2024-10-19，由伊利諾伊大學(xué)厄巴納-香檳分校和香港城市大學(xué)的研究團(tuán)隊提出了一種創(chuàng)新方法，通過將常規(guī)視頻轉(zhuǎn)換成偽標(biāo)記的多攝像機(jī)視角推薦數(shù)據(jù)集，有效解決了在未知領(lǐng)域中模型泛化能力差的問題。數(shù)據(jù)集的創(chuàng)建，為電影、電視和其他媒體制作中的攝像機(jī)選擇提供了有力的輔助，顯著提高了模型在目標(biāo)領(lǐng)域的準(zhǔn)確性，實現(xiàn)了68%的相對改進(jìn)。
一、研究背景：
在電影、電視和其他媒體制作中，多攝像機(jī)系統(tǒng)的作用不可或缺。選擇合適的攝像機(jī)視角對于提高制作質(zhì)量和滿足觀眾偏好至關(guān)重要?；趯W(xué)習(xí)的視角推薦框架可以幫助專業(yè)人士做出決策，但這些框架在訓(xùn)練領(lǐng)域之外往往表現(xiàn)不佳，而標(biāo)記好的多攝像機(jī)視角推薦數(shù)據(jù)集的稀缺加劇了這一問題。
目前遇到困難和挑戰(zhàn):
1、多攝像機(jī)視角推薦模型在未見過的領(lǐng)域中泛化能力差，導(dǎo)致準(zhǔn)確率顯著下降。
2、現(xiàn)有的多攝像機(jī)編輯數(shù)據(jù)集（如TVMCE）僅限于特定場景和類型，無法覆蓋更廣泛的領(lǐng)域。
3、收集相同領(lǐng)域的數(shù)據(jù)需要多個同步攝像機(jī)捕捉同一事件，且需要專業(yè)的電影制作專家進(jìn)行標(biāo)記，這在實際操作中非常困難。
數(shù)據(jù)集地址：多攝像頭視圖推薦數(shù)據(jù)集|模型泛化數(shù)據(jù)集
二、讓我們一起來看一下Pseudo Multi-Camera Editing數(shù)據(jù)集：
Pseudo Multi-Camera Editing Dataset：通過將常規(guī)視頻轉(zhuǎn)換為偽標(biāo)記的多攝像機(jī)視角推薦數(shù)據(jù)集，以解決標(biāo)記數(shù)據(jù)稀缺的問題。研究團(tuán)隊利用視頻編輯中的鏡頭轉(zhuǎn)換來模擬攝像機(jī)切換，通過聚類鏡頭來模擬不同的攝像機(jī)，并選擇每個“偽”攝像機(jī)中最相似的鏡頭作為候選鏡頭，與真實鏡頭一起生成偽標(biāo)記數(shù)據(jù)。
數(shù)據(jù)集構(gòu)建：
包括鏡頭檢測、聚類生成偽攝像機(jī)標(biāo)簽、以及從每個偽攝像機(jī)中選擇候選鏡頭。使用ResNet50預(yù)訓(xùn)練模型提取圖像特征，并計算鏡頭間的視覺相似度。
數(shù)據(jù)集特點(diǎn)：
1、利用常規(guī)視頻生成偽標(biāo)記數(shù)據(jù)，無需專業(yè)標(biāo)記。
2、通過聚類模擬多攝像機(jī)系統(tǒng)，提高模型在未知領(lǐng)域的泛化能力。
3、實現(xiàn)了68%的相對準(zhǔn)確率提升。
研究者可以使用該數(shù)據(jù)集訓(xùn)練和測試多攝像機(jī)視角推薦模型。通過對比真實鏡頭和候選鏡頭的特征，模型可以學(xué)習(xí)在不同場景下選擇合適的攝像機(jī)視角。
基準(zhǔn)測試 ：
在TVMCE數(shù)據(jù)集上，與現(xiàn)有的Temporal and Contextual Transformer (TC Transformer)模型相比，提出的框架在域內(nèi)準(zhǔn)確率上提高了11%。在未知領(lǐng)域（如情景喜劇場景）中，使用偽數(shù)據(jù)集訓(xùn)練的模型表現(xiàn)出顯著更好的泛化能力。
（a） 在特定域的標(biāo)記多相機(jī)編輯數(shù)據(jù)集上訓(xùn)練的模型對前所未見的域的泛化效果不佳，準(zhǔn)確性顯著下降。（b） 我們提出的方法利用常規(guī)視頻為目標(biāo)域生成偽標(biāo)記數(shù)據(jù)集并提高模型的準(zhǔn)確性
模型架構(gòu)。（a） 過去的編碼器將所有過去的特征編碼為單個特征向量。然后，應(yīng)用對比損失以最大化過去特征和真實特征之間的余弦相似性。（b） 特征提取器通過向圖像特征添加位置嵌入來對幀進(jìn)行編碼。
偽數(shù)據(jù)集生成管道。（a） 在輸入視頻中檢測到鏡頭，以及 （b） 分組。同一群集中的快照被視為來自同一“偽”攝像機(jī)。（c） 選擇鏡頭作為錨點(diǎn)。后續(xù)鏡頭是地面實況，而其他每個 N-1 偽相機(jī)中最相似的鏡頭被選為候選鏡頭。
與基線的比較。多攝像頭視圖推薦模型對前所未見的領(lǐng)域的泛化效果不佳。ID：域內(nèi)，OOD：域外。
視頻場景的影響。在與測試集不同的場景中訓(xùn)練的模型準(zhǔn)確率較低。綠色和紅色表示相同和不同。
視頻場景和類型（情景喜劇）的影響。更顯著的域差異（視頻場景 + 視頻類型）會嚴(yán)重影響準(zhǔn)確性。來自廣泛視頻的偽數(shù)據(jù)集可以覆蓋目標(biāo)視頻場景和類型，從而獲得更高的準(zhǔn)確性。綠色、橙色和紅色表示相同、有遮蓋和不同。
三、讓我們一起展望Pseudo Multi-Camera Editing數(shù)據(jù)集應(yīng)用
比如，我是一名電影剪輯師。
我日常的工作：坐在剪輯室里，我得盯著屏幕，看那些復(fù)雜的實驗室場景，或者是太空船的駕駛艙。每個攝像機(jī)都捕捉了不同的角度，有的可能是全景，有的可能是特寫，還有的可能聚焦在某個重要的儀器上。我得決定什么時候切換到哪個鏡頭，才能讓觀眾感受到那種緊張刺激的氣氛，同時又不能錯過任何重要的細(xì)節(jié)。這就像是在做一道復(fù)雜的數(shù)學(xué)題，你得把所有的元素都考慮到，還得保證最后的結(jié)果讓觀眾滿意。
現(xiàn)在有了這個Pseudo Multi-Camera Editing Dataset數(shù)據(jù)集訓(xùn)練的系統(tǒng)，我的眼睛得到更好的休息。
比如，我在剪輯一個太空船即將進(jìn)入黑洞的緊張場景。這個系統(tǒng)就能幫我分析出，哪個鏡頭最能展現(xiàn)太空船的動態(tài)，哪個鏡頭最能捕捉到宇航員臉上的緊張表情。它會告訴我，現(xiàn)在可以切換到一個全景鏡頭，讓觀眾感受到太空船在黑洞面前的渺小；然后，再切換到宇航員的特寫，因為他的眼神中透露出堅定和決心。
這個系統(tǒng)就像是我的智能剪輯助手，它通過學(xué)習(xí)大量的視頻資料，已經(jīng)知道在這種科技電影中，哪些鏡頭最能打動人心。比如，在剪輯一個科學(xué)家在實驗室里做實驗的場景時，它會建議我切換到一個特寫鏡頭，聚焦在科學(xué)家手中的那個即將引爆的裝置上，因為那個裝置的每一個細(xì)節(jié)都可能關(guān)系到整個實驗的成敗。
而且，這個系統(tǒng)還能幫我處理那些特別復(fù)雜的特效場景。比如，太空船在太空中爆炸的場景，它能夠分析出哪個鏡頭最能捕捉到爆炸的震撼效果，哪個切換最能帶動觀眾的情緒。這樣，我就可以把更多的精力放在故事的敘述上，而不是糾結(jié)于每個鏡頭的選擇。
有了Pseudo Multi-Camera Editing Dataset數(shù)據(jù)集訓(xùn)練的系統(tǒng)，讓我在剪輯科技電影時，能夠更加專注于創(chuàng)意和故事的講述，而不用擔(dān)心錯過那些重要的細(xì)節(jié)。它幫我捕捉到每一個精彩的瞬間，讓我的工作變得更加高效和有趣。