AI修圖到底有多強?
前幾日，Adobe Max 大會剛剛結(jié)束，Photoshop 2021版便登上了國外各大媒體版面。
其原因是，新版Ps工具中內(nèi)置了AI驅(qū)動工具，諸如“天空置換”等高難度修圖問題，現(xiàn)在點點鼠標(biāo)就可以輕松實現(xiàn)，而且效果遠(yuǎn)超手動操作。
無論是拍人拍景或是其他，“天空”都可以說是攝像中的關(guān)鍵元素。比如，一張平平無奇的景色圖加上落日余暉的天空色調(diào)，是不是有內(nèi)味了?
對于短視頻愛好者來說，如果也能達(dá)到如此處理效果豈不是更佳?
沒錯，今天小編就是要給大家介紹一款基于原生視頻的AI處理方法，不僅可以一鍵切置換天空背景，還可以打造任意“天空之城”。
AI視頻修復(fù)新玩法
這項AI處理方法來自密歇根大學(xué)的一位華人博士后的最新研究。該方法基于視覺技術(shù)可一鍵調(diào)整視頻中的天空背景和天氣轉(zhuǎn)換。
比如，《星際迷航》等科幻電影中經(jīng)常出現(xiàn)的浩瀚星空、宇宙飛船，也可以利用這項技術(shù)融入隨手拍的視頻中。
公路片秒變科幻片，畫面毫無違和感。
視頻中的藍(lán)色的天空背景也隨飛船變成了灰蒙蒙的色調(diào)，一種世界末日的即視感有木有?
當(dāng)然它的玩法還不止如此。
動漫迷也可以創(chuàng)建自己的移動城堡。喜歡《天空之城》《哈爾的移動城堡》的朋友應(yīng)該對這一幕應(yīng)該非常熟悉。
又或者在視頻中掛一個超級月亮，又是另一番景象。
好像只要腦洞夠大，利用這項AI技術(shù)，視頻創(chuàng)作就有無限種玩法。
另外，它還具備天氣轉(zhuǎn)換的功能，比如晴空萬里、陰雨綿綿、雷雨交加等各種天氣都可以在視頻中隨意切換。
喜歡玩Vlog的朋友聽著是不是非常心動了?研究人員表示，現(xiàn)在已經(jīng)在考慮將其制作成插件/腳本的形式，方便相關(guān)從業(yè)者或行業(yè)使用。
在此之前，這項技術(shù)的AI代碼已經(jīng)在Github開源，懂技術(shù)的朋友可以優(yōu)先安裝體驗了~
Github地址：https://github.com/jiupinjia/SkyAR
技術(shù)原理
不同于傳統(tǒng)研究，研究人員提出了一種完全基于視覺的解決方案。它的好處就是可以處理非靜態(tài)圖像，同時不受拍攝設(shè)備的限制，也不需要用戶交互，可以處理在線或離線視頻。
上述實驗視頻，均是通過手持智能手機和行車記錄儀在野外拍攝的。經(jīng)過該方法處理后，其在視頻質(zhì)量、運動動態(tài)、照明轉(zhuǎn)換方面都達(dá)到了較高的保真度。比如在浮動城堡，超級月亮樣例中，使用單個NVIDIA Titan XP GPU卡，該方法可以在輸出分辨率為640 x 320時達(dá)到24 fps的實時處理速度，在854 x 480時達(dá)到接近15 fps的實時處理速度。
具體來說，該方法分為三個核心模塊：
天空遮罩框架(Sky Matting Network)：用于檢測視頻幀中天空區(qū)域的視頻框架。該框架是采用了基于深度學(xué)習(xí)的預(yù)測管道，能夠產(chǎn)生更精確的檢測結(jié)果和更具視覺效果的天空蒙版。
運動估計(Motion Estimation)：用于恢復(fù)天空運動的運動估計器。天空視頻需要在真實攝像機的運動下進(jìn)行渲染和同步。
圖像融合(Image Blending)：用于將用戶指定的天空模板混合到視頻幀中的Skybox。除此之外，還用于重置和著色，使混合結(jié)果在其顏色和動態(tài)范圍內(nèi)更具視覺逼真感。
完整框架如下圖：
天空遮罩框架：利用深卷積神經(jīng)網(wǎng)絡(luò)(CNN)的優(yōu)勢，在一個像素級回歸框架下對天空冰雹進(jìn)行預(yù)測，該框架可以產(chǎn)生粗尺度和細(xì)尺度的天空蒙版。
天空遮罩框架由一個分段編碼器( Segmentation Encoder )、一個掩模預(yù)測解碼器(Mask Prediction Decoder)和一個軟細(xì)化模塊(Soft Refinement Module)組成。
其中，編碼器的目的是學(xué)習(xí)下采樣輸入圖像的中間特征表示。解碼器被用來訓(xùn)練和預(yù)測粗糙的天空。優(yōu)化模塊同時接收粗糙的天空蒙版和高分辨率輸入，并生成一個高精度的天空蒙版。
運動估計：研究人員直接估計了目標(biāo)在無窮遠(yuǎn)處的運動，并創(chuàng)建了一個用于圖像混合的天空盒(Skybox)，通過將360°天空盒模板圖像混合到透視窗口來渲染虛擬天空背景。
假設(shè)天空模式的運動是由一個矩陣M2R33來模擬的。 由于天空中的物體(如云、太陽或月亮)應(yīng)該位于同一個位置，假設(shè)它們的透視變換參數(shù)是固定值，并且已經(jīng)包含在天空盒背景圖像中，然后使用迭代Lucas-Kanade和金字塔方法計算光學(xué)流，從而可以逐幀跟蹤一組稀疏特征點。對于每對相鄰幀，給定兩組2D特征點，使用基于RANSAC的魯棒模糊估計來計算具有四個自由度(僅限于平移、旋轉(zhuǎn)和均勻縮放)的最佳2D變換。
圖像融合：在預(yù)測天空蒙版時，輸出像素值越高，表示像素屬于天空背景的概率越高。在常規(guī)方法中，通常利用圖像遮罩方程，將新合成的視頻幀與背景進(jìn)行線性組合，以作為它們的像素級組合權(quán)重。
但由于前景色和背景色可能具有不同的色調(diào)和強度，因此直接進(jìn)行上述方法可能會導(dǎo)致不切實際的結(jié)果。 因此，研究人員應(yīng)用重新著色和重新照明技術(shù)將顏色和強度從背景轉(zhuǎn)移到前景。
實驗結(jié)果
研究人員采用了天空電視臺上的一個數(shù)據(jù)集。 該數(shù)據(jù)集基于AED20K數(shù)據(jù)集構(gòu)建而成，包括多個子集，其中每個子集對應(yīng)于使用不同方法創(chuàng)建真實的填空遮罩。
本次試驗使用“ADE20K+DE+GF”子集進(jìn)行了培訓(xùn)和評估，該訓(xùn)練集中有9187張圖像，驗證集中有885張圖像。以下為基于該方法的視頻天空增強效果：
最左邊是輸入視頻的起始幀，右邊的圖像序列是不同時間段下的輸出效果
天氣轉(zhuǎn)換的效果，分別為晴到多云，晴到小雨，多云到晴天以及多云到多雨。
需要強調(diào)的是，在合成雨天圖像時，研究人員通過屏幕混合在結(jié)果的頂部添加動態(tài)雨層(視頻源)和霧層。 結(jié)果顯示，只需對skybox模板和重新照明因子稍作修改，就可以實現(xiàn)視覺逼真的天氣轉(zhuǎn)換。
與CycleGAN的比較結(jié)果。CycleGAN是一種基于條件生成對抗網(wǎng)絡(luò)的非成對圖像到圖像轉(zhuǎn)換方法。在定性方面，該方法表現(xiàn)出更高的保真度。
第一行為兩個原始的輸入幀;第三行為CycleGAN結(jié)果
在定性比較上，PI和NIQE的得分值越低越好。
可以看出，該方法在定量指標(biāo)和視覺質(zhì)量方面都優(yōu)于CycleGAN。
更多論文詳細(xì)內(nèi)容，可參見：https://arxiv.org/abs/2010.11800
相關(guān)作者
Zhengxia Zou，是該項研究的第一作者，目前是密歇根大學(xué)安娜堡分校的博士后研究員 。
他于2013年和2018年獲得北京航空航天大學(xué)的學(xué)士學(xué)位和博士學(xué)位，后加入密歇根大學(xué)，其研究興趣包括計算機視覺在遙感、自動駕駛以及視頻游戲中的相關(guān)應(yīng)用。
近幾年，其發(fā)表的多篇相關(guān)論文被ACM、CVPR以及AAAI頂會收錄。
對于該項研究，Zhengxia Zou認(rèn)為，除了視頻領(lǐng)域的應(yīng)用外，還有一個潛在應(yīng)用空間—數(shù)據(jù)擴充。 他說，
數(shù)據(jù)集的規(guī)模和質(zhì)量是計算機視覺技術(shù)的基礎(chǔ)，在現(xiàn)實場景中，即使ImageNet、MS-COCO等大規(guī)模數(shù)據(jù)集，在應(yīng)用中也存在采樣偏差帶來的局限，而該方法對于提高深度學(xué)習(xí)模型在檢測、分割、跟蹤等各種視覺任務(wù)中的泛化能力具有很大的潛力。
不過，目前研究也存在一定的局限性，主要體現(xiàn)在兩個方面，
一是天空遮罩網(wǎng)絡(luò)無法檢測到夜間視頻中的天空區(qū)域。
二是當(dāng)視頻中某段時間內(nèi)沒有天空像素，或者沒有紋理時，天空背景的運動就無法精確建模。
其原因是用于運動估計的特征點被假定為位于同一位置，并且使用距離第二遠(yuǎn)的特征點來估計運動會不可避免地引入誤差。
因此，在未來的工作中，研究會著重于三個方向進(jìn)行優(yōu)化：第一是自適應(yīng)天空光照;第二是魯棒背景運動估計;第三是探索基于天空渲染的數(shù)據(jù)增強對目標(biāo)檢測和分割的有效性。
關(guān)鍵詞：
