天空中翱翔的海鷗憑空消失，沙漠中的背包客在行走中人間蒸發(fā)……這些原本需要電影制作人員完成的視頻特效又一次被人工智能“學(xué)會(huì)了”。

近期，一項(xiàng)收錄于歐洲計(jì)算機(jī)視覺國(guó)際會(huì)議（ECCV）的研究開發(fā)了一種人工智能視頻處理算法，可以在視頻畫面里抹除運(yùn)動(dòng)中的物體，同時(shí)保持運(yùn)動(dòng)邊界的清晰度。

這項(xiàng)研究題為《光流 - 邊緣引導(dǎo)的視頻補(bǔ)全》（Flow-edge Guided Video Completion），由美國(guó)弗吉尼亞理工大學(xué)和Facebook合作完成，第一作者是美國(guó)弗吉尼亞理工大學(xué)計(jì)算機(jī)工程專業(yè)的博士生高諶。

高諶目前師從弗吉尼亞理工大學(xué)助理教授Jia-Bin Huang，研究領(lǐng)域是計(jì)算攝影和計(jì)算機(jī)視覺，研究集中在圖像/視頻操作和視覺場(chǎng)景理解。

正在騎馬的運(yùn)動(dòng)員和馬匹一起消失

在高湛及其同事展示的研究成果畫面中，各類運(yùn)動(dòng)中的物體，如擺動(dòng)中的秋千、正在騎馬的運(yùn)動(dòng)員、海上行駛的帆船等，通通在視頻里“無痕”消失，肉眼看不出人為的編輯痕跡。

這項(xiàng)研究的另一位作者Jia-Bin Huang在社交媒體中透露，該算法可以在隨意拍攝的視頻中無縫地移除對(duì)象、水印或擴(kuò)大畫面視野。這一算法還得到圖靈獎(jiǎng)得主、人工智能科學(xué)家Yann LeCun 的推薦。

高湛等人在論文中介紹，這是一種基于光流的視頻補(bǔ)全算法。視頻補(bǔ)全（video completion）任務(wù)是用新合成的內(nèi)容填充給定的時(shí)空區(qū)域。它有許多應(yīng)用，例如修復(fù)（去除劃痕）、視頻編輯、特效工作流（去除不需要的對(duì)象）、去水印和標(biāo)志以及視頻穩(wěn)定。

對(duì)于視頻補(bǔ)全任務(wù)而言，難點(diǎn)是新生成的內(nèi)容需要無縫地嵌入到視頻中，并且更改應(yīng)盡可能不被察覺。幾年前，業(yè)界通用的方法是基于補(bǔ)丁的合成技術(shù)。但這些方法通常合成速度慢，合成新內(nèi)容的能力有限，只能重新混合視頻中已有的補(bǔ)丁。

后來出現(xiàn)了基于學(xué)習(xí)的技術(shù)，能夠?qū)崿F(xiàn)更合理的合成效果，但是由于視頻的高內(nèi)存要求，存在分辨率問題。

噴泉旁旋轉(zhuǎn)舞蹈的少女在起跳后消失

作者認(rèn)為，目前最成功的視頻補(bǔ)全方法是基于光流的技術(shù)，其能夠合成色彩和光流，沿著光流的軌跡傳遞顏色，以提升視頻的時(shí)間連貫性，從而減輕內(nèi)存問題并實(shí)現(xiàn)高分辨率輸出。

這項(xiàng)新研究也采用了基于光流的辦法。作者表示，以往的光流補(bǔ)全方法往往無法保持運(yùn)動(dòng)邊界的清晰度，而他們所開發(fā)的方法首先提取并補(bǔ)全運(yùn)動(dòng)物體的邊緣，再以光流邊緣為引導(dǎo)補(bǔ)全光流。由于并非所有視頻中缺失的區(qū)域都能通過這種方法補(bǔ)全，研究人員引入了非局部光流，使得視頻內(nèi)容能夠在運(yùn)動(dòng)邊界上傳播。

作者稱，可視化和定量結(jié)果都表明，他們的方法與最新的算法相比具有更好的性能。他們同時(shí)指出，其方法的運(yùn)行速度為0.12fps（Frames Per Second，每秒傳輸幀數(shù)），與其他基于光流的方法相當(dāng)，運(yùn)行速度稍慢是一大弱點(diǎn)。