近日，DeepMind的研究人員研發(fā)了一個名叫Dual Video Discriminator GAN（DVD－GAN）的人工智能模型，該模型通過能夠通過學(xué)習(xí)一系列的YouTube視頻數(shù)據(jù)集，生成高度逼真且連貫的256 x 256像素視頻，最長可達48幀。

目前，DVD－GAN的研究成果已于美國時間2019年7月15日發(fā)表在arxiv上，名為《在復(fù)雜數(shù)據(jù)集上的高效視頻生成（Efficient Video Generation on Complex Datasets）》。

AI造假視頻比造假圖片更難

最近，俄羅斯AI研究人員開發(fā)的FaceApp著實大火了一把，這款應(yīng)用通過人工智能技術(shù)能夠改變用戶自拍照的年齡、外貌、發(fā)色和性別，甚至可以生成虛構(gòu)的人物照片。這直接讓人們近距離地感受了人工智能技術(shù)給我們的生活帶來的樂趣。

但是否有人想過，有朝一日這些技術(shù)也能應(yīng)用在視頻領(lǐng)域呢？

如果說BigGAN是DeepMind在圖像領(lǐng)域開發(fā)的能夠生成高度逼真圖像的圖像生成器，那么DeepMind研究人員們開發(fā)的DVD－GAN，就是人工智能在視頻剪輯生成領(lǐng)域的最新突破。

研究人員在論文中表示，生成自然視頻對生成式建模來說是一個較大的挑戰(zhàn)，同時還會受到數(shù)據(jù)復(fù)雜性和計算需求增加的困擾。

因此，之前業(yè)界的研究人員們在研究視頻生成領(lǐng)域時，幾乎都圍繞著相對簡單的數(shù)據(jù)集，或者采用有限的時間信息來降低任務(wù)的復(fù)雜程度。

而這次，DeepMind的研究人員們主要針對視頻合成和視頻預(yù)測的任務(wù)，將生成圖像模型的強大功能和逼真效果擴展到視頻領(lǐng)域。

DVD－GAN：基于BigGAN模型結(jié)構(gòu)

研究人員們基于BigGAN的模型結(jié)構(gòu)，構(gòu)建了DVD－GAN的系統(tǒng)，并引入了一系列用于視頻生成的調(diào)整，使DVD－GAN能夠在Kinetics－600上進行訓(xùn)練。

Kinetics－600是一組由50萬段10秒高分辨率的YouTube視頻剪輯匯編而成的訓(xùn)練數(shù)據(jù)集，它最初是為識別人類動作而制作的，比目前其他常用的語料庫還大一個數(shù)量級。

同時，研究人員們表示，Kinetics－600具有多樣化特征，能消除他們對過擬合（Overfitting）的擔(dān)憂。過擬合主要是指機器學(xué)習(xí)時選擇的模型所包含的參數(shù)過多，以至出現(xiàn)這一模型對已知數(shù)據(jù)預(yù)測得很好，但對未知數(shù)據(jù)預(yù)測得很差的現(xiàn)象。

另一方面，DeepMind的研究人員們利用生成對抗以提供一個能生成動作的學(xué)習(xí)信號。

此外，DVD－GAN還有一個單獨的Transformer模塊，它可以讓學(xué)習(xí)信息在整合AI模型中傳播。

訓(xùn)練12至96小時即可生成視頻

研究論文表明，在經(jīng)過Google第三代TPU訓(xùn)練了12至96個小時后，DVD－GAN可以成功地生成視頻，這些視頻內(nèi)容包含了物體的組成和運動，以及各種復(fù)雜的紋理。

不足的是，DVD－GAN生成的視頻內(nèi)容有時較為“詭異”，例如生成的物體和人形奇形怪狀，甚至人體忽長忽短地變化。

但研究人員指出，當(dāng)把DVD－GAN放在UCF－101（一個包含13320個人類動作視頻的較小數(shù)據(jù)集）上進行評估后，DVD－GAN生成的樣本初始值最高為32．97。

DeepMind的研究人員們希望能進一步強調(diào)在大型復(fù)雜視頻數(shù)據(jù)集上訓(xùn)練生成模型的好處，例如Kinetics－600。

“我們設(shè)想通過DVD－GAN在這個數(shù)據(jù)集上建立強大的基線，該基線將被用作未來建模生成領(lǐng)域的參考點�！毖芯咳藛T表示，“盡管在不受約束的環(huán)境下持續(xù)生成逼真的視頻還需要進行很多工作，但我們相信DVD－GAN是我們朝這個方向邁出的重要一步�！�

網(wǎng)絡(luò)（GANs）來區(qū)分生成樣本和真實世界樣本，該網(wǎng)絡(luò)主要由生成器和判別器兩部分組成。

GANs曾被應(yīng)用在把文字轉(zhuǎn)換成一幕幕的場景故事，或生成人造星系圖像等任務(wù)中。而研究人員們這次使用的是名為BigGANs的生成對抗網(wǎng)絡(luò)，該網(wǎng)絡(luò)以大批量和數(shù)百萬個參數(shù)而得名。

值得一提的是，DVD－GAN包含兩個判別器。一個是空間判別器（Spatial Discriminator：D＿S），該判別器通過隨機采樣全分辨率幀并單獨處理，以評估單個幀的內(nèi)容和結(jié)構(gòu)；另一個是時間判別器（Temporal Discriminator：D＿T），它可以提供一個能生成動作的學(xué)習(xí)信號。

此外，DVD－GAN還有一個單獨的Transformer模塊，它可以讓學(xué)習(xí)信息在整合AI模型中傳播。

結(jié)語：用AI生成高度逼真視頻的一次嘗試

不管是BigGAN還是FaceApp，以往的研究人員們在人工智能生成圖像領(lǐng)域進行了許多具有突破性的研究，但在視頻領(lǐng)域，除了AI換臉曾火了一把之外，并沒有更多的突破性進展。

而DeepMind的研究人員們基于BigGAN架構(gòu)和Kinetics－600訓(xùn)練數(shù)據(jù)集開發(fā)的DVD－GAN，利用計算高效的判別器分解，擴展到時間更長、分辨率更高的視頻。就目前來說，雖然這一成果還有些許不足，但這無疑是研究人員們利用AI生成高度逼真視頻的一次重要嘗試。