文/VR陀螺 林德

上周,熱搜話題#英偉達(dá)發(fā)布會(huì)的黃仁勛是假的#,引起了大眾的的激烈討論。不管是不是知悉英偉達(dá),或是其創(chuàng)始人黃仁勛的網(wǎng)友,無(wú)一不被報(bào)道中的CG技術(shù)所震驚。

簡(jiǎn)單概括一下這件事,有媒體報(bào)道稱,英偉達(dá)在上周的SIGGRAPH 2021(計(jì)算機(jī)圖形學(xué)頂級(jí)年度會(huì)議)上發(fā)布的官方幕后紀(jì)錄片中,自曝了今年4月的英偉達(dá)發(fā)布會(huì)上發(fā)表演講的創(chuàng)始人老黃是“假的”,是數(shù)字人。

不過(guò)隨著事情的持續(xù)發(fā)酵,有網(wǎng)友開(kāi)始質(zhì)疑這一消息的真假。

而后根據(jù)英偉達(dá)的澄清,我們得知,四月份的英偉達(dá)發(fā)布會(huì)上僅有約15秒的鏡頭是“虛擬老黃”,其余都是黃仁勛真人出境。

四月份英偉達(dá)發(fā)布會(huì)的黃仁勛

雖然只有短短15秒的“虛擬人老黃”,許多人還是被英偉達(dá)的CG渲染能力所震驚。真就“以假亂真”,字面意思!

借助8月12日發(fā)布的幕后紀(jì)錄片《Connecting in the Metaverse: The Making of the GTC Keynote》(在元宇宙中連接:GTC主題演講的制作),我們得以了解到一些這場(chǎng)“出圈”的發(fā)布會(huì)背后的制作故事。

在紀(jì)錄片的開(kāi)頭,英偉達(dá)的工程師Rev說(shuō)道,每年的GTC是一個(gè)展現(xiàn)英偉達(dá)工程師與團(tuán)隊(duì)一年成果的絕佳場(chǎng)所。以往的GTC主題演講都是通過(guò)PPT制作演示過(guò)程向觀眾投影,而今年的GTC與先去的發(fā)布會(huì)不同的是,Rev和他的團(tuán)隊(duì)是在英偉達(dá)的Omniverse平臺(tái)中來(lái)完成整個(gè)主題演講的創(chuàng)作與渲染。

簡(jiǎn)單介紹一下,NVIDIA Omniverse是英偉達(dá)在2019年正式發(fā)布的一個(gè)計(jì)算機(jī)圖形與仿真模擬平臺(tái),在USD(通用場(chǎng)景描述)的基礎(chǔ)上,通過(guò)Connector工具將不同軟件、工具整合在Omniverse中,能夠?qū)崿F(xiàn)實(shí)時(shí)協(xié)作、加速設(shè)計(jì)工作流程。

?

?

圖源:網(wǎng)絡(luò)

換句話說(shuō),Omniverse允許不同分工的人員在同一時(shí)間使用不同軟件、工具對(duì)同一部設(shè)計(jì)作品進(jìn)行編輯處理,并且彼此之間可以實(shí)時(shí)看到處理進(jìn)度和效果。這對(duì)3D工作者而言,Omniverse的出現(xiàn)帶來(lái)了極大的便利性。

15秒的虛擬“老黃”  英偉達(dá)費(fèi)了多少工夫

從紀(jì)錄片中,我們了解到整個(gè)GTC主題演講發(fā)布會(huì)上的演示,是英偉達(dá)和一支小型藝術(shù)家團(tuán)隊(duì)利用了NVIDIA Omniverse平臺(tái)上的各種渲染技術(shù),進(jìn)行3D掃描、動(dòng)態(tài)捕捉、AI合成、畫(huà)面渲染等制作而成的。

由于疫情的影響,GTC發(fā)布會(huì)無(wú)法像之前一樣與觀眾進(jìn)行面對(duì)面交流,今年的GTC只好以線上發(fā)布會(huì)的形式召開(kāi)。經(jīng)過(guò)一番討論,英偉達(dá)團(tuán)隊(duì)將廚房主題定為了這次發(fā)布會(huì)的主題背景。 據(jù)了解,整個(gè)發(fā)布會(huì)的廚房布景為CG動(dòng)畫(huà)效果。

為了創(chuàng)建黃仁勛家中廚房的3D數(shù)字孿生,團(tuán)隊(duì)在黃仁勛的廚房里以從各個(gè)角度拍攝了數(shù)百?gòu)堈掌?通過(guò)3D建模軟件構(gòu)建一個(gè)粗略的模型,以作為增加建模細(xì)節(jié)和準(zhǔn)確性的起點(diǎn)。

?

圖源:postperspective

廚房里的物件大概有6千到8千個(gè),還有成千上萬(wàn)個(gè)螺絲釘�？上攵�知,這個(gè)工作量是龐大的。 ?

?

此外,團(tuán)隊(duì)還提到,他們?cè)趶N房里放了一個(gè)樂(lè)高版的黃仁勛和帶有英偉達(dá)發(fā)布的軟件產(chǎn)品TAO標(biāo)志的橄欖油罐,作為本次發(fā)布會(huì)的彩蛋。

紀(jì)錄片中提到,除了對(duì)廚房進(jìn)行虛擬化,黃仁勛還挑戰(zhàn)了“虛擬化自己”,這也就是我們上文說(shuō)到的,15秒的虛擬黃仁勛。

為了實(shí)現(xiàn)這個(gè)任務(wù),團(tuán)隊(duì)駕駛著有數(shù)百個(gè)單反相機(jī)的大卡車到黃仁勛的家門(mén)口,完成第一步,即3D掃描。

為3D掃描拍攝了數(shù)千照片的黃仁勛

建模 在有了黃仁勛的模型之后,團(tuán)隊(duì)的目標(biāo)就是讓這個(gè)模型“活”過(guò)來(lái),其中最為主要的兩個(gè)重點(diǎn)就是模型的面部表現(xiàn)和身體表現(xiàn)。

虛擬黃仁勛的面部表現(xiàn)是由英偉達(dá)的Audio2Face技術(shù)驅(qū)動(dòng),可以根據(jù)音頻來(lái)實(shí)現(xiàn)面部表現(xiàn)的自動(dòng)化。

但上圖這個(gè)模型,在皮膚紋理、燈光等等方面還遠(yuǎn)達(dá)不到“栩栩如生”的狀態(tài)。因此,英偉達(dá)的研究團(tuán)隊(duì)通過(guò)一項(xiàng)名為Face Video to Video的技術(shù),將拍攝得到的黃仁勛照片映射到CG他自己的CG動(dòng)畫(huà)版本上。

“這種技術(shù)使我們的CG模型達(dá)到一個(gè)令人信服的結(jié)果�！�

合成

經(jīng)過(guò)龐大的工作量,英偉達(dá)團(tuán)隊(duì)完成了背景和面部表現(xiàn),不過(guò)面部的生動(dòng)表現(xiàn)僅僅是成功的一半。前文提到,還原老黃最重要的另一個(gè)部分是身體表現(xiàn)。

因此在身體表現(xiàn)的部分,英偉達(dá)研究團(tuán)隊(duì)聘請(qǐng)了一位演員,讓他穿上動(dòng)態(tài)捕捉裝備,并且記錄下該演員模仿黃仁勛演講的身體姿態(tài)。通過(guò)名為Audio to Gesture的技術(shù),使得演講的音頻作為身體動(dòng)作表現(xiàn)的獨(dú)特傳輸驅(qū)動(dòng)。

動(dòng)捕

據(jù)悉,該團(tuán)隊(duì)一共做了21個(gè)版本的“黃仁勛”。研究人員還表示,這21個(gè)版本的“黃仁勛”有著不同的性能,在拍板最后決定是使用哪一個(gè)時(shí),他還感覺(jué)自己是進(jìn)行選角活動(dòng),因?yàn)檫@些“黃仁勛”表現(xiàn)得都很不錯(cuò)。

最后,再通過(guò)CG動(dòng)畫(huà)渲染技術(shù),才得以實(shí)現(xiàn)短短15秒的虛擬“黃仁勛”演示。

渲染

“虛擬老黃”的演示不光騙過(guò)了大家,還幫助英偉達(dá)在SIGGRAPH 2021上獲得了“最佳展示獎(jiǎng)”。

Omniverse更新:聯(lián)手Adobe和Blender 打通元宇宙創(chuàng)作全流程

幕后制作紀(jì)錄片中,研究人員也提到,Omniverse的想法是將現(xiàn)有的,做3D的各種工具連接在一起,以構(gòu)建Metaverse。為了滿足更多創(chuàng)作者的需求,通過(guò)AI簡(jiǎn)化3D建模,使得3D建模變得更加容易,他們希望每個(gè)行業(yè)中,都有人在使用Omniverse平臺(tái)上的工具。

即使Metaverse現(xiàn)在僅僅處于概念階段,但這樣一來(lái),不論是對(duì)真實(shí)世界的復(fù)刻,還是基于Omniverse創(chuàng)造一個(gè)完全逼真的3D環(huán)境,都將助力Metaverse的形成。

借助此次活動(dòng),英偉達(dá)的Omnivers平臺(tái)也得到了進(jìn)一步進(jìn)化升級(jí),并宣布將聯(lián)手Adobe和Blender對(duì)Omniverse平臺(tái)進(jìn)行重大擴(kuò)展。

大家都聽(tīng)說(shuō)過(guò)的P圖軟件Photoshop和視頻剪輯軟件PR等都隸屬于Adobe,Blender則是一個(gè)開(kāi)源的三維動(dòng)畫(huà)工具。

Blender現(xiàn)在將支持通用場(chǎng)景描述(USD),使藝術(shù)家能夠訪問(wèn)Omniverse生產(chǎn)管道。并且,英偉達(dá)還推出了實(shí)驗(yàn)性的Blender alpha 3．0  USD,其中將包括更高級(jí)的USD和材料支持,據(jù)悉,將很快為Blender用戶提供此功能。

Adobe正在與NVIDIA合作開(kāi)發(fā)Substance 3D插件,該插件將為Omniverse提供Substance材料支持,為Omniverse和Substance 3D用戶開(kāi)啟新的材料編輯功能。

此外,英偉達(dá)還發(fā)布了一個(gè)新的Omniverse擴(kuò)展,GANverse3D – Image2Car,它可以使AI 3D建模變得更加容易。GANverse3D基于一個(gè)在2D照片上進(jìn)行訓(xùn)練的生成模型,合成數(shù)千個(gè)對(duì)象的多視圖來(lái)預(yù)測(cè)3D幾何、紋理和零件分割標(biāo)簽。

例如下圖,在生成的過(guò)程中,可以將汽車的單張照片轉(zhuǎn)變成在虛擬場(chǎng)景中的3D模型,并配置有逼真的前燈、閃光燈和車輪。

除新增擴(kuò)展程序外,英偉達(dá)還對(duì)一些創(chuàng)意應(yīng)用程序進(jìn)行了更新,包括對(duì)已推出的August Studio驅(qū)動(dòng)程序、Topaz Sharpen AI、Reallusion Character Creator以及Capture One 21。

英偉達(dá)Omniverse開(kāi)發(fā)平臺(tái)副總裁Richard Kerris曾表示:"英偉達(dá)Omniverse通過(guò)使Metaverse的愿景成為現(xiàn)實(shí)來(lái)連接各個(gè)世界。根據(jù)開(kāi)發(fā)者、合作伙伴和客戶的意見(jiàn),我們正在推進(jìn)這個(gè)革命性的平臺(tái),以便從個(gè)人到大型企業(yè)中的每個(gè)人都能與他人合作,建立令人驚嘆的虛擬世界,并使其外觀、感覺(jué)和行為與物理世界一樣。"  

SIGGRAPH 2021  英偉達(dá)推出新顯卡RTX A2000

在上周二的SIGGRAPH 2021上,除了揭示了GTC發(fā)布會(huì)上的CG演示之外,英偉達(dá)還帶來(lái)了一些其他軟件及新硬件的更迭消息。

首先,是與Omniverse開(kāi)發(fā)平臺(tái)全線打通的Topaz Sharpen AI v3．2版本發(fā)布。新版本改進(jìn)了由RTX GPU和Tensor Cores加速的AI模型,增加了1．5倍的運(yùn)動(dòng)模糊功能,以進(jìn)一步減少偽影。

通過(guò)實(shí)時(shí)處理蒙版筆畫(huà)和覆蓋顯示的自定義控件,改進(jìn)了應(yīng)用內(nèi)蒙版。

Reallusion Character Creator v4．43是第一個(gè)集成Audio2Face的第三方應(yīng)用程序,現(xiàn)在允許創(chuàng)作者將角色從 Character Creator導(dǎo)出到 Omniverse 作為具有 Audio2Face 兼容的 USD 文件。通過(guò)允許面部和唇部動(dòng)畫(huà)完全由語(yǔ)音輸入作為AI驅(qū)動(dòng),而不管語(yǔ)言如何,從而簡(jiǎn)化了3D角色動(dòng)畫(huà)的創(chuàng)作過(guò)程。

Capture One 21 v14．3．0更新添加了一個(gè)新的Magic Brush工具,可以在瞬間根據(jù)圖像內(nèi)容創(chuàng)建復(fù)雜的蒙版,用于圖層編輯,處理底層圖像。并且在這個(gè)過(guò)程中,與CPU相比,使用GPU時(shí)速度可提高至多3倍。

在硬件方面,英偉達(dá)宣布了新顯卡產(chǎn)品RTX A2000,一款低級(jí)別的、完全支持RTX的專業(yè)顯卡。據(jù)了解,RTX A2000是一個(gè)雙插槽、低矮式的顯卡,因此將適合2U服務(wù)器和較小的桌面機(jī)箱。此外,RTX A2000擁有3328個(gè)內(nèi)核,在處理能力和帶寬方面幾乎與Quadro P5000相當(dāng)。不過(guò),值得注意的是,RTX A2000的內(nèi)存僅有6GB。

從性能上來(lái)看,RTX A2000介于GeForce 3050TI和3060之間,應(yīng)該可以滿足大多數(shù)UHD視頻編輯的需求。這款顯卡將于10月份開(kāi)始供貨。

以上截圖均來(lái)源:英偉達(dá)