文/VR陀螺?元橋

VR一直都以輕量化內(nèi)容為主，缺重度內(nèi)容已久。

重度內(nèi)容相較于輕量化內(nèi)容更能滿足用戶的沉浸式體驗(yàn)，以游戲?yàn)槔�，好的體驗(yàn)感需要大量高精度3D素材，豐富的游戲角色和精美的畫(huà)面場(chǎng)景，在此基礎(chǔ)上增加空間感知與交互、玩法等。

傳統(tǒng)的建模方式不僅成本較高而且具備較高的門檻，同時(shí)人工建模領(lǐng)域優(yōu)秀的建模師稀缺，這也使成本再次上升。因此，業(yè)內(nèi)都在尋求高效且低成本的3D內(nèi)容生成方式。

近期，生成式AI爆火，從AIGC到3D模型，各大公司都開(kāi)始自研或發(fā)布AI 3D創(chuàng)作解決方案。例如騰訊AI Lab提出自研3D虛擬場(chǎng)景自動(dòng)生成解決方案，幫助游戲開(kāi)發(fā)者以更低成本創(chuàng)造風(fēng)格多樣、 貼近現(xiàn)實(shí)的虛擬城市，提升3D虛擬場(chǎng)景的生產(chǎn)效率。

生成式AI僅僅依靠一張圖片或者輸入關(guān)鍵文字就能轉(zhuǎn)化成3D模型，這種驚人的創(chuàng)作很快就讓人對(duì)這個(gè)領(lǐng)域產(chǎn)生了一連串的暢想：AI 3D創(chuàng)作真的要來(lái)了嗎？?jī)?nèi)容創(chuàng)作者的飯碗還穩(wěn)嗎？以下將從VR內(nèi)容制作的兩個(gè)重要環(huán)節(jié)：建模與渲染進(jìn)行分析。

AI 3D建模正加速到來(lái)

3D素材是包括游戲、影視、社交等所有3D應(yīng)用的基石，如果可以通過(guò)輸入文本快速生成三維模型，3D建模師就可以結(jié)合這項(xiàng)技術(shù)提高工作的效率，達(dá)到降本增效的效果，而海量的3D素材無(wú)疑會(huì)進(jìn)一步推動(dòng)VR的發(fā)展。

前面也提到由于人工建模需要花費(fèi)大量的時(shí)間和成本，因此很難滿足AR/VR對(duì)3D素材的需求。若想推動(dòng)元宇宙產(chǎn)業(yè)快速發(fā)展，海量的3D素材少不了，這也是為什么各大企業(yè)都在紛紛研發(fā)結(jié)合AI創(chuàng)建3D建模的技術(shù)。

2022年谷歌曾發(fā)表過(guò)一篇論文《DreamFusion：Text-To-3D Using 2D Diffusion》，詳細(xì)概述了“DreamFusion”。簡(jiǎn)單來(lái)看，“DreamFusion”是先使用一個(gè)預(yù)訓(xùn)練2D擴(kuò)散模型（如Imagen）基于文本提示生成多個(gè)視角的3D視圖，再依據(jù)NeRF（神經(jīng)輻射場(chǎng)）重建。

NeRF與Imagen互相影響，沒(méi)有一個(gè)訓(xùn)練得比較好的NeRF，Imagen很難生成連貫的多視角圖；反之，就得不到好的NeRF。于是作者提出NeRF和Imagen來(lái)回迭代的方法。這種來(lái)回迭代有個(gè)缺陷是耗時(shí)，如來(lái)回迭代15000次，生成一個(gè)模型就需要在4塊TPUv4上訓(xùn)練1.5小時(shí)。

圖：3DNeRF和2D生成模型來(lái)回迭代優(yōu)化（來(lái)源：dreamfusion3d）

目前很多三維方法都是基于NeRF所生成的，這種方式生成的三維物體在效率、渲染、質(zhì)量上都有顯著的提升，但現(xiàn)階段還不能做結(jié)構(gòu)數(shù)據(jù)，也就是Mesh，無(wú)法用來(lái)開(kāi)發(fā)VR重度內(nèi)容。關(guān)于NeRF（神經(jīng)輻射場(chǎng)）詳細(xì)介紹，可以參閱VR陀螺近期文章《高效低成本構(gòu)建元宇宙場(chǎng)景：NeRF神經(jīng)輻射場(chǎng)》

?圖源：網(wǎng)絡(luò)

2022年，英偉達(dá)也發(fā)表了一篇關(guān)于《Magic3D：High-Resolution Text-to-3D Content Creation》的論文。文中闡述了生成式AI如何無(wú)需特殊培訓(xùn)也可創(chuàng)建3D模型的過(guò)程。

隨著近期AIGC的爆火，Magic3D在業(yè)內(nèi)得到了極大的關(guān)注。也正因?yàn)榭吹組agic3D建模的效果，業(yè)內(nèi)人士普遍認(rèn)為AI 3D創(chuàng)作真的要來(lái)了。

Magic3D將重建過(guò)程分成了兩部分，一是先使用低分辨率創(chuàng)建粗略的模型，到第二階段從粗神經(jīng)表示初始化的紋理網(wǎng)格模型，使用與高分辨率潛在擴(kuò)散模型交互的高效可微的光柵化渲染器進(jìn)行優(yōu)化。類似于DreamFusion使用文本到生成2D圖像，然后基于NeRF創(chuàng)建3D模型一般。

圖：Magic3D的兩階段優(yōu)化過(guò)程示意圖（來(lái)源：網(wǎng)絡(luò)）

Magic3D還可以根據(jù)給定主題實(shí)例輸入圖像，使用DreamBooth微調(diào)擴(kuò)散模型，并使用給定的提示優(yōu)化3D模型。

?

圖：在給定主題下根據(jù)提示進(jìn)行模型優(yōu)化（來(lái)源：網(wǎng)絡(luò)）

同時(shí)，只需要40分鐘左右，Magic3D就可以創(chuàng)建一個(gè)帶有彩色紋理的3D網(wǎng)格模型，相比DreamFusion快了2倍。

目前DreamFusion和Magic3D尚未開(kāi)源，同時(shí)也未達(dá)到商業(yè)化的成熟度。AI創(chuàng)作對(duì)數(shù)據(jù)、算法有著極高的要求，而3D數(shù)據(jù)又具有天然的稀缺性，難收集等特點(diǎn)，即便有了龐大的數(shù)據(jù)，AI如何從龐大的數(shù)據(jù)中學(xué)習(xí)創(chuàng)作也是一個(gè)問(wèn)題；而從2D直接擴(kuò)展到3D，也需要極大的計(jì)算量，如何加快優(yōu)化速度，如何撰寫(xiě)正確的腳本都是需要解決的算法問(wèn)題。

此外，AI 3D創(chuàng)作在落地場(chǎng)景、可行性的商業(yè)化路徑、技術(shù)風(fēng)險(xiǎn)等方面都尚無(wú)法達(dá)到工業(yè)化的生產(chǎn)標(biāo)準(zhǔn)，甚至還有很長(zhǎng)一段路要走，據(jù)業(yè)內(nèi)預(yù)估可能五年或長(zhǎng)達(dá)十年之久。但可以看到的是ChatGPT已經(jīng)可以根據(jù)一段文字描述進(jìn)行編碼生成腳本，而GPT-5大模型也在籌備中了，就像互相迭代一樣，通過(guò)不斷地反饋更改，AI會(huì)變得越來(lái)越智能，所生成的編碼會(huì)逐步優(yōu)化升級(jí)，達(dá)到初步使用的需求。

一旦生成式AI的3D創(chuàng)作技術(shù)成熟，就可以加速VR游戲、視頻以及應(yīng)用程序的開(kāi)發(fā)。屆時(shí)，或?qū)��?huì)解決VR海量?jī)?nèi)容需求的一大痛點(diǎn)。

AI實(shí)時(shí)渲染：技術(shù)仍有限

除了建模，VR內(nèi)容制作另一個(gè)重要環(huán)節(jié)便是渲染了。渲染對(duì)用戶體驗(yàn)有直接的影響，一般在AR/VR場(chǎng)景中，為了能夠?qū)崿F(xiàn)靈活的交互方式和豐富的感官體驗(yàn)，需要在內(nèi)容生產(chǎn)中提升配套的實(shí)時(shí)渲染能力。

相對(duì)于傳統(tǒng)的非實(shí)時(shí)渲染，實(shí)時(shí)渲染所見(jiàn)即所得，能夠更加直觀地看到輸出效果，方便制作人員進(jìn)行調(diào)整。目前，人工智能已經(jīng)開(kāi)始在實(shí)時(shí)運(yùn)算渲染領(lǐng)域初顯本領(lǐng)了。

近期，海外一款名為ArkoAI的人工智能渲染器在設(shè)計(jì)創(chuàng)作領(lǐng)域得到了極大關(guān)注，以插件形式安裝在SketchUp、Rhino、Revit中。

使用者只需要輸入關(guān)鍵詞，僅幾秒就可以渲染出較好的效果圖；同時(shí)還可以將模型置于不同的場(chǎng)景中，即便是簡(jiǎn)單的幾何形體也能渲染出效果圖。

ArkoAI的初衷是簡(jiǎn)化設(shè)計(jì)師繁瑣的工作流程，但目前還只是一個(gè)簡(jiǎn)單的AI生成器，生成的圖片大部分是關(guān)于建筑和室內(nèi)領(lǐng)域；同時(shí)，渲染水平也停留在比較初級(jí)的階段，對(duì)建筑風(fēng)格和結(jié)構(gòu)的理解非常有限。前面也提到AI的核心是算法和數(shù)據(jù)，在渲染層面亦是如此。

目前AI渲染還達(dá)不到真正的使用需求，同時(shí)在多次輸入相同關(guān)鍵詞的情況下，渲染的圖會(huì)逐漸變得模糊甚至走形，AI的“智能”程度仍然有限。

雖然還不能切入VR內(nèi)容的創(chuàng)作層面，但是這個(gè)風(fēng)向標(biāo)卻越來(lái)越清晰了。

在GTC 2023大會(huì)上，英偉達(dá)也針對(duì)AI視頻、圖像生成、大型語(yǔ)言模型、圖形渲染等推出了NVIDIA L40，旨在利用AI加速渲染，基于數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法形成的自動(dòng)化的材質(zhì)生產(chǎn)鏈路，具有高度還原離線材質(zhì)、速度快、且能夠快速迭代的優(yōu)勢(shì)。

此外，如前面提到的英偉達(dá)Magic3D也可以從文字描述中渲染出彩色紋理的3D網(wǎng)格模型，例如最近比較火的“一只坐在睡蓮上的藍(lán)色毒鏢蛙”。

圖：Magic3D 渲染的箭毒蛙 3D 模型（來(lái)源：網(wǎng)絡(luò)）

Meta、微軟、谷歌等企業(yè)也都在投資實(shí)時(shí)3D渲染，在未來(lái)數(shù)年里，無(wú)論是AI渲染還是AI建模的技術(shù)都會(huì)比現(xiàn)在進(jìn)化的更好，無(wú)疑會(huì)給3D創(chuàng)作帶來(lái)巨大的進(jìn)步，也將會(huì)使創(chuàng)作環(huán)節(jié)變得更快、制作成本更低。

AI的觸角在3D創(chuàng)作設(shè)計(jì)領(lǐng)域延伸的越來(lái)越深，甚至日本已經(jīng)有企業(yè)開(kāi)始采用AI作畫(huà)實(shí)現(xiàn)商業(yè)化運(yùn)行了。從AI到AI 3D建模再到實(shí)時(shí)渲染，我們正在經(jīng)歷“技術(shù)改變創(chuàng)作領(lǐng)域甚至一切設(shè)計(jì)工作”這一場(chǎng)景。隨著研發(fā)深入，未來(lái)創(chuàng)作者直接輸入會(huì)變得更少，3D素材呈現(xiàn)巨量增長(zhǎng)的態(tài)勢(shì)。

AI搶工作成定局？

在人工智能普遍成為各行各業(yè)的底層技術(shù)背景下，大家都在思考AI還能做什么？我們的工作是不是正在面臨被淘汰的局面？不僅在科技領(lǐng)域，傳統(tǒng)行業(yè)如律師、編輯等都發(fā)出了相似的感嘆。甚至也有機(jī)構(gòu)作出細(xì)化分析，哪些職位未來(lái)不會(huì)被取代。一夜之間，所有人對(duì)AI的恐慌好像都上了一個(gè)層次。

其實(shí)AI創(chuàng)作會(huì)不會(huì)真的搶人類的“飯碗”得就具體崗位而論，就像工業(yè)4.0大潮中替代一線工人的機(jī)器人一樣，甚至有些工廠已經(jīng)實(shí)現(xiàn)了全自動(dòng)化運(yùn)行，大量不需要?jiǎng)?chuàng)意、簡(jiǎn)單且重復(fù)性的勞動(dòng)已經(jīng)被替代。

本輪AI的大潮與工業(yè)4.0的本質(zhì)區(qū)別在于“智能化”，AI已經(jīng)展現(xiàn)出“創(chuàng)作”的能力，即使目前的創(chuàng)意還能看到諸多樣本的痕跡，建模和渲染的AIGC能力也還處于早期，但AI在部分領(lǐng)域能提升生產(chǎn)力已經(jīng)成為不爭(zhēng)的事實(shí)。

與其擔(dān)心自己的工作是否會(huì)被AI替代，不如思考如何結(jié)合AI將現(xiàn)有的工作更完美地完成，如何讓AI變得更好，因?yàn)楸诲e(cuò)誤的大數(shù)據(jù)喂養(yǎng)，扭曲AI的認(rèn)知，那時(shí)AI做的事情可能會(huì)超越人類的底線。

《失控》的作者凱文·凱利認(rèn)為“未來(lái)將有數(shù)以萬(wàn)計(jì)創(chuàng)業(yè)公司，他們會(huì)從事人工智能用于某一個(gè)領(lǐng)域的工作。使用者越來(lái)越多的話，機(jī)器會(huì)越來(lái)越聰明，這是一種滾雪球的方式。”

也就是說(shuō)技術(shù)進(jìn)步是必然的，同時(shí)由于基礎(chǔ)數(shù)據(jù)不斷擴(kuò)大，機(jī)器的思維方式會(huì)變得越來(lái)越靈活。但技術(shù)給社會(huì)帶來(lái)的變革，并不是以搶工作為最終目標(biāo)，而是成為一種提升效率的生產(chǎn)方式。

凱文·凱利也曾在一次演講中表示，每一項(xiàng)新技術(shù)的誕生都會(huì)引發(fā)一場(chǎng)恐慌周期，一般會(huì)經(jīng)歷7個(gè)階段：

別讓我看到這些垃圾，根本沒(méi)用。好吧，這東西確實(shí)發(fā)生了，但是很危險(xiǎn)，因?yàn)樾Ч�并不好。等等，它太好用了，我們必須得做點(diǎn)什么擾亂它！這東西太強(qiáng)大了，對(duì)于那些無(wú)法觸達(dá)它的人來(lái)說(shuō)是不公平的�，F(xiàn)在它無(wú)處不在，無(wú)法逃離，這不公平。我打算戒掉它，戒一個(gè)月。讓我們關(guān)注真正重要的問(wèn)題ーー下一個(gè)會(huì)出現(xiàn)的技術(shù)是什么？

其實(shí)大多數(shù)人對(duì)新技術(shù)持負(fù)面態(tài)度多源于對(duì)技術(shù)的不了解，當(dāng)人們不了解一樣產(chǎn)品的時(shí)候，往往會(huì)持有不看好的態(tài)度。但細(xì)究下來(lái)會(huì)發(fā)現(xiàn)技術(shù)做的事情只是在讓原有東西變得更加智能，例如AI輔助飛機(jī)駕駛，飛行員只要做好基礎(chǔ)的操作，剩下的都是AI在駕駛飛機(jī)，可以有效緩解飛行員一路的疲勞與提高飛行安全程度。

因此，AI 3D的創(chuàng)作也并不會(huì)真正取代建模師以及渲染師的工作，反而可以多維度地給建模師提供多重視角，也讓建模師可以從繁瑣的工作中簡(jiǎn)化出來(lái)，做更有意義的事情。但我們總會(huì)抱著戲謔的態(tài)度看待AI，以古怪刁鉆的問(wèn)題去調(diào)戲AI，從而給人工智能定義上“人工智障”的名號(hào)。

順理成章的把AI看作人類的對(duì)立面，也理所應(yīng)當(dāng)?shù)牟粫?huì)樂(lè)于接受新技術(shù)的到來(lái)。馬斯克曾說(shuō)過(guò)一句話，無(wú)論你接受與不接受，無(wú)論人類如何呼吁停止采用新技術(shù)，總會(huì)有企業(yè)在馬不停蹄地研究，在你不知道的地方，不知道的領(lǐng)域，它會(huì)在某一天就來(lái)了。

與此同時(shí)，毋庸置疑的是人工智能在某一方面已經(jīng)開(kāi)始比人類聰明了，甚至可以跨專業(yè)地協(xié)同工作。但由于機(jī)器與人類的思考方式不同，機(jī)器變得越聰明時(shí)反而會(huì)推動(dòng)人類工作的進(jìn)步。此外，技術(shù)的進(jìn)步也會(huì)創(chuàng)造出新的工作，改變就業(yè)的生態(tài)格局，人+AI將是未來(lái)任何工作領(lǐng)域的一個(gè)普遍現(xiàn)象。

參考文獻(xiàn)

       原文標(biāo)題 : AI 3D創(chuàng)作來(lái)了？“搶飯碗”成真