深蘭科技|計算機(jī)視覺+藝術(shù)處理，現(xiàn)實場景秒變動漫大片
2．2 損失函數(shù)
卡通圖像具有銳利邊緣，順滑的色彩偏差，紋理也相對簡單，所以作者定義了新的loss來完成這個需求。
作者提出了損失函數(shù)L（G，D），由兩部分組成，第一部分為普通的GAN損失，第二部分為保證原真實圖像內(nèi)容的內(nèi)容損失，如公式所示：
可以看到公式②中比普通GAN損失多加了一個，也就多了一個數(shù)據(jù)集。那這個數(shù)據(jù)集怎么來的，它是通過對原始卡通圖像進(jìn)行邊緣模糊后得到的（邊緣模糊圖片見圖2－2，左邊為原圖，右邊位邊緣模糊圖），目的是為了讓生成網(wǎng)絡(luò)G生成邊緣清晰的圖片，所以判別為假數(shù)據(jù)。而公式③中的就是Neural Style（風(fēng)格遷移）里面的內(nèi)容損失，只不過把L2損失改為L1損失，在這里我們可以看成是一個正則化。
圖2－2清晰動漫圖（左）、邊緣模糊圖（右）
2．3 初始化技巧
作者引入一個初始化技巧，用公式③中的損失先來單獨(dú)訓(xùn)練G，大概訓(xùn)練10個epoch。這樣做的目的是為了生成的圖片初始后就能保證原真實場景的內(nèi)容，因為普通的單向GAN要是沒有加入一些限制很難穩(wěn)定保證原始圖片的內(nèi)容，大多會出現(xiàn)扭曲或更嚴(yán)重的情況。
3．總結(jié)
經(jīng)過上述的技術(shù)細(xì)節(jié)來訓(xùn)練CartoonGAN，就可以將現(xiàn)實的場景完美的轉(zhuǎn)換成漫畫風(fēng)格。
最后，我們就來欣賞一些漂亮的轉(zhuǎn)換結(jié)果。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布：挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇，探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 “AI寒武紀(jì)”爆發(fā)至今，五類新物種登上歷史舞臺
- 4 降薪、加班、裁員三重暴擊，“AI四小龍”已折戟兩家
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD，AI含量差幾何？
- 6 光計算迎來商業(yè)化突破，但落地仍需時間
- 7 東陽光：2024年扭虧、一季度凈利大增，液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”，“淘寶們”終于不忍了？
- 10 優(yōu)必選：營收大增主靠小件，虧損繼續(xù)又逢關(guān)稅，能否乘機(jī)器人東風(fēng)翻身？
