1. 首頁 > 生活百科 > 科技 > >

ai|網易研究五年的AI技術，應用一次最多能省幾十萬？( 二 )

網易ai算法


在原畫方面 ， 我們做了兩個輔助創作的工具 。 第一個工具用于二次元角色線稿的自動上色 ， 并且可以生成多套不同的上色方案 ， 主要作用是在設計二次元形象時 ， 為美術提供一些色彩搭配的靈感 。



第二個工具用于人臉的生成和編輯 ， 它可以基于美術繪制的人臉線稿生成真實人臉照片 ， 并且允許編輯人臉的一些屬性 。 這里展示的 ， 是修改人臉年齡后的結果 。



由于互聯網上的人臉數據非常豐富 ， 人臉結構也相對比較簡單 ， 所以目前這個工具可以生成非常高清的人臉照片 。 在設計一些寫實類角色時 ， 美術可以參考這些素材進行二次創作 。

當然 ， 我知道很多同學對AI在原畫方面的應用還有更高的期待 。 比如說利用GAN或風格遷移等技術直接生成場景原畫 ， 這也是AI技術最早出圈的一批應用 。 不過目前想要落地還稍微有點困難 ， 倒不是說技術本身有什么問題 ， 主要是因為游戲原畫設計追求的不一定是真實 ， 更多是一種特定藝術風格下的視覺表達 。



我們隨便找一幅游戲畫面對比一下 ， 就會發現這種圖片跟日常照片有明顯區別 。 在當前的數據條件下 ， 想生成這種級別的AI模型還比較困難 。 所以如何讓AI在原畫設計方面發揮更多的作用 ， 也是我們未來的重點方向之一 。

02 模型 在模型方面 ， 我們的主要工作圍繞在人臉模型上 。 首先簡單介紹一個基礎設施——三維參數化人臉模型 ， 這是一個基于大量三維掃描得到的三維人臉數據制作出來的雙線性模型 ， 有臉型和表情兩個維度 ， 簡單說就是任意給定一組臉型參數、一組表情參數 ， 就會得到一個對應參數下的三維人頭模型 。



在2018年 ， 我們自己掃描并制作了一套高質量的三維參數化人臉 。 當時一共采集了500個中國人的數據 ， 其中男女各占一半 ， 年齡段涵蓋10-60歲 ， 每個人掃描了7套表情 ， 相當于一共采集了3500個人頭 。



我相信很多從事相關研究的同學對這個模型概念非常熟悉 ， 這是由一篇1999年的SIGGRAPH論文提出的概念 ， 專業名稱叫3DMM ， 目前學術界有一些很出名的開源3DMM數據 。 那我們為什么不直接用這種開源模型呢？主要有三方面原因：

首先是版權問題 ， 我們希望這套技術真的能在游戲產品中用起來；

其次是精度問題 ， 這些開源模型的精度距離實際游戲的標準還有不小的差距 ， 我們早期做實驗也會使用這些模型 ， 但是美術會對質量非常嫌棄 。 所以我們自己采集時 ， 每一個人頭后續都人工精修過；

最后是人種問題 ， 這些開源模型一般都是歐美機構發布的 ， 他們采集的對象主要是歐美的高加索人種 。 這種明顯的高鼻梁、深眼窩特點 ， 一看就不是亞洲人 ， 所以我們果斷決定自己制作一套 。



在AI領域 ， 參數化人臉的主要作用是提供關于人臉的三維形狀先驗 ， 所以制作好的參數化三維人臉模型可以用于從二維照片中重建三維人臉模型 。 我們這套參數化人臉模型 ， 在東亞人臉照片上取得了非常好的重建效果 。



當然 ， 由于單視角照片會在深度方面存在缺失 ， 很難還原類似鼻梁高度、眼窩這方面的特征 ， 所以我們也開發了一套多視角的重建算法 。 如果條件允許 ， 可以拍攝演員的多張照片進行重建 。 大家可以對比一下——右邊多視角的重建結果對演員鼻子形狀的還原程度 ， 要比單視角高非常多 。

相關經驗推薦