1. 首頁 > 生活百科 > 科技 > >

ai|網易研究五年的AI技術，應用一次最多能省幾十萬？( 三 )

網易ai算法





除了從照片中重建三維模型 ， 這套參數化人臉還有一個更重要的應用 ， 就是為游戲批量生成人頭模型 。 如果游戲的人頭資源標準跟我們庫里的標準一致 ， 就可以直接在參數化人臉模型的參數空間采樣 ， 把采樣模型給到游戲項目使用 。

當然 ， 這種情況一般不太多 。 因為每個游戲都會有自己特定的需求 ， 有些游戲的角色甚至都不是傳統意義上的人頭 。 所以更常見的一種生成方式 ， 是對項目組的模型進行自動批量變形 。 簡單來說 ， 就是把我們生成的模型相對于平均臉的變化 ， 遷移到項目組的模型上面 。 這種遷移的變化可以是表情 ， 可以是臉型 ， 并且所有變形都可以用項目規定的骨骼蒙皮進行表達 。



這是一組我們生成的結果 ， 最左邊是項目組提供給我們的角色模型 。 我們可以根據這個模型自動批量生成一批風格相同 ， 但臉型和五官有明顯區別的模型 ， 并且每個模型都可以生成一套表情 。 也就是說 ， 項目組只需要做一個靜態模型 ， 我們就能自動批量生成很多綁定好的模型 。 這對追求千人千面的開放世界游戲非常有價值 ， 可以以非常低的成本讓游戲里的每個NPC看起來都不一樣 。



這是我們對兩個Metahuman模型變形后的效果 ， 可以看到我們生成人頭模型與原始的資源標準是完全兼容的 。 而且以這個變形質量生成的模型 ， 作為實際游戲的頭模也綽綽有余 ， 大家要知道 ， 像Metahuman這種級別的模型 ， 一個頭的成本 ， 保守一點計算都要小幾十萬人民幣 ， 所以這個技術是非常有價值的 。

為了進一步豐富我們的三維人頭數據 ， 我們也在杭州園區設計和搭建了一套三維掃描實驗室 。 左邊是我們的設計圖 ， 右邊是搭建完成后的實物 。 這是一個正20面體 ， 一共包含53臺單反和150組定制LED燈光 。 后續我們還會在網易的廣州和上海園區 ， 分別搭建一套更大的 ， 可以掃描全身的設備 。



三維掃描的原理其實非常簡單——利用攝影測量算法 ， 從多視角照片中計算人頭的三維點云 。 這是我們系統掃描的一組樣例 ， 這個精度可以對標國內外一線掃描服務供應商 。



這套設備150組定制的LED燈光 ， 也是我們花很高成本定做的 。 每一盞燈的開關和亮度可以獨立控制 ， 每一組燈光包含三個燈頭 ， 分別安裝了一個普通無偏振的UV鏡和兩個偏振鏡 。 這兩個偏振鏡相對于相機上安裝的偏振鏡方向一個是平行的 ， 一個是垂直的 。



了解攝影的同學應該很熟悉偏振鏡的用法 ， 這是一種很常用的UV鏡 ， 主要用于非金屬物體表面一些不必要的反射光 ， 可以還原物體本身的顏色 。


無偏振鏡/有偏振鏡

偏振鏡的原理大家在中學物理就學過——光既是粒子、也是一種電磁波 ， 它的振動方向與傳播方向是垂直的 ， 這種類型的波叫橫波 ， 所有的橫波都具有偏振現象 。 簡單來講 ， 光的偏振方向與偏振鏡方向平行 ， 那么所有能量都會通過；如果是垂直的 ， 那么所有能量都會被過濾 。

基于這個原理 ， 我們只要給掃描物體拍攝4組平行偏振光和4組交叉偏振光的燈光下照片 ， 就可以算出物體表面的材質 ， 也就是漫反射、高光和法線的信息 。 每組照片都要首先打開所有燈光 ， 然后是按照燈光在三維空間的坐標值遞減亮度 ， XYZ三個方向分別可以產生一組燈光 。



目前這套設備我們剛剛搭建完成 ， 在人臉材質掃描方面也是剛剛起步 ， 后續我們會逐漸加大投入 。

相關經驗推薦