《黑客帝國2&3》當年石破天驚的特效今天看起來依然風光無限,就單純的面部捕捉技術而言,因為采用了無標記點的面部捕捉技術,所以也絕對稱的上是一個里程碑。2001年Image Metrics剛剛研發了這項技術之后僅僅2年之后,《黑客帝國》的特效團隊之一--ESC特效公司又自己研發了無標記點的面部捕捉技術,整個面部捕捉過程分5步,即使現在看起來,也是相當先進的了。
面部捕捉技術
該無標記點的面部捕捉技術采用了5臺Sony/PanaVision HDW-F900 高清攝像機同步拍攝雨果·維文的面部,得到的面部動作數據傳到處理計算機,將無壓縮的圖像儲存到硬盤里。每秒中的數據傳輸量估計達到1G。
面部捕捉技術
該無標記點的面部捕捉技術采用光流照片測量技術,這是一個非常關鍵的算法。光流照片測量技術可追蹤每個像素點在不同的攝像機的位置,然后將這些結果和一個中度精細的模型相結合,將像素與模型的每個節點匹配,可以得到每個路徑的精確位置,并且得到模型的運動軌跡。之后,再將每個2D數據與每個攝像機的位置重新匹配。到了這一步就已經可以得到一個不錯的動態模型了。
光流照片測量雖然是一個不錯的算法,但是不夠完善。如果出現匹配錯誤,錯誤會在后面的幀數上堆疊,在3D模型中顯得尤其明顯。這樣就需要做關鍵幀修改,刪除全局運動,在此過程中進行一些反向計算,通過上一幀的數據去校準。誤差太大就得用手動調整。因為這個虛擬頭部的運動是要和身體運動相結合的,所以頭部本身的位置運動必須刪除,只留下臉部表情的變化。
面部捕捉技術
為了制作一個精確的材質,最好的辦法是制作一個實體雕塑再進行掃描。因為在記錄表情的時候,沒有使用任何記錄點,這樣就可以通過看那些非常清晰的照片繪制出精致的皮膚表面。
雖然已經有了不錯的皮膚表面貼圖了,但是還缺乏類似毛孔和細小的皺紋這些精密的細節。團隊用的是僅有100微米距離掃描,可以得到非常精確的面部高低數據。將這些高低數據配合皮膚表面材質數據,再配合光學算法,最終獲得最后的精致畫面。
《黑客帝國》劇照
這是在電影中首次大范圍使用無記錄點的面部捕捉技術,基本做到了令人信服的逼真度,比《最終幻想》時高了不少。不過《黑客帝國》的幾位主演都帶著墨鏡,不需要精細制作眼睛,所以一定程度上降低了制作難度。
無標記點的面部捕捉技術在當時非常先進,但是效率不高,制作麻煩,成本也高,而且演員的面部表演需要單獨制作。由于演員們難有寬松的檔期,而且后來制作精確的皮膚表面已經不再是什么難事,所以出于對效率和制作水準的均衡考慮,無記錄點的面部動作捕捉不再是動作捕捉技術發展的重點。這項技術一直到了2008年,《本杰明·巴頓奇事》才走向了更高峰。
我們現在可以發現,基本上所有的動作捕捉和面部捕捉還都是分開來做的。不過到了第二年,導演羅伯特·澤米吉斯帶著《極地特快》登場才正式將動作捕捉技術和面部捕捉技術統一在一起。