一段錄音,一支視頻,或是一張照片,都是記錄人生喜怒哀樂的常見方式。你是否曾想過,有一天科幻電影里的全息技術走進現實,讓記憶能夠以立體的全息形式流傳給世世代代的后人?
大約一年半前,全息顯示技術公司Looking Glass聯合創始人兼CEO Shawn Frayne就這么跟團隊的成員說:我有一個緊急且私人請求,就是開發之前一直在討論中的容積或光場記錄裝置。因為我的兄弟Ryan患了胰腺癌,我想用一種獨一無二的逼真方式來記錄他想和剛出生的女兒說的話。
電影《少數派報告》中描述的全息技術
很可惜,胰腺癌的擴散比科技發展速度快得多,還沒來得及開發出這樣的設備,Ryan就去世了。
但Shawn依然認為,2020年在后人眼中,將會是一個容積&光場記錄技術與全息顯示技術密不可分的一年。二者的結合將重新定義未來幾十年,人們重溫回憶和建立聯系的方式。
那么目前的全息和3D捕捉技術都能做些什么呢?有哪些局限?如何能與Looking Glass等全息顯示屏結合?而企業和個人又該如何使用這些技術呢?
Shwan總結了適合在全息顯示屏中播放的四種主要的高保真3D捕捉方式,包括:容積捕捉工作室、便攜式&模塊化深度攝像頭、光場捕捉、手機端深度攝像頭,其中手機的深度攝像頭最方便,同時分辨率是四種方式中最低的,而光場捕捉雖然是其中最不方便的,但是清晰度最高。
一,大規模容積捕捉工作室
Intel Studios容積捕捉工作室
據容積視頻后期工具開發公司Arcturus最新統計顯示,目前全世界正在運營的容積捕捉工作室數量約有幾十個,這些工作室的共同點是,都是用數百顆攝像頭拍攝位于大規模場地中的一組人,通常會使用綠幕。在完成拍攝后,攝像頭中的視頻流會發送到服務器中進行處理,包括圖像拼接,以及將捕捉到的場景轉化為3D網格(3D建模)。
全球容積捕捉工作室分布圖
容積捕捉的一大優勢在于,拍攝出的容積視頻支持跨平臺播放,包括AR/VR頭顯,或者通過Unity或Unreal插件在全息顯示屏中運行。拍攝到的內容可以加入視覺特效或者加入虛擬環境,過程就像特效師塑造虛擬角色一樣容易。
這種大工作室拍出的容積視頻是全世界應用最廣泛的容積內容類型之一,隨著支持的平臺越來越多,普及度優惠越來越廣。
Looking Glass 8K未修圖畫質實拍
大規模容積捕捉方案供應商及工作室:Intel Studios、4D Views、Mantis Vision、Volograms、微軟MR動捕工作室。
二,便攜式/模塊化深度相機
與2D電影拍攝的演變史相似,容積視頻捕捉也開始從只能在大型工作室內拍攝演變成通過成本更低的小型深度相機就可以完成。
目前市面上成本相對較低的深度相機,如全新的Azure Kinect等可以與Depthkit等軟件工具相結合,讓更多開發者和藝術家能夠進行容積電影拍攝和創作。這種便攜式深度相機拍攝出的視頻質量足以接近甚至超越大型容積視頻工作室。
此外,便攜式深度相機還具有模塊化的特點,可根據不同制作規模和周期來調整所使用的的相機數量,比預定大工作室要靈活得多。因此,Looking Glass實驗室也常常用深度相機來進行拍攝。
盡管如此,便攜式深度相機依然受到保真度的局限,和大型容積捕捉工作室一樣,拍攝出的容積視頻并不能捕捉到發絲等細節,甚至無法捕捉到反光面等關鍵的光學效果。此前,青亭網在《這位歌手選擇發行MR版MV》一文中就提到,與傳統視頻拍攝不同,演員在拍攝容積視頻還需要對佩戴的飾品有所考量,比如反光的片狀耳環在視頻中會時有時無,甚至還會產生遮擋面部的陰影。
當然,考慮到深度相機和軟件工具在價格、便攜性、靈活性上的優勢,其視覺效果的限制也多少得到平衡,算是一個性價比較高的方案。在配合上Looking Glass全息顯示顯示器后,創作者將得到一個便攜、快速的完整容積視頻拍攝和展示方案。
兩種將深度相機與Looking Glass顯示屏集成的兩種方案:
1)Depthkit+Unity方案:將Azure Kinect等深度相機捕捉到的容積視頻在Looking Glass等全息顯示屏中播放的主要流程是,使用容積攝影軟件解決方案Depthkit和Unity引擎。據悉,這個方案的編輯功能強大,修飾容積視頻內容的效果最好;
2)Depth Media Player+Depthkit方案:第一個方案可能比較適合具有編程經驗的開發者,大多數電影制作人可能并不熟悉Unity這個工具。因此,為了降低在全息顯示屏中播放容積視頻的門檻,Looking Glass將于2020年1月推出一種全新的工具:Depth Media Player(深度媒體播放器)。據悉,在將容積視頻通過Depthkit處理之后,就可以直接在任何一款Looking Glass的深度媒體播放器中運行,過程足夠簡單,就像是播放平面視屏一樣,不需要經過Unity等游戲引擎。
三,光場捕捉
用32個攝像頭組成的光場捕捉設備來拍攝百慕大海燕雛鳥
Shawn認為,光場捕捉是目前為止保真度最高的容積捕捉方案,沒有之一。同時,這種方案也是最不為人知,且最難以用現成裝備搭建的方案。
這是因為在光場顯示技術成熟之后,才出現一個從光場捕捉到拍攝到顯示的直接流程。通俗來講,光場顯示技術也常被稱為全息顯示技術,大約在一年前才開始大規模進入市場。
Shawn表示:對于用全息形式完美還原真實世界來講,從光場捕捉到直接顯示的流程是關鍵步驟。這是因為光場的輸入輸出方式從根本上就和容積視頻捕捉不同。光場捕捉,其實就是對真實場景的亮度、色彩和光線的方向進行捕捉和重現,完全繞開了容積視頻制作過程中需要的3D建模工序,因此精準度也是容積視頻捕捉方案無法達到的水準。
據了解,光場捕捉方案可拍攝3D靜態圖,或者刷新率30fps以上的光場視頻。Looking Glass聯合創始人兼CTO Alex Hornstein近年來一直在這個領域進行大量實驗,最近還曾與國家地理以及一些探險家一起遠征,嘗試在全球拍攝幾乎與世隔絕的地區和瀕危物種。他們的目標是,讓更多人通過光場捕捉看到對這些地方和物種的逼真還原。
在8.9英寸的Looking Glass上顯示用光場捕捉技術于楠薩奇島拍攝到的百慕大海燕
目前,光場捕捉的普及范圍不如容積視頻捕捉技術,不過這一情況將得到迅速改變,比如光場捕捉裝置開始出現在國際上的一些會議,此外除了初創公司在不斷研發新的系統外,科技巨頭如谷歌也曾在去年為了探索光場捕捉成立了一個大規模計劃。
谷歌光場設備
四,手機深度攝像頭
如果你覺得前面三種方法對你來講太高端了,那么可以考慮基于手機端的深度攝像頭。
目前,市面上內置深度攝像頭的手機包括iPhone X、Xs和11系列蘋果手機,以及Pixel 4等安卓手機,這些手機主要用深度攝像頭來進行更立體的人像捕捉,當然也可以用來拍攝能夠在全息顯示屏中播放的深度景色照片。
用手機的深度攝像頭拍照很快速、方便,而且樂趣無窮。手機攝像頭的拍攝質量自然達不到前三種方案的水平,這是因為一顆攝像頭方案容易在全息重建的過程中形成圖像缺失。不過隨著技術不斷發展,手機的深度攝像頭拍攝質量越來越好,已經可以被用戶廣泛使用。
深圳市時代中視科技發展有限公司,致力于全息行業十余年,現公司銷售Looking Glass 3D顯示屏全系列產品,歡迎咨詢和購買產品。
產品咨詢電話:0755-25195557 13600168106 丁先生
郵箱: 188688226@qq.com
http://www.451292.com/index.php?homepage=sdzs