虛擬現實對計算機系統的要求
虛擬現實對計算機系統的要求,只包括了視覺顯示對計算機系統的要求。位姿傳感器的數據處理,一般不在主計算機上進行,而是由專用的電子設備完成。聽覺顯示,力覺觸覺顯示,研究工作和實際應用還較少,對其計算要求的認識還較少。聽覺顯示和力覺觸覺顯示的計算,往往由專用計算機完成。所以,當前的虛擬現實計算機,主要完成視覺顯示的計算任務。
幀頻和延遲時間的要求
VR要求高幀頻和快速響應,這是由于其內在的交互性質。
要求的幀頻和延遲一般取決于環境特性。只有慢速運動物體的較靜的環境,可以用幀頻每秒8至10,和0.1秒延遲。如果環境有高速運動的物體,則要求高幀頻(>60Hz)和短延遲。所有情況下,若幀頻低于每秒8幀,則失去三維環境的生動感,若延遲大于0.1秒,則很難操作環境。因此,幀頻必須大于8到10幀/秒,總延遲必須小于0.1秒。
幀頻概念來自動圖像技術。在動圖像顯示中,每一幀實際上是靜止照片。如果新照片快速接替舊照片,就產生連續運動的幻覺。修改率是在屏幕上的顯示改變的速率。為符合基本的動圖像技術,理想的修改率是每秒20幀(新圖像)。
對計算機硬件,幀頻有幾個含義。它們大致分類為:圖形的幀頻,計算的幀頻,數據存取的幀頻。為了維持在VR中的臨場和沉浸感,圖形幀頻是關鍵的。這些幀頻可能是獨立的,圖像場景可能變化,而沒有來自用戶視點運動的計算和數據存取。這時,圖形的幀頻大于計算的幀頻和數據存取的幀頻。經驗表明,圖形幀頻率應盡可能高,低于每秒10幀的幀頻嚴重降低臨場的幻覺。如果圖形顯示依靠計算和數據存取,則計算和數據存取幀頻必須為8到10幀/秒,維持用戶看到時間演化的幻覺。
如果應用允許交互控制,也要求快速響應。已知,長響應時間(滯后時間,延遲時間)嚴重降低用戶性能。延遲時間是從用戶的動作開始(如用戶轉動頭部),經過位姿傳感器感知用戶位姿,把位姿信號傳送給計算機,計算機計算新的顯示場景,把新的場景傳送給視覺顯示設備,直到視覺顯示設備顯示出新的場景為止。這些延遲在計算機系統中來自很多因素,如數據存取時間、計算時間、繪制時間以及輸入設備數據處理時間。類似幀頻的情況,延遲的來源分成:數據存取、計算、圖形。雖然延遲與幀頻有關,但它們不同。系統可能有高幀頻,但有較大的延遲時間,顯示的圖像和提供的計算結果是幾幀以前的。研究表明,多于幾毫秒的延遲會影響用戶性能,而多于0.1秒的延遲有嚴重影響。
計算能力和場景復雜性
虛擬現實仿真的計算問題,是一種時間受限的計算。這是因為顯示的幀頻必須大于8到10幀/秒。于是,在0.1秒內,必須完成一次場景的計算。如果一個顯示的場景中有10,000個三角形(或多邊形),這個數量就反映了場景復雜性。這樣,在每秒進行的10次計算中,就應該計算100,000個三角形(或多邊形)。這表示了計算能力。
若要求更加逼真的仿真效果,就要增加場景復雜性。顯示的場景中有更多的三角形(或多邊形),顯示的效果就更逼真。這就要求更強的計算能力,每秒計算更多的三角形(或多邊形)。反之,如果只能使用能力有限的指定的計算機,則限定了計算能力,也就限定了場景復雜性。每個場景,只能用較少的三角形(或多邊形),產生較粗糙的顯示。這種考慮就是,計算能力和場景復雜性的折衷。
下面幾節將介紹用于VR的各類計算機。對這些計算機,主要的技術指標就是其計算能力,也就是每秒計算的三角形(或多邊形)的數目。應該注意,是否加紋理,是否反走樣,采用哪一種明暗模型,都會影響到計算能力。加入這些復雜的功能,就會增加計算復雜性,從而減少每秒計算的三角形(或多邊形)的數目。
下圖表示,波音747-400飛機的兩種復雜性不同的三維模型。(a)中的模型有520個頂點,406個多邊形。(b)中的模型有7694個頂點,7556個多邊形。效果圖說明了明顯的逼真度差別。
下圖表示,人體骨骼的兩種復雜性不同的三維模型。(a)中的模型有8979個多邊形。(b)中的模型有131275個多邊形。效果圖說明了明顯的逼真度差別。
對計算機系統的要求
圖形學和計算機硬件的進展對全真實的VR是關鍵因素。今天的硬件能力只能給研究者、廠家和用戶提供虛擬世界的嘗試和應用的希望。由于廣泛的興趣和有不同性能要求的大量應用,所以需要在幾個層次繼續進行硬件開發,由高檔多模式工作站到低檔的只有適當三維視覺能力的個人工作站。
將來的高檔VE系統有幾個硬件要求。我們始終需要為應用提供高計算要求的計算機結構。這些機器必須有很大的物理存儲(>15Gbytes),多個高性能向量處理機,高帶寬(>500Mbytes/s),低延遲(<0.03s),巨型存儲設備,和對各種輸入輸出設備的高速接口。磁盤帶寬不可能在近幾年大大改進。對錄象和超媒體集成,磁盤帶寬和大小是限制因素。也需要巨大的計算和數據管理能力。物理建模和可視化計算將是計算需求的推動力?,F在某些問題要求40Mflops機器能力。如果希望加入更多數據或開發更細分辨率的模型,就會使用這一層次的計算能力。重要的是鼓勵實際生產VR要求的機器。