一、美國的研究狀況
虛擬現實研究
美國是VR技術的發源地。美國VR研究技術的水平基本上就代表國際VR發展的水平。目前美國在該領域的基礎研究主要集中在感知、用戶界面、后臺軟件和硬件四個方面。
美國宇航局 (NASA)的Ames實驗室完善了HMD;并將VPL的數據手套工程化,使其成為可用性較高的產品。NASA研究的重點放在對空間站操縱的實時仿真上,大多數研究是在NASA的約翰遜空間中心完成的。他們大量運用了面向座艙的飛行模擬技術。NASA完成的一項著名的工作是對哈勃太空望遠鏡的仿真。NASA的Ames現在正致力于一個叫“虛擬行星探索”(VPE)的試驗計劃,這一項目能使“虛擬探索者”(Virtual Explorer)利用虛擬環境來考察遙遠的行星,他們的第一個目標是火星?,F在NASA己經建立了航空、衛星維護VR訓練系統,空間站VR訓練系統,并且已經建立了可供全國使用的VR教育系統。
北卡羅來納大學 (UNC)的計算機系是進行VR研究最早最著名的大學。他們主要研究:分子建模、航空駕駛、外科手術仿真、建筑仿真等。在顯示技術上,UNC開發了一個幫助用戶在復雜視景中建立實時動態顯示的并行處理系統,叫做像素飛機(Pixel planes)。
Loma Linda大學醫學中心是一所經常從事高難度或者有爭議課題的醫學研究單位。DAVID Warner博士和他的研究小組成功地將計算機圖形及VR的設備用于探討與神經疾病相關的問題。他們以數據手套為工具,將手的運動實時地在計算機上用圖形表示出來;他們還成功地將VR技術應用于受虐待兒童的心理康復之中,并首創了VR兒科治療法。
麻省理工學院(MIT)是一個一直走在最新技術前沿的科學研究機構。MIT原先就是研究人工智能、機器人和計算機圖形學及動畫的先鋒,這些技術都是VR技術的基礎,1985年MIT成立了媒體實驗室,進行虛擬環境的正規研究。這個媒體實驗室建立了一個名叫BOLIO的測試環境,用于進行不同圖形仿真技術的實驗。利用這一環境,MIT建立了一個虛擬環境下的對象運動跟蹤動態系統。另外,MIT還在進行“路徑計劃”與“運動計劃”等研究。
SRI研究中心建立了“視覺感知計劃”,研究現有VR技術的進一步發展。1991年后,SRI進行了利用VR技術對軍用飛機或車輛駕駛的訓練研究,試圖通過仿真來減少飛行事故。另外,SRI還利用遙控技術進行外科手術仿真的研究。
華盛頓大學華盛頓技術中心的人機界面技術實驗室(HIT Lab)在新概念的研究中起著領先作用,同時也在進行感覺、知覺、認知和運動控制能力的研究。HIT將VR研究引入了教育、設計、娛樂和制造領域。例如,波音公司的V22運輸機就是先在實驗室中造出虛擬機后再投入生產的。
Dave sims 等人研制出虛擬現實撤退模型來觀看系統如何運作。此系統先假設在倫敦地鐵中突然發生火災,一些人向出口跑去,母親們努力聚攏孩子們,而一些人卻在詢問起火的原因。在出口處,人群擁擠在門口,使勁地向前擠,但卻不能前進一步。這時單擊鼠標左鍵,加寬門口拉走門柱,許多人能迅速通過。人們得出結論:在突發事件中,保持平靜和快速是非常重要的。現在在維加斯的虛擬購物商場中,每一個字符都指定為一個隨意的數字發生器,當突然發生火災時,發生器立即指示一個熟悉的出口,并且省去人們聚集家人或詢問出口的麻煩。
SOFTIMAGE公司的專家們提出了滲透將有助于擴大虛擬現實的美學感,這是VR未來的一個發展方向。
伊利諾斯州立大學研制出在車輛設計中,支持遠程協作的分布式VR系統,不同國家、不同地區的工程師們可以通過計算機網絡實時協作進行設計。在設計車輛的過程中,各種部件都可以共享一個虛擬環境,并且可以查看對方任何一個位置的視頻傳遞和相應的定位方向。在系統中采用了虛擬原型,從而減少了設計圖像和新產品進入市場的時間,這樣,產品在生產之前就可以估算和測試,并且大大地提高了產品質量。
喬治梅森大學研制出一套在動態虛擬環境中的流體實時仿真系統。在一個分布交互式仿真系統中仿真真實世界復雜流體的物理特性,包括仿真正在穿過水面行駛的船、仿真攪拌液體、仿真混合不同顏色的液體、仿真混合不能溶解的油和水、仿真下雨和流動的地形以及仿真流體的相互影響等特性。但該系統有一些缺陷,例如:當船行進時不能顯示出水的不同波浪曲線;不能用于任何精確的工程用途等。
二、日本的研究狀況
在當前實用虛擬現實技術的研究與開發中日本是居于領先位置的國家之一,主要致力于建立大規模VR知識庫的研究。另外在虛擬現實的游戲方面的研究也做了很多工作。但日本大部分虛擬現實硬件是從美國進口的。
東京技術學院精密和智能實驗室研究了一個用于建立三維模型的人性化界面,稱為SPINAR(Space Interface Device for Artificial Reality)的系統。
NEC公司計算機和通信分部中的系統研究實驗室開發了一種虛擬現實系統,它能讓操作者都使用"代用手"去處理三維CAD中的形體模型,該系統通過VPL公司的數據手套把對模型的處理與操作者手的運動聯系起來。
京都的先進電子通信研究所(ATR)系統研究實驗室的開發者們正在開發一套系統,它能用圖像處理來識別手勢和面部表情,并把它們作為系統輸入。該系統將提供一個更加自然的接口,而不需要操作者帶上任何特殊的設備。
日本國際工業和商業部的工業科學和技術代辦處經營的產品科學研究院開發了一種采用X、Y記錄器的受力反饋裝置。他們把這種裝置應用于一個虛擬現實的“游戲棒”中。
東京大學的高級科學研究中心將他們的研究重點放在遠程控制方面,最近的研究項目是主從系統。該系統可以使用戶控制遠程攝像系統和一個模擬人手的隨動機械人手臂。
東京大學的原島研究室開展了3項研究:人類面都表情特征的提取、三維結構的判定和三維形狀的表示、動態圖像的提取。
東京大學的廣瀨研究室重點研究虛擬現實的可視化問題。為了克服當前顯示和交互作用技術的局限性,他們正在開發一種虛擬全息系統。現在他們已經有了4項成果:一個類似CAVE的系統、用HIMD在建筑群中漫游、人體測量和模型隨動、飛行仿真器。
筑波大學工程機械學院研究了一些力反饋顯示方法。他們開發了九自由度的觸覺輸入器:開發了虛擬行走原型系統,步行者只要腳上穿上全方向的滑動裝置,他就能交替邁動左腳和右腳。
富士通實驗室有限公司正在研究的一個項目是虛擬生物與VR環境的相互作用。他們還在研究虛擬現實中的手勢識別,已經開發了一套神經網絡姿勢識別系統,該系統可以識別姿勢,也可以識別表示詞的信號語言。
三、英國的研究與開發
在VR開發的某些方面,特別是在分布并行處理、輔助設備 (包括觸覺反饋)設計和應用研究方面,在歐洲英國是領先的。到1991年底,英國已有從事VR的六個主要中心,它們是WIndustries(工業集團公司),British Aerospace(英國航空公司),Dimension International,DiVision Ltd,Advanced Robotics ReseARCh Center和Virtual Presence Ltd(主要從事VR職產品銷售)。
WIndustries位于Leicester ,是國際VR界的著名開發機構,正在開發一系列VR產品,主要是娛樂業方面的。盡管用于其產品的基本技術與其他研究機構的技術類似,但該公司和它的投資者們已經在技術的包裝和市場化上投入了大量資金 (1992年投資超過 1100萬美元),以確保能在早期的VR市場上賺錢,它的許多產品已進入商店和模擬游戲中心,有的還用于廣告制作。該公司新近推出了虛擬100CS產品,這是一種通過聯網可供多人參與的憑真功夫打斗的虛擬游戲系統,并且己經在諾丁漢的娛樂場所 (LBE-location based entertainment)聯接了四個這樣的結點,LBE概念得到WIndustries公司的全面支持,該公司出版了一本介紹"如何開始你自己的VR商店"的小冊子。這本小冊子用樣品現金流圖給出了詳細賬目,以指導那些熱心的未來經理和投資者,這本小冊子甚至建議為感興趣的公司提供地方法人。個人俱樂部和公共場所還可以向公司租用WIndustries的系統 價格是每晚2000--3000英磅。WIndustries一直試圖擴展其產品的范圍和結構,以便進入工業設計和可視化等重要應用領域,并且正在計劃推出新型輕量顯示頭盔和功能強大的圖形引擎 (graphics engine)。
British Aerospace(BAe)的許多區縣參與了VR,其中最有成效的是Brough分部的工作。在Roy kalawsky教授領導下,Brough分部正在利用VR技術設計高級戰斗機座艙,BAe開發的大項目VECTA(virtual environment configurable training aid)是一個高級測試平臺,用于研究VR技術以及考察用VR替代傳統模擬器方法的潛力。VECTA的子項目RAVE (real and virtual environment)就是專門為在座艙內訓練飛行員而研制的,已在1992年的Farnborough航空展示會上進行了首次演示。Roy Kalowsky教授是英國從事VR的第一位教授,是Hull大學的客座教授,他也是英國主張在VR應用中強調人性因素重要性的學者之一。
Dimension International位于英國南部的Aldermason,是桌面VR 的先驅。盡管桌面VR是非沉浸式的(non-immersive,即不使用頭盔式顯示器),但是與那些可視效果和動態質量差的沉浸式 (Immersive)系統相比,許多學術界和工業界的用戶更喜歡該公司基于PC486系統提供的優質圖像和實時交互特性。該公司已生產了一系列商業VR軟件包,都命名為Superscape。最初推出一個基本的VR工具庫,然后擴充了網絡功能、編寫應用程序的界面等,最后發展成為完全專業性的Superscape系統,其圖形輸出是通過SPEA圖形卡和高分辨率顯示器。該系統的主要輸入設備是一個空間球 (spaceball)控制器和一個普通鼠標。Superscape軟件包的前端主要由圖形編輯器、世界編輯器和可視化模塊三個環境組成。圖形編輯器用于創建三維物體,預定義圖形放置在世界編輯器的世界坐標系中,可視化程序允許用戶在虛擬世界中移動并與之交互,通過空間球和鼠標發布命令。Dimension還與電視公司合作開發cyberzone(宣稱是世界上第一個VR電視游戲節目)。雖然這種游戲是非沉浸式的,但它是交互式的。相互競爭的兩個隊員坐在一個分隔開的封閉艙中驅使虛擬探險者(虛擬世界中的隊員)在同一虛擬世界中移動,設法破壞其虛擬對手的進展。兩個隊員都在搜尋,當一個隊員與虛擬世界中圖像交互時,在電視屏幕上投影一個3*4矩陣,從而擋住另一隊員的視域,這時探險者在場,另一隊員通過地圖顯示或別的虛擬表示指示其虛擬探險者。由于通過能感知步態的壓力板來獲得用戶的狀態,所以允許用戶在現場走動或跑動。繼1991年制作了飛行員對陣系統之后,1992年10月又開始在曼徹斯特的Granada電視演播室制作一幕更精彩的Cyber zone電影,并于1993年1月4日下午在英國電視三臺首次上映,是以足球名將John Fashanu(溫布爾頓隊)和John Barnes(利物浦隊)之間的對陣為特色的。
第一個廣泛宣傳的教育VR工程將在Newcastle-Upon-Type的WestDenton中學建立,以Dimension International的技術為基礎,初步決定使用Dimension的VR軟件包。該校正在探索用VR進行外語教學和工業安全培訓的方法。近期在教育和學術方面的進展還有諾丁漢大學的VlRART(Virtual Reality Application ReseARCh Team)項目,其目標在于探索桌面VR可用的輸入設備。將特別考察這些輸入設備的應用,了解現有交互設備新的可能應用,以及有關的人類工程因素和技術限制。例如VIRART的目標之一是改進現有VR手套和服裝系統,以便能用于Dimension的VR,然后用它控制和操縱虛擬環境中現有的人模型(man-model),讓它在虛擬原型設計中模擬人的運動或者通過自然手勢來操縱虛擬環境。另一目標是開發一種造價不高但能記錄所有手關節角度的新型手套系統,以使桌面VR系統中的人模型能夠逼真地模擬手指和手掌的運動。VIRART小組正在和學校緊密合作,把桌面VR技術用于教育學習有困難和身體嚴重殘疾的孩子。
Division Ltd創建于1989年,位于布里斯托爾。該公司在開發Vision、ProVision和Supervision系統/模塊化高速圖形引擎中,率先使用了Transputer和i860技術,從而避免了早期方法在生成、交互模擬世界時所產生的處理 “瓶頸”。該公司的軟件是按客戶/服務器體系結構模式設計的,軟件作為一個單一服務器進程??蛻暨M程各自管理VR模擬中自己的具體對象,每個客戶裝載和維護自己的對象。當一個客戶決定交互時,它發送包括交互類型和具體交互類型信息的報文(message)給服務器,然后服務器重新將這些交互分配給對這種交互感興趣的其他客戶。近來Division在與IBM合作,為RISC系統6000工作站開發VR操作系統/UniVRS,并將其操作系統移植到SG硬件上。Division正在考慮利用其豐富的并行處理資源,將VR用于模擬分子模型化和遙現(telepresence)項目中。目前Division公司正在用DiVision的硬件創造建筑物和房屋,以使人們能夠從中體驗和修改各種內景。建筑物的外部結構和內部構造都是動態可適應的,尤其是燈具的選擇、布景、亮度、其他光源的定位和規格。燈光模擬的基礎是 “平行自適應光照”parallel adaptive radiosity),這一創新技術在描繪燈光效果時大大提高了景物的真實性。
UK Advanced Robotics ReseARCh Center在英國貿易工業部支持下,于1987年成立了高級機器人研究有限公司(ARRL)。該公司的核心計劃包含三個基本發展層次:第一階段搞一個基本的系統功能體系結構,作為協調整個計劃的框架;第二階段開展一系列一般性研究(GR)項目,解決有關關鍵技術問題;第三階段設立一組研究演示系統(RD)項目,為證實部分功能體系結構提供可行性分析。在廣為宣傳的人機界面項目(虛擬現實與遙現項目, 也稱GR6項目)之下集成了下列三個RD子項目:
- RD8:應用激光測距的三維景象生成系統
- RD1:遠程世界的計算機模擬(以激光測距數據為基礎)
- RD7:運行和操縱機器人的遙操作及其遙現場
因此,GR6項目的主題是在設計高級機器人的控制和顯示系統時,利用人類操作員的自然能力和缺陷方面的知識,這與以前的做法截然不同。在以前的遙操作設備設計中,受長期使用非直覺和笨拙設備的影響,其人--系統界面使得操作員努力控制遠程設備,甚至以低效和不安全方式操作。GR6項目,也稱虛擬環境遠程驅動實驗(VERDEX)項目,其最初目標是為使用運動機器人的遙現(遠程驅動)研究開發一種交互式的頭控視聽顯示系統,該系統能夠在遙現驅動模擬中把立體電視畫面和熟悉的控制設備的圖形表達一起顯示出來。與控制設備的交互是通過虛擬手表達實現的,然后手表達控制儀器手套(VPL dataGlove)的手指彎曲和手跟蹤傳感器。
在構造測試平臺的最初一年半中,隨著工作的進展出現了一些概念問題和實際問題。首先是商用頭盔顯示技術的局限,尤其是目前的顯示器低劣的清晰度和對比度;其次是儀器手套的可靠性和校準,問題在于使用這些儀器手套究竟該有多大的直覺和可靠性;再次是在驅動VERDEX測試平臺的計算技術方面的限制(對世界模型尺寸的限制,原始圖像的質量以及Division Vision系統很長的圖像生成時間)。然而問題的焦點在于如果遙現的研究目標是在MMI設計中利用人的技能的話,那么與虛擬控制臺的交互就不是實現這一目標的途徑。
因此,該中心于1992年初重新制定了VR計劃的目標。新目標通過采用非可視(non-visual)傳感器的幾何圖形輸出,允許對遠程環境進行可視重構。如果機器人配置在一個充滿灰塵、煙霧、水花、火焰、污水和黑暗的環境里,其電視畫面在2米外無法辨識,此時就要用到非可視傳感器(如RD8項目的激光掃描儀、超聲波和雷達)。由于最新的CAD或者經過處理的距離圖像模型可以顯示環境的當前狀態,所以使用ARRL的升級VR計算系統(Division的SuperVision原型系統),就可以為人類操作員展示立體虛擬圖像。這樣就能用人的自然技能考察這種虛擬世界,機器人最終也就會跟隨操作員行動,并在適當的地方使用自己的本地碰撞避免傳感器。一旦操作員距某任務足夠近,該任務需要的可視信息又比當前VR系統所提供的還細,而且來自機器人身上的電視攝像機的任務距離合適,那么操作員就可以把開關扳到立體圖像模式(例如使用口語識別系統)來完成任務。在對項目GR6的重要性認識還處于變化之中時,ARRL使用的RD8激光測距儀能在2秒鐘內輸出現場物體的分段三維平面描述和立體描述,并于 1991年展示了把這些描述轉換成三維圖像的可行性,這些虛擬圖像適合在立體頭盔中顯示。此后,1992年又轉換成用于Division Super Vision VR引擎顯示的立體融合圖像。作為遙現場概念的一部分,也為了配合GR6項目近期任務的進行,ARRL與Overview公司合作開發了一系列頭控立體攝像系統,達到了轉動/傾斜 1800度/秒,適于安裝在該公司的Cybermotion K2A運動機器人上為了應用VR和遙現場,ARRL還與Airmuscle公司合作首先在手套和3D/6D鼠標上使用了觸覺反饋。現在Airmuscle Teletact I、II手套以及Teletact Commander立體手技器已成為商品。
在虛擬世界建筑方面,已經構作和展示了復雜的虛擬世界模型。其中結合機器人中心的模型與動畫美洲豹機器人,就能在虛擬操作間用圖標控制臺進行遙操作,并演示 “教-重復”動作。ARRL已經開始專門研究將商業CAD系統的模型和動態序列以及其他建模和仿真軟件包移植到支持虛擬可視化的高級平臺,以便人能進行沉浸式和直覺交互。
VR和機器人的結合是隨著ARRL在人性因素方面研究工作的進展而發展的,該公司的RD7項目基本上證明了“使人沉浸于虛擬環境并給以交互自由的計算機系統和控制顯示外設,同樣可以用來有效控制真實的機器人設備”。RD7實質上是一個系統集成演示器,它吸收了ARRL的一些關鍵技術成果。單從技術角度看RD7有兩方面的成就:一是開發了一種用于遙操作的新型高級機械手控制器(AMC);二是為光學跟蹤(用于評估寫入開發了低價的電子線路板。盡管最初強調的是遠程驅動中的遙現場,但RD7的主要技術和商業成果之一是開發了一套強健的通用機械手控制系統。在機器人遙現場方面的一個關鍵性人員因素是提供了這樣的控制系統:它使操作員擺脫笨拙、疲勞的姿勢。
遙操作通常應用于核工業和水下作業等危險環境中的操作任務?,F在主要以接合空間(joint space)控制系統,即操作員用輸入設備(其中典型的有操縱桿或主控手臂)來獨立指 定需要接合的位置。這種方法既降低了機械手的物理構造局限的影響,也不受從笛卡爾坐標到接合空間動態變換所帶來的不良影響。然而這種控制方式使得遙操縱裂縫焊接之類的工作極其困難,需要對操作員進行大量技能培訓。我們需要的控制器是允許對來自輸入設備的終端效應笛卡爾位置和方向進行遙操作。不幸的是,與初衷不同,操作員不能開發出這樣的程序:既能通過在無奇異、無接合極限的路徑上運動來執行任務,同時又不超過機械手的動態限制。當在笛卡爾路徑時,笛卡爾遙操作控制器必須能夠按操作員實時指定的任何輸入,并且滯留在錯誤狀態。也就是說,對完全非結構化的輸入它必須是強健的。在為RD7項目開發強健的高級機械手控制器,以及基于Ascension Bird Tracker開發Teletact Commander立體輸入設備時,都提出了這種問題。
在1992年8月RD7項目的總結階段,進行了一系列非正式但卻是成功的遙操作/遙 現場試驗,測試了該計劃中提出的遠程處理和遠程驅動概念,并測試了在ARRL的人-系統界面實驗室、運動機器人實驗室和美洲豹562機械手工作間之間接口的完整性。為了便于觀看,又進一步建立了GR6的SuperVision VR計算機系統和立體LCD投影顯示之間的視頻聯接。
ARRL在VR方面的工作仍在繼續,除高級機器人和遙現場領域外,還包括發動機設計、CAD軟件包轉換、煙霧和爆炸的建模與可視化、VR多媒體集成系統、醫學可視化以及納米技術(nanotechnology)。ARRL的VR小組打算充分利用大學(University of Salford)的學術力量進行研究和開發,并正在制定新的課題和項目。這些項目涉及從測量到紡織品和時裝設計,從矯形術到信息技術,從電子和航空工程到納米技術,以及高級顯微學等領域。
四、國內研究狀況
和一些發達國家相比,我國VR技術還有一定的差距,但已引起政府有關部門和科學家們的高度重視。根據我國的國情,制定了開展VR技術的研究,例如,九五規劃、國家自然科學基金會、國家高技術研究發展計劃等都把VR列入了研究項目。 在緊跟國際新技術的同時,國內一些重點院校,已積極投入到了這一領域的研究工作。
北京航空航天大學計算機系是國內最早進行VR研究、最有權威的單位之一,他們首先進行了一些基礎知識方面的研究,并著重研究了虛擬環境中物體物理特性的表示與處理;在虛擬現實中的視覺接口方面開發出了部分硬件,并提出了有關算法及實現方法;實現了分布式虛擬環境網絡設計,建立了網上虛擬現實研究論壇,可以提供實時三維動態數據庫,提供虛擬現實演示環境,提供用于飛行員訓練的虛擬現實系統,提供開發虛擬現實應用系統的開發平臺,并將要實現與有關單位的遠程連接。
浙江大學CAD&CG國家重點實驗室開發出了一套桌面型虛擬建筑環境實時漫游系統,該系統采用了層面迭加的繪制技術和預消隱技術,實現了立體視覺,同時還提供了方便的交互工具,使整個系抗的實時性和畫面的真實感都達到了較高的水平。另外,他們還研制出了在虛擬環境中一種新的快速漫游算法和一種遞進網格的快速生成算法。
哈爾濱工業大學計算機系已輕成功地虛擬出了人的高級行為中特定人臉圖像的合成,表情的合成和唇動的合成等技術問題,并正在研究人說話時頭勢和手勢動作,話音和語調的向步等。
清華大學計算機科學和技術系對虛擬現實和臨場感的方面進行了研究,例如球面屏幕顯示和圖像隨動、克服立體圖閃爍的措施和深度感實驗等方面都具有不少獨特的方法。他們還針對室內環境水平特征豐富的特點,提出借助圖像變換,使立體視覺圖像中對應水平特征呈現形狀一致性,以利于實現特征匹配,并獲取物體三堆結構的新穎算法。
西安交通大學信息工程研究所對虛擬現實中的關鍵技術--立體顯示技術進行了研究。他們在借鑒人類視覺特性的基礎上提出了一種基于JPEG標準壓縮編碼新方案,并獲得了較高的壓縮比、信噪比以及解壓速度,并且己經通過實驗結果證明了這種方案的優越性。
中國科技開發院威海分院主要研究虛擬現實中視覺接口技術,完成了虛擬現實中的體視圖象對算法回顯及軟件接口。他們在硬件開發上己經完成了LCD紅外立體眼鏡,并且已經實現商品化。
北方工業大學CAD研究中心是我國最早開展計算機動畫研究的單位之一,中國第一部完全用計算機動畫技術制作的科教片《相似》就出自該中心。關于虛擬現實的研究已經完成了2個“863”項目,完成了體視動畫的自動生成部分算法與合成軟件處理,完成了VR圖像處理與演示系統的多媒體平臺及相關的音頻資料庫,制作了一些相關的體視動畫光盤。
另外,西北工業大學CAD/CAM研究中心、上海交通大學圖像處理模式識別研究所,長沙國防科技大學計算機研究所、華東船舶工業學院計算機系、安徽大學電子工程與住處科學系等單位也進行了一些研究工作和嘗試。