增強現實(augmented reality,簡稱AR),是虛擬現實研究領域里逐漸引起廣大學者關注的一個新興研究方向。所謂虛擬現實(virtual reality,簡稱VR),是利用計算機生成一種逼真的視、聽、力、觸和動等感覺的虛擬環境,通過各種傳感設備使用戶“沉浸”到該環境中,實現用戶和環境直接進行自然交互。虛擬現實是將人“沉浸”在計算機中,而現實中常提出這樣一種應用,即如何將計算機虛擬的東西與人們所看到的真實物體相結合,形成一種虛、實結合的應用,用虛擬的信息補充真實信息的不足,來滿足特殊工作需求。例如:利用圖形、圖像的虛、實結合提供飛行員精確導航;利用虛、實結合指導腦外科手術等。由此,在虛擬現實基礎上,研究將現實、虛擬兩種不同信息融合起來,就形成一個新的領域——增強現實。MiLGram根據用戶界面中計算機生成信息的比例的大小定義了一個真實環境到虛擬環境的連續體,他認為增強現實是混合現實環境的一部分(如圖1所示)。
圖1 續體
1 增強現實
Azuma是這樣定義增強現實的:“虛實結合,實時交互,三維注冊增強現實系統,是利用附加的圖形或文字信息,對周圍真實世界的場景動態地進行增強與虛擬現實相比,增強現實是把計算機帶人到用戶的“世界”中,而不是把用戶沉浸到計算機的世界中。增強現實是將計算機生成的虛擬物體疊加到現實景物上,并且使用者可以通過各種方式來與虛擬物體進行交互。如圖2為北京理工大學研制的一個增強現實系統生成的場景,其中計算機生成的虛擬時裝模特和真實場景共存。
圖2 增強現實系統場景(注:原文圖片不清晰,此圖片來源于互聯網)
在增強現實的環境中,使用者可以在看到周圍真實環境的同時,看到計算機產生的增強信息。這種增強的信息可以是在真實環境中與真實環境共存的虛擬物體,也可以是關于存在的真實物體的非幾何信息。
由于增強現實在虛擬現實與真實世界之間的溝壑上架起了一座橋梁,因此增強現實的應用潛力是相當巨大的,它可以廣泛應用于軍事、醫學、制造與維修、娛樂等領域。
2 增強現實的關鍵技術
增強現實系統需要通過分析大量的定位數據和場景信息來保證由計算機生成的虛擬物體可以精確地定位在真實場景中。一般,真實場景由攝像機錄制,攝像機的內部參數(焦距和透鏡的失真率)和外部參數(位置和方向)決定了哪一部分三維立體圖像被投影到二維平面。同時,虛擬物體由計算機圖形設備在對象坐標系中建模產生。圖像系統需要真實場景中的相關圖像信息來控制產生虛擬物體的虛擬攝像機的方向。最后虛擬圖像和真實圖像融合,就形成了增強現實的圖像。因此增強現實系統中一般都包含4個基本步驟:
(1)獲取真實場景信息;
(2)對真實場景和相機位置信息進行分析;
(3)生成虛擬景物;
(4)合并視頻或直接顯示(如圖3所示)。
圖3 流程
增強現實系統的關鍵技術主要包括:顯示技術、跟蹤與定位技術和交互技術。
2.1 顯示技術
增強現實系統可以通過多種設備來顯示虛擬物體和真實場景的疊加,目前最常用的就是光學式頭盔裝置和視頻式頭盔裝置。
光學式頭盔裝置(optical see through HMDs)是把光學融合器放置在用戶眼前來實現增強現實的。這些融合器是部分透光的,以便用戶可以通過它直接觀察真實世界;同時融合器也是部分反射的,以便由頭部監視器投射到融合器上的虛擬物體的光再反射到用戶眼里,用戶就看到了融合有虛擬物體的真實世界。圖4顯示了光學式頭盔裝置的基本構造。
圖4 意圖
視頻式頭盔裝置(video see through HMDs)封閉了視線,它把一個封閉的視頻頭盔同一到兩個視頻攝像機結合在一起。視頻攝像機為用戶提供真實世界中的場景,場景合成器負責把攝像機視頻和虛擬圖像進行合并。最后結果由位于封閉頭盔上的監視器表現出來,用戶便可以方便觀察到增強的真實世界。如圖5所示。
圖5 意圖
2.2 跟蹤與定位技術
由于要實現虛擬和現實物體完美結合,必須將虛擬物體合并到現實世界中的準確位置,這個過程常稱為配準(registration),因此增強現實的跟蹤定位系統必須能夠實時地檢測觀察者在場景中的位置、觀察者頭部的角度,甚至是運動的方向,以便用來幫助系統決定顯示何種虛擬物體,并按照觀察者的視場重建坐標系。
在增強現實系統中,最常用的是使用視頻檢測技術 。視頻檢測就是使用模式識別技術(包括模板匹配、邊緣檢測等方法)識別視頻圖像中預先定義好的標記、物體或基準點,然后根據其偏移和轉動角度計算坐標轉換矩陣。用視頻檢測方法進行定位不需要其他設備,且定位精確。
2.3 交互技術
目前許多研究人員在考慮用戶如何與增強現實應用進行交互,如何有效地在增強現實顯示器上表現信息、與虛擬信息進行交互是很困難的事。目前,增強現實交互手段研究有兩個趨勢:使用不同的設備,取各家之長;通過切實可行的界面,使虛擬對象與自然界成為一個整體?,F在主要使用的交互方式有三種:
(1)菜單:多用于掌上電腦的應用。
(2)特殊標記:用于將特殊的標記固定在用于交互的設備上。
(3)特制工具:一般外形簡單、易于識別、并且通過按鍵可以觸發一些系統事件。
3 人的因素及感知
人的因素、感知研究以及認知科學的研究成果對高效AR系統的設計是很有幫助的。Drascis討論了影響AR顯示的18種不同的設計問題,包括實現錯誤、技術問題,以及目前頭盔裝置設計中的基本限制等。人們需要更好地理解人的因素對長期使用AR系統的影響,這些重要的因素包括:
(1)反應時間:與所有能夠引起錯誤的源相比,延遲引起的定位誤差最大。有研究表明,一毫秒的延遲會引起一毫米的誤差 。更重要的是,延遲會降低系統的性能。
(2)深度感知:準確的深度感知是很困難的定位問題,立體顯示可以幫助深度感知,但目前的顯示技術會帶來新的問題,包括適應性調節、低分辨率和模糊顯永引起對象出現的距離比實際的要遠。使用正確的遮擋關系能改進一些深度感知問題。
(3)用戶適應性:對AR設備的適應能力從負面影響AR系統的性能。
(4)疲勞和眼睛緊張:不舒服的AR顯示器不適合長期使用。
4 增強現實的軍事應用
20世紀90年代初期,增強現實這個名詞一經提出 ,美國就率先將其用于軍事領域。近幾年增強現實已進入了軍事領域的多個方面,并開始發揮其巨大作用。各國也都將增強現實在軍事領域的應用列為高度軍事機密。目前,增強現實在軍事領域的應用主要集中在增強戰場環境、軍事訓練及作戰指揮等方面。
4.1 增強戰場環境
部隊可以利用增強現實來增強戰場環境信息,在真實環境中融合虛擬物體,可以增強真實的戰場場景。
向系統中輸入部隊的位置信息,系統不僅能向部隊顯示真實的戰場場景,而且能夠通過增加虛擬物體強調肉眼無法看見的環境信息以及敵方或己方的隱藏力量來增強真實戰場場景的顯示,真正實現各種戰場信息的可視化。
4.2 軍事訓練
增強現實可以為部隊的訓練提供新方法,通過增強的軍事訓練系統,可以為軍事訓練提供比實兵演習更加真實的戰場環境。士兵訓練時通過隨身攜帶的增強現實系統,不僅可以看到真實的場景,而且可以觀察到場景中各種增加的虛擬物體,將軍事訓練推向更加實戰化。
4.3 作戰指揮
戰場指揮員如何及時掌握瞬息萬變的戰場情況,一直是作戰指揮中的一大難題。將增強現實應用于作戰指揮系統中,可以允許各級指揮員同時觀看、討論戰場以及與虛擬場景交互,實現整個戰場信息的高度共享,這將更有利于各級指揮員快速、正確理解上級意圖。通過增強的作戰指揮系統,指揮員能實時掌握各個作戰單元情況,有利于指揮員及時做出正確的作戰決策。例如美國NRL海軍研究試驗室開發的戰場用增強現實系統(BARS),它為城市戰場環境中的各級指揮官和士兵之間傳達三維戰術信息提供了一個實用平臺。
4.4 武器裝備研制
將增強現實應用于武器裝備研制中,可以實現不同地域、不同單位的設計人員合力為軍方完成復雜裝的研制。研制部門也可以通過增強現實系統,將裝的模型及各種可能的設計方案融合在一起顯示給軍事使用部門,使用部門可以通過增強現實系統全面比較各種方案,并且能夠將修改意見直接反映到裝備的模型上,這將大大提高裝備研制的效率以及裝備的實用性。
4.5 裝備維護和修理
大量復雜裝備的維修一直是部隊的棘手問題,特別是戰時如何實現裝備的快速維修更是決定戰場勝負的要素之一。目前,裝備說明書一般是文本和圖形形式的,不方便于技術人員的維修。而將增強現實用于裝備維修中,可以直接在實際設備中添加3D畫面,一步一步地提示技術人員應該做什么以及如何做,方便裝備的維修,極大提高裝備保障的效率 。
4.6 協同工作
將增強現實應用于協同工作,可以允許多個用戶終端協同活動,同時觀看、討論以及和虛擬物體交互。協同增強現實系統可以為多個用戶能夠建立一個共享的、可理解的虛擬空間,類似于他們所理解的自然空間。融人增強現實的協同工作所提供的協同工作環境,將在模擬推演、軍事標繪等領域有著廣泛的應用。
4.7 軍用飛機
軍方將增強現實用于飛行員座艙的顯示,在飛行員座艙的前方玻璃上或者他們的頭盔顯示器上,將矢量圖形疊到飛行員的視野中,不僅向飛行員提供導航信息,而且提供了包括敵方隱藏力量的增強戰場信息。目前美國軍方從事注冊跟蹤目標的研究工作,為飛機上裝載的武器裝備提供瞄準路徑方面的增強信息。
5 總 結
增強現實是一個多學科交叉的領域,它包括計算機視覺、計算機圖形學、傳感學、網絡和GPS等。作為一門新型的技術,目前增強現實的應用還處于實驗室研究階段,達到實用的增強現實系統還很少,增強現實的廣泛使用還受到技術、用戶界面和社會接受度等問題的限制。隨著增強現實研究和應用的日趨成熟,必將在軍事領域產生深遠的影響。
參考文獻:
[1] Mi an1,Kishino.A taxonomy of Mixed Reality Visual Dis.plays[J].IEICE Trans Information Systems,1994,E77一D(12):1321—1329.
[2] Azuma R.Survey of augmented reality[J].Teleoperatom andVirtual Environments,1997,6(4):355—385.
[3] 齊越,馬紅妹.增強現實:特點、關鍵技術和應用[J].小型微型計算機系統,2004,25(5):900—903.
[4] 朱淼良,姚遠,蔣云良.增強現實綜述[J].中國圖形圖像學報,2004,9(7):767—774.
[5] CaudeH T.AR at boing[EB/OL].1990.http://www.ipo.tue. nl/homepages/mrauterb/[)resemation/HCl — history/tsld096.htm.
[6] Drascis D,Mi LGram P.Perceptual issues in augmented reality[C]//Proc.SPIE,Stereoscopic DisplaysⅦ and"virtual Sys.tems HI.[s.I_]:SPIEPress,1996:123~134.
[7] Holloway R L.Registration error analysis for augmented real—ity[J].Presence:Teleoperators and virtual Environm ents,1997,6(4):413—432.
[8] Julier S.Information Fikering for Mobi~Augmented Reality[C]//Proc.Im’l Symp.Augmented Reality 2000(ISAR00).Los Alamitos,Calif.:IEEE CS Press,200O.
[9] 柳祖國,李世其,李作清.增強現實技術的研究進展及應用[J].系統仿真學報,2003,15(2):222—225.