增強現實是隨著計算機圖形技術、可視化技術以及光電成像技術等一系列技術的發展在近年出現的,虛擬現實營造一個和用戶周圍環境完全不同的由計算機生成的虛擬場景,而增強現實則是把計算機生成的虛擬物體或文字信息疊加到真實的環境中,增強現實在虛擬環境和真實環境之間搭起了一個橋梁。
增強現實解決方案
是一個典型的增強現實場景,用戶借助手機、平板電腦等智能終端顯示設備自帶的攝像頭觀察周圍的真實環境,在其手持的智能終端顯示屏上除了可以看到其周圍的真實環境之外,還可以看到由計算機生成的虛擬輔助信息,如最近的麥當勞在哪個位置,這可以通過在周圍環境上疊加一個漢堡來表示附近有一家麥當勞店。當用戶來到一個陌生城市,如果要找最近的地鐵站,可以通過手機攝像頭掃描周圍環境來得知最近的地鐵站或其他一些感興趣的地點在哪個位置。除了在工業、醫療等領域具有十分廣泛的應用,近年來增強現實在軍事領域也有非常廣泛的應用。在本次國防電子展上展出了一套單兵作戰系統,借助攝像機和頭盔顯示器士兵在觀察戰場環境時可以看到例如敵方的火力點等很多提示信息。在夜晚和惡劣天氣情況下這套系統具有重要作用,可以更好的保護士兵,使得士兵能夠更好地地完成作戰任務。
近年來增強現實技術得到了很大的發展,圖2是一些典型的增強現實應用,在體育轉播時,借助增強現實技術可以把運動員的名字或者所做國家的國旗疊加在跑道上,由于事先已經獲取了攝像機以及賽場環境的準確參數,可以保證在實時轉播時由計算機所添加的虛擬物體或者文字信息天衣無縫的融合到當前環境中。除了體育轉播以外,現在很多的演出中也應用了增強現實技術。
增強現實的另外一個典型應用是運行在手機上的一個智能感知系統。例如借助增強現實技術,當用戶到達一個陌生的環境需要獲取信息時,通過舉起手機拍攝周圍環境,所有的陌生文字都可以變成其熟悉的語言。在商業區舉起手機拍攝就可以很快找到最近的快餐店的地址。當想知道天氣時,只需要拍攝一下天空,就可以獲得天氣的信息。
移動增強現實系統所需要解決的
一系列關鍵技術
移動增強現實系統由硬件和軟件兩部分構成。硬件部分主要包括可以把用戶當前所處的真實環境和計算機所生成的虛擬物體以及文字同時進行顯示的顯示載體,這既可以是單兵作戰系統中的頭盔顯示器,也可以是用戶手持的智能手機或者是平板電腦。除了融合顯示裝置外,還需要了解用戶意圖的人機交互設備,因為系統需要知道用戶現在的需求是什么,采用傳統的鍵盤鼠標無法實現這樣的人機交互,需要采用包括語音識別、眼動跟蹤、身體動作跟蹤等一系列的自然交互手段。此外還需要硬件計算平臺來完成融合顯示、虛擬物體的繪制以及人機交互等一系列的復雜運算。除了上述硬件平臺之外還需要一系列軟件的支撐,包括識別當前用戶所看到的場景中的物體種類以及物體具體位置的識別和跟蹤軟件,把虛擬的三維物體進行實時的繪制和融合顯示的三維圖形渲染繪制軟件,這些硬件和軟件平臺一起構成了移動增強現實系統。
目前有三種方式可以實現移動增強現實系統,包括基于頭盔式顯示器的移動增強現實系統、基于手持投影儀的移動增強現實系統以及基于智能手機、平板電腦等便攜智能終端的移動增強現實系統。
盡管移動增強現實系統已經顯示出了在諸多領域中廣泛的應用前景,但是由于技術條件和成本的限制,和大規模的推廣應用尚有一定的距離,目前比較成熟的應用大多集中在軍事、醫療等對價格不是特別敏感的領域。
目前制約移動增強現實系統性能的因素主要包括以下兩個方面,一是移動計算平臺的計算資源、電池的壽命和重量的限制。二是戶外場景復雜多變的因素,由于戶外存在光照的變化以及遮擋等問題,同時用戶在戶外的場景中自由移動,事先無法預測用戶的軌跡,而環境又會有陰晴雨雪變化,所有這些不可控的因素制約了移動增強現實技術的應用。
開發移動增強現實需要攻克以下六項關鍵技術:
一、高效便攜的終端定位系統,為了獲得用戶在環境中的準確位置,完成對用戶在環境中的準確定位,目前有幾種方法可以實現,當用戶攜帶手機時,通過移動網絡可以對用戶進行粗略定位,可以記錄用戶在網絡中的一個歷史軌跡,通過這樣的一系列的歷史數據,在服務器端可以對用戶當前的位置有一個相對精確的估計,這些的復雜運算是在服務器端實現的,借助服務器端強大的計算能力,可以在不占用移動端過多資源的情況下獲取準確的定位。
二、移動終端和多核工作站之間不同計算能力設備間的任務協同。為了實現移動增強現實系統,要完成非常多復雜的運算,包括對用戶位置的跟蹤、渲染、繪制等,這些復雜的運算任務要在移動終端和系統的服務器中進行協調,目前的解決方案是把一部分工作放在手機端由手機實現,而將另外一部分復雜運算放在服務器中實現。
三、海量目標的精確識別。在生活中有時我們希望能夠知道用戶面前的建筑物是什么,用戶面前的車是什么型號,目前有多種方式實現這樣的功能。為了識別出這些物體,可以通過提取對象的輪廓特征、紋理特征等來辨識。由于戶外環境的復雜多變,單一的特征很難實現百分之百的識別,為此在移動增強現實系統中,通過多特征融合進行物體識別,例如對于同一個用戶眼前的建筑物,首先提取它的多種特征,通過融合多種特征來更加詳盡的對目標加以識別和描述。
四、六自由度跟蹤定位,即知道用戶在環境中是在向哪個方向看以及確定用戶所處的位置,所采用的方法是事先在計算機存儲部分已經標好的圖像,當實際用戶使用的時候,通過將拍攝到場景中的圖像和事先存儲的圖像進行匹配可以獲得準確的六自由度信息。
五、多傳感器數據融合。目前移動智能終端帶有多種傳感器,在實際使用中即可以通過計算機視覺技術對攝像頭所拍攝的環境物體進行跟蹤,也可以采用慣性傳感器進行姿態跟蹤,通過融合多個傳感器的輸出可以獲取更加準確的跟蹤結果。
六、真實、高效的3D渲染。為了實現移動增強現實系統,還需要把生成的三維物體準確的繪制到當前的場景中,考慮到移動終端資源的限制,需要繪制算法能夠盡可能簡化,解決的方法之一就是簡化傳輸數據的冗余性,從而實現真實高效的三維渲染。
下面介紹國外的典型應用。圖3所示是增強現實瀏覽器,用戶只需要在手機上選擇一個頻道,在拍攝周圍環境的時候,用戶所有感興趣的信息都會自動出現在屏幕上。比如在選擇餐飲的時候,周圍的所有的飯店的符號都會出現在屏幕上,用戶可以通過點擊屏幕看到對應的評價,甚至可以下載飯店的優惠券。
移動增強現實在博物館導覽方面也有很好的應用。博物館提供了非常多的展品,但目前所有展品的標簽所提供的信息都是有限的,用戶到博物館參觀時希望知道展品背后的故事。借助移動增強現實技術,用戶進入到博物館時可以在手機上下載一個軟件,當用戶在博物館內進行游覽時當用戶看到感興趣的展品,通過手機屏幕呈現和這個展品有關的文字、圖片以及視頻等信息可以增強用戶對展品的認識。
移動增強現實在電子商務方面也有很多的應用,例如近年來在北京地鐵站出現的虛擬購物超市,消費者只要通過手機拍攝想要購買的物品并發送給服務商,就可以享受到送貨上門的服務。
移動增強現實在教學培訓上也有廣泛的應用,國外開發了一款在iPhone上的運行的軟件,可以在實際的電路上通過三維顯示的方式來疊加學生需要搭建的電子元器件來指導學生進行電路的搭建。在化學、地理等等一些教學中,通過對三維的分子結構以及三維的空間星系進行增強顯示可以加深對這些知識的理解。
在導航導覽方面增強現實具有更加廣泛的應用,目前國外新開發的GPS軟件上已經應用了增強現實,當把這樣一款GPS安放在駕駛的車輛上,就會看到前方的道路地面疊加出了方向箭頭,可以實時指引駕駛員,通過這樣的可視化手段為用戶提供了非常好的使用感受。
在本屆國防電子展上也有多款產品應用了增強現實技術,例如晚上駕駛照明條件不好時,可以借助紅外傳感器觀察周圍環境,然后把增強后的路況借助增強現實技術顯示在風擋玻璃并后準確的疊加在駕駛員前方的道路上,從而增強用戶對環境的理解。
增強現實在商業廣告方面也有很多的應用,Ibutterfly是一款下載在iPhone上的AR應用,是旅游和餐飲業的一個很好的宣傳平臺。在娛樂游戲方面,增強現實可以把用戶周圍的真實場景變為游戲場景,而在社交網絡應用上,增強現實技術可以方便用戶與好友進行在線交流。
近年來增強現實在古跡重建及導覽方面也有很多的應用,例如用戶到圓明園進行游覽時可以通過增強現實技術看到圓明園被燒毀之前的壯美建筑,加深對古跡現場的理解。
發展方向
移動增強現實的一個發展方向是基于投影儀的移動增強現實系統。盡管目前手機屏幕越來越大,但是不可能無限增大,同時大的顯示屏幕對于電池是一個非常大的考驗。美國MIT開發的移動增強現實系統借助微型的投影儀把增強信息投到用戶手上以及用戶閱讀的報紙上,同時用戶可以通過不同的手部動作和投射出的影像進行交互,通過投影機可以把用戶周圍任何的平面、曲面都變成顯示表面,可以幫助用戶更好的工作和生活。
移動增強現實的另外一個發展方向就是對智能信息的挖掘,通過對用戶消費習慣以及行為習慣的分析,移動增強現實系統能夠在適當的時候給用戶一個最好的建議,這樣的系統有賴于對原始數據的智能發掘,相信隨著技術的發展,不久的將來,移動增強現實技術將很快走入生活,從而更好的服務于我們的生活。