DJI的未來在香港科技,我們的未來在哪里?我們需要全新的人機互動接口,更加智能的操控方式,這將會極大地降低培訓成本
來自香港科技大學的研究人員Shaojie Shen and Chuhao Lio發布了一個新的、有趣的創新,其使用全息增強現實硬件來生成真實的3D地形圖,并允許無人機飛手簡單地指向在任何平面之上可視化的目標。
全息界面使用了多種技術來實現這一點。為了顯示,微軟全息頭戴式耳機以彩色體素地圖的形式生成AR內容,可以從任何角度查看。通過一個自主飛行無人機的深度攝像頭以及實時定位數據的光線投射來傳遞這些信息。該系統為操作員提供了對環境高度和深度的實時和高度空間感,并使無人機能夠從第三人視角輕松地觀察并重新定位。
全息鏡頭頭戴式耳機將命令反饋給無人機,并通過將佩戴者的手勢和凝視轉換為點按式控件來確定其在全息地圖中的下一個目標。自主無人機隨后可以飛到新位置,同時在移動時更新3D地圖。
研究人員發布了一段演示視頻,看起來更逼近科幻電影的感覺,尤其是全息方面。然而,由于帶寬的限制,無人機只能向增強現實界面提供3D地圖數據,并且不中繼附帶的第一手視頻。
系統測試構架原理圖
在全息無人機控制系統部署之前,研究小組仍然需要進一步研究,無人機的數據最初是在室內測試空間內使用Wi-Fi共享的,但對于室外應用,一旦5G網絡覆蓋可以滿足無人機的使用要求,就有可能使用低延遲的5G蜂窩連接。
測試中第一組測試人員經常抱怨視野非常有限,針對這一問題,對于即將到來的全息鏡頭2AR耳機將可以解決。第一組人還被要求練習,以便更熟練地進行三維定位,盡管之前對增強現實硬件并不熟悉,這種情況可能會影響到不完善的3D用戶界面或手勢識別。
然而,與真人視頻相比,3D地圖數據具有更好的帶寬效率。當每秒更新10次數據時,其僅僅需要272MB的數據。實時視頻則需要1.39GB的數據才能以每秒30幀的速度傳輸第一人稱視頻圖像。未來,該團隊還將致力于將兩種數據流類型進行結合,以幫助最終用戶優化數據以滿足網絡的最低帶寬水平。
盡管存各種問題,全息增強現實系統已經顯示出強大的潛力。除了新穎的視覺界面外,還可以提供控制遠程無人機的便利,只需使用一個簡單、便攜的獨立增強現實耳機,而不必依賴傳統的計算機、顯示器和操縱桿。