在互聯網時代，大家以一串ID存在于網絡上，在XR時代，你將以何種形式活躍在元宇宙中？
6月23日，Rokid開展軟件產品演示分享會，從XR交互引擎、XR系統框架、XR創新應用、AI算法應等層面，相繼演示了數字人、手勢交互、YodaOS國際化、全息空間2.0、OpenXR、MSpace、Light（WebXR）、AR導航、6DoF空間聲場技術、全新端到端ASR算法等最新成果。
前沿技術成果接連上演，現場掌聲雷動，Rokid技術人er們也為XR時代的交互方式畫下了新的藍圖。
發布3D數字人技術
讓用戶“捏”個活靈活現的自己
在元宇宙中，如何定制一個獨一無二的形象？本次軟件產品演示分享會帶來了Rokid數字人最新技術成果——豐富可擴展的3D數字人模型和數字人引擎。
通過不同設計的眉毛、眼睛、鼻子、嘴巴、臉型以及裝扮，Rokid 3D數字人模型支持用戶通過“捏臉”和換妝的方式，定制專屬自己的形象。
目前，Rokid數字人模型已基本滿足亞洲用戶群體，未來的數字人模型將以更多五官分類組合、膚色、發型、發色以及不同地域風格的服裝等，讓不同國家和地區的用戶都可以擁有專屬數字形象。
值得一提的是，通過音素識別解決方案打造的數字人引擎，在無需額外的攝像頭捕捉面部的情況下，僅通過音頻就能識別出人講話的口型和情緒狀態，實現聲音和表情的高度同步，完整呈現用戶的喜怒哀樂，讓數字人形象更加靈活生動，可被廣泛應用于游戲、社交、商超、公共場所導覽等場景。
未來，Rokid數字人技術不僅將以SDK的方式向行業開發者開放，同時還將登錄Rokid Air AR智能眼鏡，支持用戶在設置界面定制自己的專屬形象，Rokid推出的多人在線協同應用——MSpace，也將接入數字人技術，讓用戶實現更好的交互體驗。
首創單目RGB攝像頭實現2D、3D手勢交互
目前主流的AR眼鏡一般都用ToF或多目攝像頭來實現手勢交互，但Rokid為面向未來的XR設備打造的方案僅通過單顆RGB攝像頭和高幀率IMU傳感器的VIO方法獲得穩定性好、精確度高的6DoF追蹤效果，而且基于同一顆攝像頭相機共享數據，還可以用于完成自然、靈動的手勢交互體驗。
本次軟件產品演示分享會，Rokid技術團隊就演示了全新升級的單目2D RGB手勢交互技術，并帶來了單目3D RGB手勢交互技術的最新成果。其中，單目2D RGB手勢交互實現了雙手聯動、虛空觸發以及抬拉拖拽等互動，實現了更高的靈活度和更自然的交互。
單目3D RGB手勢交互演示
基于深度學習算法和大量先驗數據，使得使用單目RGB來重建3D Hand成為了可能。Rokid自研的單目3D手勢算法能在移動端實時重建手部姿態參數，包括手部6DoF，手部關節點26DoF，以及Hand Mesh信息，為AR的手勢交互提供良好的算法基礎。
MSpace再升級
Light（WebXR）、AR導航原生應用發布
在打造強有力的XR交互引擎的同時，Rokid技術團隊還帶來了Light（WebXR）、AR導航原生應用，并對MSpace進行了重要更新。
① Light（WebXR）
實現Web端XR開發者和應用的輕松接入
市面上豐富的云游戲庫，該如何通過Rokid AR玩起來？如何戴著Rokid AR看電影、看小說、逛論壇、瀏覽網頁？輕量級內容聚合平臺—— Light（WebXR）重磅亮相，一站式解決用戶多種需求。
未來，Light（WebXR）將登錄Rokid Air應用商店，為用戶帶來更多Web端XR應用和資源。同時，Light（WebXR）支持了標準的WebXR API，歡迎更多Web端XR開發者參與到AR生態建設中。
② MSpace
通過虛擬化身+空間聲場技術，打造更真實的臨場感
作為XR時代的原生應用，MSpace具備屏幕共享、3D內容協作、虛擬分身等核心能力。在此次軟件產品演示分享會中，Rokid技術團隊帶來了融合聲場渲染、虛擬分身驅動、空間協同、全息渲染等技術的升級版MSpace，實現了實時音頻驅動虛擬分身的口型、表情與動作，讓虛擬分身更形象生動。同時，升級版MSpace還支持空間中公有物體同步操作、私有物體隨心操作，虛擬物體準確放置并能實現身臨其境的光影效果。
③AR導航
更臨場感的導航體驗，迷路星人再也不迷糊
手機導航不方便，傳統的2D圖標+單眼AR導航，不僅視角受限，提示還不夠明顯，AR導航急需革新！
在此次軟件產品演示分享會中，Rokid技術團隊就演示了圍繞立體感、臨場感和沉浸感為用戶打造的身臨其境、指哪去哪的AR導航體驗。
相較于傳統單眼模式，雙目AR導航會讓視覺在一定程度上減少和現實的割裂感，另外這款應用還采用了近大遠小的空間透視關系和全局實時光照投影，能大幅度提升使用者的沉浸感。
關于導航用戶最擔心的精度問題，Rokid AR導航通過采用高精度的地圖、GPS定位和磁力計校正來提高導航的精度。未來，Rokid AR導航還將加入SLAM技術和地理信息系統平臺，為用戶搭建一個真正的虛實結合的元宇宙出行平臺。
高能AI算法
一場關于技術變革的深度較量
在高能體驗的背后，都離不開強有力的算法支持。Rokid算法工程師的日?？偸窃跇O致中追求革新，落地人們關于元宇宙的一切暢想。此次，Rokid就公開發布包括Atauro Audio（6DoF空間聲場）以及全新端到端ASR算法等最新成果，從聲、形等多方面推動AR和AI技術革新。
①Atauro Audio（6DoF空間聲場）
讓耳朵也進入元宇宙
在眼鏡之后，耳朵也要進入元宇宙啦！通過6DoF空間聲場技術，Rokid正在實現關于“聲臨其境”的變革。6DoF空間聲場是聲音在三維領域的體現，不同于傳統雙聲道、立體音帶來的聽覺體驗，6DoF空間聲場技術可以在混合現實中模擬聲源與人耳之間因空間位置變化、有無遮擋物等帶來的聲音強弱與方向的變化，從而讓AR眼鏡為用戶帶來更具臨場感的聽覺體驗。
6DoF空間聲場技術將會集成到全新升級版的YodaOS-XR操作系統中，作為YodaOS-XR操作系統的基礎能力供行業開發者們進行調用。同時，Rokid還計劃推進更多應用于AR眼鏡的特殊音效的開發，如環繞與微重低音的高保真音效等，以高效易用的SDK讓開發者真正實現即拿即用。
②全新端到端ASR算法
實現從坐火車到乘飛機的升級
Rokid語音技術不斷升級，通過全新端到端語音技術，在原有基礎上實現字錯率降低30%。
同時，本次升級不僅僅是傳統意義上的優化，而是實現了從0到1的工業級語音識別技術革新和更簡單的算法架構、更快的訓練速度、更簡單的接口、更容易的調試方式、更低的資源消耗，達到真正的“穩，準，快”效果。
未來，Rokid端到端語音技術還將在小語種、垂直領域定制賦能AR行業等方面不斷形成新的突破，值得期待。
系統框架再升級
更國際化、更開放、更高適配性
在此次軟件產品演示分享會中，Rokid技術團隊還帶來了全新升級的系統框架，包括多國語言、全息空間2.0、OpenXR標準等，讓Rokid YodaOS-XR操作系統更加強大。
其中，Rokid YodaOS-XR操作系統國際化再進一步，中、英、德、俄、西、葡、韓、日、意、法、馬來、阿拉伯語等多種語言即將發布，進一步助力Rokid全球業務的持續推進！
Rokid全息空間1.0也升級到了2.0版本。相較于1.0版本的頭控3DoF、眼鏡中3D展示、語音識別技術三個交互方面探索，全息空間2.0實現了統一的3D物體控制框架，能對虛擬空間中的模型進行移動、旋轉和縮放操作，從而使AR全息化體驗更強。這一能力，Rokid原生應用MSpace已直接移植，為MSpace遠程協同空間添加更富有樂趣的全息模型。
除了3D物體控制框架，全息空間2.0的多模態交互方式還由虛擬控制器+SLAM+空間音頻構成，可以為用戶帶來更強的臨場感。值得一提的是，全息空間2.0僅通過一個RGB攝像頭開發完成，實現了性能與成本的高度平衡。
在技術不斷進步的同時，YodaOS-XR操作系統在宣布全面支持OpenXR標準后，行業合作和落地應用也取得了突破性進展。在不久前，Rokid與行業主流3D引擎 Cocos 達成戰略合作，推動OpenXR標準全面落地?；贠penXR標準打造的AR示例游戲《幽靈射手》也將登錄Rokid Air應用商店，這也是Rokid YodaOS-XR操作系統宣布全面支持OpenXR標準以來，首款基于此標準接入的應用。
基于OpenXR標準，Rokid將與更多行業開發者、游戲引擎公司達成合作，共同催動內容創作者的產出，為用戶提供更為良好的內容環境，真正實現雙贏。
技術的持續革新，延續著產品的生命力。Rokid技術工程師們對極致技術的追求，正在讓更自然的AR交互體驗變成現實。未來，Rokid將持續把最新的交互和技術融入操作系統YodaOS-XR中，打造全新的AR體驗。在奔向AR未來的旅途中，讓我們一起期待Rokider為行業開發者以及用戶創造的驚喜！
