AR Fukuokaの暑気払いLT会の資料

1. MRTKをNreal Lightに
対応させてみた
AR Fukuoka暑気払いLT会2021

2. 自己紹介
氏名：吉永崇(Takashi Yoshinaga)
所属：スチームパンクデジタル / ISIT
仕事：AR技術の活用に関するR&D
コミュニティ：ARコンテンツ作成勉強会
Twitter: #AR_Fukuoka

3. What’s Nreal Light？
Nreal Ltd.が開発したARグラス
[特徴]
 軽量 (約106g)
 6DOF (自由に歩き回れる)
 平面やマーカーの検出
 比較的安価 (¥129,500)
さらに
 ついにハンドトラッキングに対応

4. Hand Trackingデモ
https://youtu.be/QH6aPDONO5s

5. Hand Tracking の特徴
手の関節の取得や位置追跡

6. Hand Tracking の特徴
ジェスチャー認識
 手の開閉
 ポインティング(指差し)
 Vサイン
 ピンチ (つまみ)
簡単にこれらの情報をプログラムで
取得できる！

7. 問題点
手の位置やジェスチャー認識を使ったインタラクションは
自分で実装しなくてはいけない

8. 問題点
オブジェクトの回転や拡大縮小などARグラスで
一般的に使われる操作は楽に実現したいよね？

9. Related Tool: MRTK
Microsoftが提供するHoloLens向け開発キット。Oculus Questや
Magic Leap, スマートフォンなど各種XR機器に対応

10. MRTKの良い所
ノンプログラミングで基本的なインタラクションを実現できる！
共通の仕組みで各種XRデバイス向けアプリを開発！

11. Nreal Lightには未対応

12. ということで
MRTKをNreal Lightに対応させよう

13. でも...
MRTKよくわからん

14. Dive Into MRTK: Step 1
各デバイス用の設定の切り替えはMixedRealityToolkitでできたたはず
MixedRealityToolkit
ここで設定

15. Dive Into MRTK: Step 2
ヒントがあるかもしれないのでドロップダウンメニューを開いてみよう
設定リスト

16. Dive Into MRTK: Step 2
LeapMotion用の設定もある

17. Dive Into MRTK: Step 3
DefaultLeapMotionConfigurationProfile
の中身を理解すればNreal Lightのハンドトラッキングと
MRTKを接続できるのでは？

18. Dive Into MRTK: Step 4
関係ありそうなのはInput?

19. Dive Into MRTK: Step 4
Leap Motion Device Manager

20. Dive Into MRTK: Step 5
Leap Motion Device Manager
の実装はこのスクリプト

21. Dive Into MRTK: Step 5
Leap Motion SDKが
提供する機能を使っている
(LeapMotionDeviceManager.cs)

22. Dive Into MRTK: Step 5
MRTK⇄LeapMotion
の変換も行われている
(LeapMotionArticulatedHand.cs)

23. Dive Into MRTK: Step 6
Leap Motionの手の情報の取得とMRTKの手へのマッピングを
行なう処理をNreal Lightの情報に置き換えたコードを作成

24. Result
https://youtu.be/26hBZX-cqiE

25. Now Available on GitHub
https://github.com/TakashiYoshinaga/MRTK-Profiles-for-NrealLight