Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie HoloLensハンズオン：ハンドトラッキング&音声入力編
Ähnlich wie HoloLensハンズオン：ハンドトラッキング&音声入力編 (20)
Mehr von Takashi Yoshinaga
Mehr von Takashi Yoshinaga (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (11)
HoloLensハンズオン：ハンドトラッキング&音声入力編
- 11. CGの詳細情報の編集：色の設定 (1/3) ②右クリック ③ Create マテリアル(色や質感の設定)を作成 ④ Material ①Assets
- 13. CGの詳細情報の編集：色の設定 (3/3) オブジェクト(Cube)のマテリアルを開き、作成したマテリアルを割り当て (2) Materialsの横の▼(1)Cube (3) Element0に ドラッグ&ドロップ
- 19. HoloLens Cameraの設定 Assets → HoloToolkit → Input → Prefabs HoloLensCameraを ドラッグ&ドロップ
- 20. 動作確認 [↑] [↓]で前進/後退 [←] [→]で左右移動 [Q] [E]で上下 右クリック+マウス移動で回転
- 21. SpatialMappingを用いた空間認識 Assets → HoloToolkit → SpatialMapping → Prefabs SpatialMappingを ドラッグ&ドロップ 実物体によるCGの隠れ(オクルージョン)を表現するために使用
- 24. ジェスチャ入力を管理する機能を追加 HoloToolkit → Input → Prefabs Input Managerをドラッグ&ドロップ
- 28. AirTapを受け取るスクリプトを作成 New Script スクリプト名 例：Receiver Create and Add スクリプトが追加されてる
- 30. スクリプトの記述 using HoloToolkit.Unity.InputModule; public class Receiver : MonoBehaviour { // Start関数は初期化のために一度だけ実行される void Start () { } // Update関数は毎フレーム実行される void Update () { } } InputModuleの読み込みとISourceStateHandler, IInputHandlerを実装 , ISourceStateHandler, IInputHandler ISourceStateHandlerとIInputHandlerにカーソルを 合わせ、ヒントからInplement interfaceをそれぞれ選択
- 31. 不要コードの削除 public class Receiver : MonoBehaviour, ISourceStateHandler, IInputHandler { public void OnInputDown(InputEventData eventData) { throw new NotImplementedException(); } public void OnInputUp(InputEventData eventData) { throw new NotImplementedException(); } public void OnSourceDetected(SourceStateEventData eventData) { throw new NotImplementedException(); } public void OnSourceLost(SourceStateEventData eventData) { throw new NotImplementedException(); } throw new NotImplementedException(); throw new NotImplementedException(); throw new NotImplementedException(); throw new NotImplementedException();
- 33. ジェスチャの受信設定と手の検出 //手を検出した時に呼ばれる関数 public void OnSourceDetected(SourceStateEventData eventData) { Debug.Log("手を検出"); } //手を見失った時に呼ばれる関数 public void OnSourceLost(SourceStateEventData eventData) { Debug.Log("手をロスト"); } void Start () { InputManager.Instance.PushFallbackInputHandler(gameObject); } void Update () { } このスクリプトが貼り付けられている オブジェクト(gameObject)に ジェスチャの通知が来るように登録
- 35. 指の状態の取得 //人差指をおろした時に呼ばれる public void OnInputDown(InputEventData eventData) { Debug.Log("Down"); } //人差指を上げた時に呼ばれる public void OnInputUp(InputEventData eventData) { Debug.Log("Up"); } public void OnSourceDetected(SourceStateEventData eventData) { Debug.Log("手を検出"); } public void OnSourceLost(SourceStateEventData eventData) { Debug.Log("手をロスト"); }
- 37. 手の状態を保持する bool drag = false; //ドラッグor開放の状態を保持する変数 public void OnInputDown(InputEventData eventData) { drag = true; Debug.Log("Down"); } public void OnInputUp(InputEventData eventData) { drag = false; Debug.Log("Up"); } public void OnSourceDetected(SourceStateEventData eventData) { Debug.Log("手を検出"); } public void OnSourceLost(SourceStateEventData eventData) { drag = false; Debug.Log("手をロスト"); }
- 38. 手の位置を取得する準備 IInputSource currentInputSource; //入力情報 uint id; //入力情報のID bool drag = false; public void OnInputDown(InputEventData eventData) { if (!eventData.InputSource.SupportsInputInfo (eventData.SourceId, SupportedInputInfo.Position)) { return; } currentInputSource = eventData.InputSource; id = eventData.SourceId; drag = true; Debug.Log("Down"); } 追加
- 39. 手の位置にオブジェクトを追従させる IInputSource currentInputSource; //入力情報 uint id; //入力情報のID bool drag = false; public GameObject obj; //Cubeの情報を覚えておく変数 public void OnInputDown(InputEventData eventData) { /*関数の中身を省略*/ } /*各関数(省略)*/ void Update () { if (drag) { Vector3 pos; currentInputSource.TryGetPosition(id, out pos); obj.transform.position = pos; } }
- 44. 実機で動かそう : 出力の際の設定 (1)Edit (2)Project Settings (3)Player (4)ProductNameを 自分の名前に (5)Windows Store App
- 45. 実機で動かそう : 出力の際の設定 Short nameを 自分の名前に icon Other Settings Virtual Reality Supported Publishing Settings Package Nameを 自分の名前に
- 46. 実機で動かそう : 出力の際の設定 File Build Settings
- 47. 実機で動かそう : Build ①Add OpenScenes ②Windows Store ③Switch Platform ・ SDK Universal 10 ・ Target device HoloLens ・ UWP Build Type D3D 最後にBuild
- 51. 実機で動かそう : HoloLensへのデプロイ Debug Start Without Debugging
- 52. 動作確認
- 54. Trail Rendererで軌跡を描画する Trailと入力 【Trail Renderer】 ■Material 前半で作ったマテリアル をElementに追加 ■Time Infinityに変更 ■MinVertexDistance 0.05 ■Width 0.02 Trail Rendererを ダブルクリック
- 56. 複数の線を描画しよう 一本目 二本目 ・・・ Ｃｕｂｅ生成 Ｃｕｂｅ生成 【考え方】 今いじっているCubeは軌跡描画機能付きのオブジェクト ドラッグ開始毎にCubeを生成できれば複数の線も描画可能
- 57. 複数の線を描画しよう ① Assets ② Cube CubeをAssetsに ドラッグ&ドロップ ③ 軌跡描画機能付きの Cubeを再利用可能に
- 59. 複数の線を描画しよう IInputSource currentInputSource; uint id; public GameObject obj; //線の描画に使用するGameObject public GameObject original; //テンプレートとなるCubeを保持 List<GameObject> cubes = new List<GameObject>(); public void OnInputDown(InputEventData eventData) { if (!eventData.InputSource.SupportsInputInfo (eventData.SourceId, SupportedInputInfo.Position)){ return; } GameObject tmp = GameObject.Instantiate(original); obj = tmp; cubes.Add(tmp); //生成したCubeをすべて保持 currentInputSource = eventData.InputSource; id = eventData.SourceId; drag = true; Debug.Log("Down"); }
- 62. 線を一括削除する関数を作成 void Update () { if (drag) { Vector3 pos; currentInputSource.TryGetPosition(id, out pos); obj.transform.position = pos; } } public void ResetLine() { for(int i = 0; i < cubes.Count; i++) { Destroy(cubes[i]); cubes[i] = null; } cubes.Clear(); } 追加
- 63. 音声入力で線を削除 ② Add Component ① Input Manager
- 64. 音声入力で線を削除 ② Keyword Manager ① Keywordと入力 【Keyword Manager】 ■Size 1 ※認識させる単語数 ■Keyword reset ※認識させたい単語 ■KeyCode R ※UnityEditor上で 仮想入力するため のKey
- 65. 音声入力で線を削除 ① +をクリック ② GameObjectを選択 ③ Receiver→ResetLine Response()の項目にて、単語(reset)を認識した際に 実行される関数(Receiver内のResetLine関数)を設定
- 66. 仕上げ ① SpatialMapping ② Surface Materialを Occlusionに変更
- 67. 完成