Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

モーションセンサーを活用した NUI

578 Aufrufe

Veröffentlicht am

Microsoft Kinect、Leap Motion Controller などの赤外線センサー、およびそれらを活用して空中での操作を実現するためのパターンについての資料です。
この資料の大半は 2014 年に作成されています。

Veröffentlicht in: Software
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

モーションセンサーを活用した NUI

  1. 1. モーションセンサーを活用した NUI 坂本 啓法 (Keiho Sakapon)
  2. 2. NUI とは
  3. 3. ユーザー インターフェイスの種類 • CUI (Character User Interface) – 主にキーボード • GUI (Graphical User Interface) – 主にマウス • NUI (Natural User Interface) – 人間にとって自然な動作
  4. 4. NUI とは • タッチ • ペン (手書き文字認識) • 音声 • 空中ジェスチャ • VR, AR, MR – ヘッドマウント ディスプレイを利用 Natural User Interface (自然なユーザー インターフェイス)
  5. 5. 補足 (VR, AR, MR) • VR (Virtual Reality:仮想現実) – Oculus Rift – HTC Vive • AR (Augmented Reality:拡張現実) – Google Glass • MR (Mixed Reality:複合現実) – Microsoft HoloLens – 仮想オブジェクトを手で操作する、など
  6. 6. デバイス
  7. 7. 赤外線モーション センサー ここで挙げるのは、比較的使われることの多い製品 安価なセンサーであり、万能ではない 製品により特長・制限がある Microsoft Kinect v2 Leap Motion Controller Intel RealSense
  8. 8. Kinect v2 (Xbox One Kinect Sensor) • 機能 – 深度計測 • 物体までの距離 – 骨格認識 • 全身の関節 25 点 – 音声認識 • マイク配列を搭載し、 音源の方向も取得できる – 顔・表情認識 • 範囲 : 0.5m ~ 4.5m ※ Kinect v1 は販売終了
  9. 9. Leap Motion Controller • 手・指および棒状の物体の認識 – 座標 – 方向 • 範囲 : 2.5cm ~ 60cm • 机の上に設置する USB で接続
  10. 10. Leap Motion VR Oculus Rift HTC Vive ヘッドマウントディスプレイとの組み合わせ
  11. 11. • 手・指の認識 • 顔・表情認識 – Windows Hello に対応 • 範囲 : 20cm ~ 120cm (製品により異なる) • PC の上側に設置する Intel RealSense 外付けタイプ (USB で接続) 内蔵タイプ
  12. 12. 活用パターン
  13. 13. モーション センサーの活用パターン • (1) アクション – ポインター • マウスに相当する操作 – ジェスチャ • ピンチ、グリップなど • (2) データ – 静止状態 • 人間・物体の 3D モデル – 動体 • 人物全体・各部位の移動の軌跡
  14. 14. (1) アクションとしての活用 ジェスチャ マウスではできなかった操作 • ピンチ (つまむ) • グリップ (つかむ) ポインター マウス相当の操作 • クリック、タッチ • ドラッグ 3D Touch and Pinch Gestures https://vimeo.com/82504780
  15. 15. 利用例:医療 衛生・安全のため 手術室向け非接触型画像操作システム Opect (オペクト) http://www.nichiigakkan.co.jp/service/medical/category/hospital/opect.html
  16. 16. (2) データとしての活用 人の位置により 画面が変化 インタラクティブ サイネージ 文字入力・文字認識 • 軌跡を文字に変換 • 軌跡の記録・再現 Japanese Calligraphy and Handwriting Recognition in the Air https://vimeo.com/97698620
  17. 17. 利用例:ゲームセンター 変身・試着など ディズニー マジックキャッスル まほうのHAPPYミラー https://mahounohappymirror.bne-kids.com/ ナレルンダー!仮面ライダーエグゼイド http://www.narerunda.jp/
  18. 18. 機械学習の適用 • 機械学習による認識精度の向上 – ユーザーの意図を汲み取る – パーソナライズ 人工知能・機械学習は、今後あらゆる分野で活用が見込まれる Intelli-RPS for Leap Motion https://github.com/sakapon/Tools-2016

×