モーションセンサーデバイスの調査まとめ。Kinect(V1/V2)とLeapmotionについて。

1. モーションセンサーデバイス
調査
2014/12/01
@TMYSYSKW

2. モーションセンサーデバイスとは？
☯深度センサーまたはカメラによる人間の動きの
検出
☯可視光
☯赤外線
☯超音波
☯MS Kinect、Leapmotionで劇的に低価格化

3. Kinect v1

4. Kinect v1概要
☯ Xbox用ジェスチャー音
声認識デバイス
☯ 2010年発売
☯ WindowsSDK版も発売
☯ 深度センサ方式は
「Light Coding」
☯ イスラエルPrimeSnes
社の技術

5. Kinect内部構造
加速度センサーで仰角を制御
指向性マイクx4音源の方向を推定、
音声認識も可能
赤外線
プロジェクタ
RGB
カメラ
赤外線カメラ
チルトモーター
マイクロフォンアレイ

6. ランダム・ドット・パターン
☯ 赤外線プロジェクタと赤
外線カメラで深度センサ
を構成
☯ 赤外線プロジェクタから
は約30,000個のランダ
ム・ドット・パターン

7. Light Coding方式
☯ ランダムドットパターンを
赤外線照射
☯ パターンの拡散状態をカメ
ラで検知
☯ パターンと取得画像のマッ
チングから距離を推定
☯ センサーと対象物がある程
度離れている必要がある
被写体
被写体
被写体
被写体
z
x
被写体までの距離zによってカメラに
写るドットの位置が変化する！

8. Kinect v2

9. Kinect v2概要
☯ FullHD-RGBカメラx1、
赤外線カメラx1
☯ 深度センサ「ToF方式」
☯ WindowsSDK版あり
☯ 2014年発売開始

10. ToF(Time of Flight)方式
☯ 投光と受光の光の位相差を検出
☯ 位相差から対象物の距離を判定
☯ 高精度な測定
☯ 近接測定も可能
☯ 測定ノイズあり
☯ コスト高

11. v2深度センサのスペック
解像度512x424画素、1画素16bit
⇒v1(320x240)の3倍
深度の取得範囲0.5～8.0m
⇒v1(0.8～4.0m)

12. v1とv2の深度イメージの比較
ノイズが出ている
髪の毛が正しく検知
輪郭がでる

13. 骨格の定義
関節数が20⇒25に
v1 v2

14. Kinect v1とv2比較(1)
特徴 Kinect v1 Kinect v2
カラー画像 640x480 @30fps 1920x1080@30fps
(暗所では@15fps)
深度画像 320x240 512x424
最小奥行距離 40cm 50cm
水平視野角 57度 70度
垂直視野角 43度 60度
チルトモーター 有 無
最大追跡対象骨格数 2 6
骨格定義関節数 20関節/人 25関節/人
手指の検出 無 親指と指先
手のポーズ検出 グーとパー グー、チョキ、パー

15. Kinect v1とv2比較(2)
Kinect v1 Kinect v2
OS Windows7以降 Windows8以降(x64)
開発環境 Visual Studio 2010以降 Visual Studio 2012以降
I/F USB2.0 USB3.0
GPU DirectX 9.0c DirectX 11.0
CPU Dual-Core 2.66GHz以上 Core i7 3.1GHz以上
Memory 2.0GB以上 4.0GB以上
v2は要求スペックが高い！

16. Leapmotion

17. Leapmotionとは？
☯手の動きを認識するセンサーデバイス
☯2010年に起業したベンチャーが開発
☯2013年7月に販売開始
☯ASUSがLeapmotionを組み込み済みノートPC
を販売

18. Leapmotion組込み
☯ HP ENVY 17-j100
☯ Leapmotion内蔵ノート
PC
☯ 価格$1000～
☯ HP Leapmotion組込み
キーボード
☯ 価格$99

20. 取得できる情報
☯手
☯手の数
☯移動速度
☯姿勢（掌の向き、指先の向き）
☯指
☯指の数
☯位置
☯ジェスチャー
☯指先で円を描く、手を振るetc
☯RAW画像
☯SDK2.x系から取得可能に

21. ジェスチャー認識
☯近赤外線カメラにより手および指を認識
☯手や指の動きからジェスチャーを類推

22. タッチ動作
☯モニターと指の位置関係からタッチ動作を検出

23. アプリケーション
☯AIRSPACE(Leapmotion直営オンラインスト
ア)で販売
☯Google Earth対応済み
☯SDK公開によりオリジナルアプリの作成可能
☯Windows/Mac OSX/Linux
☯要デベロッパー登録（無償）

24. 開発プラットフォーム
☯C++
☯Objective-C
☯Java
☯C#
☯Python
☯Mono
☯Unity
☯Javascript

25. カメラ(魚眼レンズ付)
赤外線LED
ゴムシート
構造

26. 3～60cm
(精度：1/100mm)
110度
認識範囲

27. 生データの取得
☯ 左右の画像取得可能
☯ 640x240px
☯ 魚眼による歪みを修正す
る変換APIも提供
左側画像
右側画像

28. Leapmotionまとめ
☯ハードウェアは、単なるUSBカメラx2
☯コストはUS$10以下？
☯深度処理方式はステレオカメラ？
☯手の重なりなどは難しい
☯認識処理はすべてホスト側で実行
☯WEBソケットがあるので簡単にアプリが作れる
☯開発者の間口を広げる

29. その他のデバイス

30. Intel RealSense
☯ 方式不明(Light Coding?)
☯ 旧タイプはToF方式
☯ IRカメラx2、RGBカメラ
☯ 顔表情検知
☯ 脈拍測定可能
☯ 2014年後半より組込みPC
出荷
☯ 富士通、ACERから販売

31. Asus Xtion
☯ PrimeSnes社製センサ
☯ Light Coding方式
☯ Kinect v1とほぼ同等
☯ SDKバンドル

32. Camboard Pico
☯ ドイツPMD
Technology社製
☯ ToF方式
☯ 小型高精度

33. 浜松ホトニクス測距センサ
☯ToF方式
☯160x120画素
☯サンプル価格8,925円

34. 日本信号 FX8型測距センサ
☯ToF方式
☯レーザー+MEMS方式
☯97x61画素(4fps)
☯野外使用も可能

35. スタンレー電気TFS0001A
☯ ToF方式
☯ 126x126画素
☯ 検出距離0.5m～5m
☯ IR発光波長850nm
☯ 外乱光強度10万Lx
☯ 10/100 Ethernet接続

36. スタンレー電気TOFセンサー
☯ 2014CEATECで展示
（開発中）
☯ 126x126画素
☯ 検出距離0.5m～5m
☯ IR発光波長850nm
☯ 外乱光強度10万Lx
☯ USB2.0接続