Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie FMCN Kinectハンズオン
Ähnlich wie FMCN Kinectハンズオン (20)
FMCN Kinectハンズオン
- 1. FMCN Kinect ハンズオン 長峰慶三 (Keizo Nagamine) Jollystics Inc.
- 2. 今日の流れ はじめに (13:00~13:10) Kinect について (13:10~13:25) Unity について (13:25~13:40) Kinect x Unity ハンズオン (13:45~15:00) 自由制作時間 (15:00~17:00)
- 3. はじめに
- 4. 自己紹介 ➢ 長峰慶三 (Keizo Nagamine) ➢ Jollystics Inc. ➢ アプリ開発など（Unity / Xamarin） ➢ 勉強会とかハッカソンとか好き（FMCN / Unity Fukuoka） ➢ Twitter : @KzoNag
- 6. 今日の資料など ➢ ハンズオンのUnityプロジェクトリポジトリ ○ https://github.com/KzoNag/UnityKinect/tree/master ➢ ハンズオン解説用のGistコード ○ https://gist.github.com/KzoNag/70770b8bfca8a54bd00d ○ https://gist.github.com/KzoNag/3602488de99ff1586e9a ➢ 発表資料 ○ http://www.slideshare.net/KeizoNagamine/fmcn-kinect
- 7. アンケート ➢ 開発環境はどうですか？（PC, SDK） ➢ Kinectさわったことありますか？ ➢ Unityさわったことありますか？
- 8. おことわり ➢ 今回はKinect & Unity に触れてみる、導入部分を目的とします ➢ なるべく分かりやすく説明したい ➢ 厳密でなかったり、深く言及しない部分もあります ➢ ハンズオン形式は慣れてないのでゴメンナサイ。。。 ➢ 楽しくやりたいので質問などドンドンしてください！
- 11. システム要件 OS Windows8 ~ CPU Core i7 3.1GHz以上の64ビットCPU メモリ 4G以上 USB USB3.0 グラフィック DirectX11 対応グラフィックカード 開発環境 Visual Studio 2012~ Unity5
- 12. 動作仕様 (1/2) カラー解像度 1920 x 1080 カラーフレームレート 30fps / 15fps(暗所) 深度データ解像度 512 x 424 深度データフレームレート 30fps 深度センサー方式 ToF (Time of Flight) 深度測定範囲 500mm ~ 8000mm 水平視野角 70度 垂直視野角 60度
- 13. 動作仕様 (2/2) 人の検出人数 6人 人の検出可能距離 500mm ~ 4500mm 骨格数 25カ所 / 人 ジェスチャー検出 ◯ 手のポーズ検出 ◯ マイク 4 (マイクアレイ) 音声入力 ◯
- 14. 接続 (Kinect for Xbox One + PCアダプター) Kinect for Xbox One PCアダプター 電源 USB
- 15. ソフトウェア構成 Kinect Kinect Driver Kinect Service Kinect SDK Application Kinect SDK Application Kinect SDK Application
- 16. 取得データ①カラー
- 17. 取得データ②深度データ
- 18. 取得データ③赤外線画像
- 20. 取得データ⑤Body（人の骨格）
- 21. 役に立つツール①Kinect Configuration Verifier SDK Browserから “Kinect Configuration Verifier” をRun コンピューターがシステム要件を 満たすかを確認できる
- 23. Kinect Studioでデータを保存 ① RECORDタブを選択 ② Kinectが接続された状態で Connectボタン ③ 設定ボタンからプレビューするデータを選択 ④ 保存するデータを選択 ⑤ 録画ボタン ⑥ 録画終了するときはもういちど録画ボタン ① ⑤,⑥ ③ ④ ②
- 24. Kinect Studioでデータを再生 ① PLAYタブを選択 ② 接続状態にする （Kinectは実際に接続しなくも OK） ③ 再生ボタン ※別のデータを再生したい場合は FILEから選択 ① ② ③
- 25. Unityについて
- 27. Unityエディタ
- 35. スクリプティング C#/JSで記述できる（今回はC#） MonoBehaviourを継承するとコンポーネントになる publicで定義したメンバはInspectorで設定可能 特定のタイミングで実行される特別なメソッドがある - Start : 最初のUpdateの前に１度だけ実行される - Update : 毎フレーム実行される - OnDestroy : ゲームオブジェクトが破棄されるときに実行される - … 他にもたくさん
- 40. デモ
- 42. Body Index Color BodyIndexのピクセルに対応するColorのピクセルを参照する（マップする） このときにDepthデータが引数として必要 人物領域以外は透明（アルファ値 =0）にす る
- 43. Body Index + Color 3D空間
- 44. ゲームの世界にこんにちは！
- 45. ステップ ① 3D空間を用意しよう ② BodyIndexを表示しよう ③ Colorデータを参照しよう
- 46. ステップ① 3D空間を用意しよう
- 49. ビューのレイアウトを調整 ①ここを”2 by 3”にすると同じビューの レイアウトになる（自由にしてください） ②Projectビューの設定を”One Column Layout”にすると同じ見た目に （好きなほうでいいです）
- 50. 3Dの地面を追加 HierarchyのCreateから “3D Object” > “Plane”を選択
- 52. シーンビューでの配置方法 移動 回転 拡縮 右クリック → ドラッグ / WASDキーで視点を移動・回転
- 54. シーンを保存しておこう Ctrl + S でシーンを保存 シーンの状態を変更したらこまめに 保存しましょう！
- 56. 画像を表示するゲームオブジェクトを配置する ①HierarchyのCreateから “UI” > “Raw Image”を選択 ②Hierarchyに -Canvas -RawImage ができるのでRawImageの配置を調整
- 59. 作成したコンポーネントをRaw Imageにアタッチ ① HierarchyのRaw Imageを選択 ① ② ② コンポーネントをInspectorにD&D （Add Componentボタンあたりに）
- 61. Unity用のKinect SDKをインポートする① Unity用KinectプラグインをProjectにD&D プラグインの入手先 https://dev.windows.com/en-us/kinect/tools ( "Tools and extensions" の "Unity Pro packages")
- 65. フィールドの定義
- 66. 初期化（Start）
- 67. 初期化（Start） 1. センサー取得 2. リーダー取得 3. BodyIndexを受け取るバッファを用意 4. RawImageに表示するテクスチャを用意 5. テクスチャをRawImageにセット 6. センサーを開く
- 68. BodyIndexデータ byte型 ピクセルごとに1つのbyte値 人物領域には0~254の値(ID) 人物以外の領域には255 左上ピクセルから開始される１次元配列 1 255 255 255 2 2 2 2 ...
- 69. BodyIndexデータ
- 70. Texture2D 画像を表すクラス サイズとフォーマットを指定してインスタンス化する 画像表示オブジェクトにセットすると表示される byte配列のバッファを読み込んで更新できる R G B A R G B A R G B A R G ... ... バッファの構造
- 71. Texture2D
- 72. 終了処理（OnDestroy）
- 73. 更新処理（Update） 1. BodyIndexの最新データを取得 2. ピクセルごとにテクスチャデータを更新 3. テクスチャにデータをロード・反映
- 75. ピクセルごとにテクスチャデータを更新 各ピクセルごとにBodyIndexの値を調べる BodyIndexの値に応じてテクスチャデータを更新 255でなければ人物領域なので色付け 255なら人物領域でないので透明に 255 0 0 255 0 0 0 0 ... 1 255 255 255 2 2 2 2 ...BodyIndex テクスチャ データ
- 76. テクスチャにデータをロード・反映
- 77. スクリプトのエラーを確認 Window > Console を選択 エラーがある場合はここに赤字で表示される
- 81. Raw Imageの設定を調整して上下反転させる Raw Image の UV Rect を Y = 1 H = -1 に設定する
- 82. こうなるはずです！
- 85. フィールドの定義に追加
- 86. 初期化（Start）変更・追加
- 87. Colorデータ byte型 ピクセルごとに4つのbyte値 RGBAの値 左上ピクセルから開始される１次元配列 124 213 84 255 145 4 19 255 ...
- 88. Depthデータ ushort型 ピクセルごとに1つのushort値 カメラからの距離(500mm~8000mm) データが取れない点は 0 左上ピクセルから開始される１次元配列 1200 500 0 7000 5181 2120 ...
- 89. 更新処理（Update）追加・変更 1. Color, Depthの最新データを取得 2. Colorデータを参照するための対応情報を取得 3. ピクセルごとの処理を変更（人物領域はColorデータを参照して色付け）
- 97. ゲームの世界にこんにちは！
- 98. まとめ ➢ KinectのデータはReaderからFrameを取得し、バッファにコピーすることで得られる ➢ KinectのデータをもとにTexture2Dを作ればUnity上で表示できる ➢ データ間の対応関係はCoordinateMapperから取得できる
- 99. ここからは自由に遊んでみてください ➢ BodyIndexだけでも「かまいたちの夜」ごっことかできそう ➢ 3Dのキャラクターと共演するとか ➢ Bodyデータを使えば当たり判定もつけられる？