Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

RoomAlive - HoloLensに向けていまできること

1.958 Aufrufe

Veröffentlicht am

HoloLensのおさらいと、RoomAlive Toolkitを試してみたおはなし

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

RoomAlive - HoloLensに向けていまできること

  1. 1. RoomAlive - HoloLensに向けていまできること 蜜葉 優
  2. 2. • H.N. :蜜葉 優 [@mitsuba yu] • UX Designer / Interaction Developer • Keynoteの表紙はいつも自分で撮影 • 今回はホワイトホースのオーロラ • 最近のお仕事はWPFとStoreApps(!UWP) • Microsoft MVP for Windows Development • http://c-mitsuba.hatenablog.com profile
  3. 3. いま一番さわってみたいものといえば
  4. 4. 今日はKinectとプロジェクタを使って AR的なことをやってみます。
  5. 5. その前段階の技術として、 今日はRoomAliveを紹介します。
  6. 6. • HoloLensおさらい • RoomAliveとは • DEMO • 開発環境とか agenda
  7. 7. HoloLens
  8. 8. • メニューがでてくる • 部屋の形状を認識できる • ブラウザとか3Dオブジェクトを、ホログラム 的に表示できる • オブジェクトは部屋のどの位置に表示されて いるか記憶されている • 回りこむと、オブジェクトの裏側が見える HoloLens おさらい
  9. 9. RoomAlive
  10. 10. RoomAlive
  11. 11. ね、ほろれんずみたいでしょう?
  12. 12. • MS Researchが開発してる • Kinectで部屋の形状を認識して、  いい感じに複数のプロジェクタで 部屋中を投影する
  貴族向けプロジェクションマッピング技術
  (ただし1プロジェクタでも可) • Magical Experiences Enabled by Scalable, Adaptive Projector-Camera Units • https://www.youtube.com/watch?v=ILb5ExBzHqw RoomAliveとは
  13. 13. • ちなみに全身となった
 illumiRoomは2013年に 発表されてる。 • ディスプレイにプロジェ クタを向けて、画面外に もゲームを投影する技術 • HoloLensが来年に DeveloperKitが出るので ほぼ3年越し。 • (プロジェクタで遊んだらいいやん (とは言わない約束 • (雰囲気大事
  14. 14. とりあえずやってみよう DEMO
  15. 15. • ソフトウェア • Kinect for Windows v2 SDK -> 公開されてる • RoomAlive Toolkit ->GitHubで公開されてる • ハードウェア • Kinect v2 ->先週買ってきた • プロジェクタ -> ご家庭のものでOK • GPU付きの速いぱそこん ->べるびゅで仕入れ! 開発環境
  16. 16. • 部屋の片付け -> これが一番大変 • プロジェクターとKinectをマッピングしたい面  に投射 • この時平面にマッピングしようとするとエラーに なる!!! • パソコンの画面設定は拡張モードにする RoomSetup
  17. 17. • KinectServer.exeを管理者権限で起動 • Socketで深度とか返してくれる • ProjecterServer.exeを管理者権限で起動 • たぶん画面情報取得してる • CalibrateEnsemble.exeでcalibration.xmlを生成 • XMLを環境に合わせて、微妙に書き換える • Calibrationする CalibrationSetup
  18. 18. • Calibrationしたら、いろんな素材を書き出して、 使う。 • XMLの保存もわすれずに。 CalibrationSetup
  19. 19. • マッピング情報が設定できてるはず、、なので、もう Kinectは必要ない。 • 別のトラッキングにKinectを使える • Calibrationすると、マッピング情報のXML以外に、 Kinectを照射したオブジェクトとテクスチャが一緒に保存 される。 • ProjectionMappingSample.exeをcalibration.xmlのファイ ルパスを引数に実行 Calibrationできた!
  20. 20. 出来上がったファイルを見てみよう
  21. 21. 出来上がったファイルを使って、サ ンプルを動かしてみよう
  22. 22. これだけだとあれなので、 生成したオブジェクトとテクスチャ を使ってみよう 時間があれば。。。
  23. 23. • RoomAlive toolkitはプロジェクションマッピングツール • プロジェクションマッピングに必要な様々なリソースを 作成できる。 • 点群plyファイル • 面のついたobjファイルとテクスチャ • RGBカメラで撮った画像ファイル jpg ttf • 深度センサで作成したモノクロ画像ファイル • マッピングのコンフィグが書かれたXML まとめ
  24. 24. • RoomAlive toolkitのサンプルはSharpDXでできてる
 けど、素材を使っていろんな方法で開発できる • 例えばUnityとかで、コンフィグのxmlを使って、パース が設定されるようなカメラを作成すれば、簡単にマッピ ング可能 • 他にも、できた3Dモデルを、実世界に投影して輪郭だけ 動かしたりもできそう。 • 素材作りは簡単、実装はそこそこ、環境作りが一番大変 まとめ

×