Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
めざせスカウター!
HoloLensによる特定個人の
顔認識アプリ制作とその課題
ABC2017 Spring
MR/VRトラック(4201 T5)
16:30 ~ 16:55
東京工業大学 情報理工学院 数理計算科学系
岩崎謙汰 高橋良希
目次
• 自己紹介
• 今回作りたかったモノ
• ARとMRの違い、MR開発の難しさ
• Basic idea
• アプリの全体像
• まとめ
自己紹介
• 東京工業大学 M2 岩崎謙汰
• 研究:SNSのグラフサンプリング
• 趣味:電車で30分プログラミング
先週作ったゲーム3本
• Unityエンジニア/クライアント側担当
• AR/MR開発で楽しく暮らしたい
自己紹介
• 東京工業大学 M1 高橋良希
• 研究:分散機械学習
• 趣味:Caffeによる画像認識アプリ開発
Raspberry Piアプリ開発
• サーバー側担当
今回作りたかったモノ
出典 wayohoo.net
スカウター
出典: http://sekkachi.blog.jp/archives/1039744030.html
相手の戦闘力などの情報を
レンズ(?)のUI上に表示する
スカウター作りたい!
と思い立つ。しかし…
出典: http://eiga.com/movie/83224/
オーグマーすげー!
超かっこいい!作りたい!
めざせスカウター!
HoloLensによる特定個人の
顔認識アプリ制作とその課題
東京工業大学 情報理工学院 数理計算科学系
岩崎謙汰 高橋良希
オーグマー!
ABC2017 Spring
MR/VRトラック(4201 T5)
16:30 ~ ...
人の頭上に名前を表示する
アプリを制作する
目標
出典: http://www.matolabel.net/archives/68231429.html
出典 http://anicul.jp/saogekijyouos/
人の頭上に
名前を表示
リアルと関連づいた3D空間上に配置する
人の頭上に名前を表示する
アプリを制作する
今回のポイント
3D空間上に配置する2DのUI上ではなく
ARとMR
今回こっち!
3D空間に仮想オブジェクトを配置する方法
• ARマーカーを使用する (Vuforiaなど)
→ 人間の顔をマーカーにするのは難しい
• 仮想空間上に現実と同じ部屋&物のモデルを配置する
→ めちゃくちゃ大変 & 汎用性が低い
• HoloLe...
3D空間に仮想オブジェクトを配置する方法
• ARマーカーを使用する (Vuforiaなど)
→ 人間の顔をマーカーにするのは難しい
• 仮想空間上に現実と同じ部屋&物のモデルを配置する
→ めちゃくちゃ大変 & 汎用性が低い
• HoloLe...
なぜ難しい? HoloLensが見ている世界
2D (画像) 3D
解析のしやすさ 解析しやすい 当たり判定のみ
奥行きの判定 わかりにくい わかる
どちらも見ている
人間どれ?
どれくらい
遠くにいる?
噛み合せ
たい!
解決策: 顔の中心の座標に向けてRayを飛ばす
出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100
画像解析でクラス名と
顔の中心の座標を取得
Ex)クラス名: yoshiki
顔の中...
デモ
考察
• 概ね、頭の上に移動しようとしている…?
• 認識できるのは研究室メンバーのみだが、
顔認識の精度は改善の余地あり。
• 被写体が動くと頭の上から外れやすい。
• もっとなめらかに動かしたいが、
これ以上早くしようとするとアプリが落ちる...
アプリの全体像
HoloLens 被写体
① Webカメラから
画像を取得
サーバー
③ OpenCVで顔の中心の座標の取得
④ Deep Learningによる識別
⑥ 顔の中心の座標に
Rayを飛ばし、
頭上の座標を推定
⑦ 3D空間上にラ...
HoloLensから画像をサーバーに送る
• HoloLens側は画像撮って送って返ってきた情報を載せ
るだけにしたい!
• WebCameraから画像を取得する
• HTTP通信で画像をサーバーに送る
↑普段のUnityの書き方と同じ
↓Ho...
学習用研究室メンバの画像収集
学生室
枚
数
研究室メンバ
205枚タグ付け
Raspberry Pi
による自動収集
ん?少ない人がいるぞ?
バックエンド処理
人間がタグ付け
学習済みモデル
HTTP通信
画像出典:https://www.raspberrypi.org/, https://www.microsoft.com/ja-jp/hololens
学習
アプリケーション
名前...
学習
205枚x
6クラス
820枚x
6クラス
Neural Network (Alex net)
Pre-trained
Network
回転・ぼかしに
よる増強
精度変化
まとめ
• 人の頭の上に研究室メンバーの名前を表示するアプリを
制作した。
• MR開発で大事なこと
→リアル世界の認知と3D空間上の配置をどう組み立てるか
• ハードウェアの進歩が先か、エンジニアのアイデアが先か
• MR開発これからも楽しん...
補足説明
• 今回使用した技術など
• HoloLens開発: Windows10, Unity5.6.0
• サーバーサイド: Python
• DeepLearnig: Caffe
Nächste SlideShare
Wird geladen in …5
×

めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題

3.794 Aufrufe

Veröffentlicht am

2017年5月28日(日)に開催された、Android Bazaar and Conference 2017 Spring (ABC2017S)のMR/VRトラックで発表した時の資料

Veröffentlicht in: Ingenieurwesen
  • 後ほど連絡させていただきます!
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier
  • OpenCVで認識した顔の中心座標へRayを飛ばしたのですが、飛ばす方向がHoloLensデバイス自身の移動に対応してくれません。どのようにRayを飛ばしていますか。
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題

  1. 1. めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題 ABC2017 Spring MR/VRトラック(4201 T5) 16:30 ~ 16:55 東京工業大学 情報理工学院 数理計算科学系 岩崎謙汰 高橋良希
  2. 2. 目次 • 自己紹介 • 今回作りたかったモノ • ARとMRの違い、MR開発の難しさ • Basic idea • アプリの全体像 • まとめ
  3. 3. 自己紹介 • 東京工業大学 M2 岩崎謙汰 • 研究:SNSのグラフサンプリング • 趣味:電車で30分プログラミング 先週作ったゲーム3本 • Unityエンジニア/クライアント側担当 • AR/MR開発で楽しく暮らしたい
  4. 4. 自己紹介 • 東京工業大学 M1 高橋良希 • 研究:分散機械学習 • 趣味:Caffeによる画像認識アプリ開発 Raspberry Piアプリ開発 • サーバー側担当
  5. 5. 今回作りたかったモノ
  6. 6. 出典 wayohoo.net
  7. 7. スカウター 出典: http://sekkachi.blog.jp/archives/1039744030.html 相手の戦闘力などの情報を レンズ(?)のUI上に表示する
  8. 8. スカウター作りたい! と思い立つ。しかし…
  9. 9. 出典: http://eiga.com/movie/83224/
  10. 10. オーグマーすげー! 超かっこいい!作りたい!
  11. 11. めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題 東京工業大学 情報理工学院 数理計算科学系 岩崎謙汰 高橋良希 オーグマー! ABC2017 Spring MR/VRトラック(4201 T5) 16:30 ~ 16:55
  12. 12. 人の頭上に名前を表示する アプリを制作する 目標
  13. 13. 出典: http://www.matolabel.net/archives/68231429.html 出典 http://anicul.jp/saogekijyouos/ 人の頭上に 名前を表示
  14. 14. リアルと関連づいた3D空間上に配置する 人の頭上に名前を表示する アプリを制作する 今回のポイント
  15. 15. 3D空間上に配置する2DのUI上ではなく ARとMR 今回こっち!
  16. 16. 3D空間に仮想オブジェクトを配置する方法 • ARマーカーを使用する (Vuforiaなど) → 人間の顔をマーカーにするのは難しい • 仮想空間上に現実と同じ部屋&物のモデルを配置する → めちゃくちゃ大変 & 汎用性が低い • HoloLensのジェスチャーで配置する → 実際コレが多い気がする、しかし今回は自動でやりたい • GPSから場所を推定する → 全ての人間/物体がGPSを持っているわけでは…
  17. 17. 3D空間に仮想オブジェクトを配置する方法 • ARマーカーを使用する (Vuforiaなど) → 人間の顔をマーカーにするのは難しい • 仮想空間上に現実と同じ部屋&物のモデルを配置する → めちゃくちゃ大変 & 汎用性が低い • HoloLensのジェスチャーで配置する → 実際コレが多い気がする、しかし自動でやりたい • GPSから場所を推定する → 全ての人間/物体がGPSを持っているわけでは… 意外と難しい!
  18. 18. なぜ難しい? HoloLensが見ている世界 2D (画像) 3D 解析のしやすさ 解析しやすい 当たり判定のみ 奥行きの判定 わかりにくい わかる どちらも見ている 人間どれ? どれくらい 遠くにいる? 噛み合せ たい!
  19. 19. 解決策: 顔の中心の座標に向けてRayを飛ばす 出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100 画像解析でクラス名と 顔の中心の座標を取得 Ex)クラス名: yoshiki 顔の中心の標: (600,300) 顔の中心の座標へ Rayを飛ばす この衝突点は yoshikiだとわかる yoshiki
  20. 20. デモ
  21. 21. 考察 • 概ね、頭の上に移動しようとしている…? • 認識できるのは研究室メンバーのみだが、 顔認識の精度は改善の余地あり。 • 被写体が動くと頭の上から外れやすい。 • もっとなめらかに動かしたいが、 これ以上早くしようとするとアプリが落ちる。 (現在 HTTP通信とSpatialMappingの更新頻度を 1秒に1回にしている)
  22. 22. アプリの全体像 HoloLens 被写体 ① Webカメラから 画像を取得 サーバー ③ OpenCVで顔の中心の座標の取得 ④ Deep Learningによる識別 ⑥ 顔の中心の座標に Rayを飛ばし、 頭上の座標を推定 ⑦ 3D空間上にラベルを表示 出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100 yoshiki
  23. 23. HoloLensから画像をサーバーに送る • HoloLens側は画像撮って送って返ってきた情報を載せ るだけにしたい! • WebCameraから画像を取得する • HTTP通信で画像をサーバーに送る ↑普段のUnityの書き方と同じ ↓HoloLens特有設定 • Capabilitiesチェックを忘れない
  24. 24. 学習用研究室メンバの画像収集 学生室 枚 数 研究室メンバ 205枚タグ付け Raspberry Pi による自動収集 ん?少ない人がいるぞ?
  25. 25. バックエンド処理 人間がタグ付け 学習済みモデル HTTP通信 画像出典:https://www.raspberrypi.org/, https://www.microsoft.com/ja-jp/hololens 学習 アプリケーション 名前 確率 Deep Learning による識別 OpenCVによる顔検出 (顔の中心座標計算) 座標 Caffe
  26. 26. 学習 205枚x 6クラス 820枚x 6クラス Neural Network (Alex net) Pre-trained Network 回転・ぼかしに よる増強 精度変化
  27. 27. まとめ • 人の頭の上に研究室メンバーの名前を表示するアプリを 制作した。 • MR開発で大事なこと →リアル世界の認知と3D空間上の配置をどう組み立てるか • ハードウェアの進歩が先か、エンジニアのアイデアが先か • MR開発これからも楽しんでいきたいです!
  28. 28. 補足説明 • 今回使用した技術など • HoloLens開発: Windows10, Unity5.6.0 • サーバーサイド: Python • DeepLearnig: Caffe

×