2019/04/20に行われた「AR/VR」 × 「AI/ML」 Kick Off Meetupでした発表の資料です。

1. VRとモーショントラッキング
「AR/VR」 × 「AI/ML」 Kick Off Meetup
2019/04/20
@iiou16_tech

2. 自己紹介
• Twitter：@iiou16_tech
• お仕事
– カメラメーカーで機械学習の技術を使った画像認
識系の開発を10年ほど
• 趣味
– VR
– VRChatやclusterにたまに
出没してる

3. ソーシャルなVR空間
• オンラインでコミュニケーションを取るVR空間
「ソーシャルVR」のサービスが多数リリースさ
れている
– Cluster
– VRChat
– Ambr
– AltspaceVR
• １対１から大人数まで自宅から集まることが
でき、様々なイベントが開催されている

4. VR空間での生活
• 飲み会
• 花火大会
• 展示会
• ラジオ体操
• 寝る
• etcetc
お花見(阿烈牙電波放送局)
ライブ(Kaguya Luna Official) フリーマーケット(HIKKY Officials)

5. モーショントラッキングが個人でも
お手軽にできる時代に
• 体にトラッカーをつけるだけでトラッキングが
できる
• ３つ(両足+腰)→７点(両膝+両肘)→１０点(両
手+頭部)
HTC Vive Tracker

6. モーショントラッキングの重要性
• ノンバーバルコミュニケーション
• 没入感の喪失

7. 装着が面倒！
• VRに入るたびにいちいち足腰にトラッカーを
つけなきゃいけない

8. そこで…
ここからMachine Learning編

9. 映像からのトラッキング
• １台あるいは複数台のカメラの映像から姿勢
推定、トラッキングを行う研究が盛ん
• 映像からのトラッキングの利点
– トラッカーを装着する必要がない
– トラッカーでやるよりも多数の関節点を出力でき
るので、より自然になる
– ハイスペックVR HMDはもともとトラッキング用の
センサの設置が必要なので、そこにカメラを足す
だけ(自宅環境であれば、設置作業は最初の1回
だけ！)

10. End-to-end Recovery of Human Shape
and Pose＠CVPR2018

11. End-to-end Recovery of Human Shape
and Pose＠CVPR2018

12. End-to-end Recovery of Human Shape
and Pose＠CVPR2018
• Githubで著者の方がソースコード＆学習済み
モデルを公開してくださっています
• https://github.com/akanazawa/hmr

13. やってみました

14. 手順
1. ウェブカメラで撮影
2. 撮影した動画をリアルタイムに学習モデルに
入力
3. 出力結果の3D関節位置情報をCGアバター
に反映

15. 手順
1. ウェブカメラで撮影(30fps)
ちなみに、何をやっているかというと、VR音ゲー”Beat Saber”で
ロキをプレイしてます。
(自分にはこんな絵が見えています)

16. 手順
1. ウェブカメラで撮影
2. 撮影した動画をリアルタイムに学習モデルに
入力
– 画像に分解してオフラインでモデルに入力
3. 出力結果の3D関節位置情報をCGアバター
に反映
ここまでいきませんでした…m(_ _)m

17. 結果
画像をオフラインでモデルに入力したときの姿勢推定の

18. まぁまぁ合ってる
入
力
画
像
推
定
結
果

19. 腕を外してるやつも散見される
入
力
画
像
推
定
結
果

20. 所感
• 今の精度でCGアバター動かしたらかなりの頻度
で骨折しそう
• ただ、撮影条件がちょっと悪かったので、もう
ちょっと整備すれば性能上がりそう
– 服の色と背景
– 暗い
– 足が切れてて全身写ってない
– カメラの位置(もっと正面からがいい)
• 激しく手を振ってるとこはぶれてるので30fpsでは
足りないかもしれない

21. まとめ
• VR空間でもっと自由に手軽に動けるように
なりたい！
• Webカメラを使ってお手軽姿勢推定やって
みた
– 精度はまだまだ
• Unity使ってアバターに動きを反映する後半
戦はこれからやります(すいません)