HoloLens RS4 勉強会のLT資料

1. Research modeで取得した
深度(Depth)データを可視化する
2018/04/17
Soichiro Sugimoto
sotan(@sotanmochi)

2. 自己紹介
氏名：杉本 宗一郎
所属：TIS株式会社・戦略技術センター
最近作っているもの(個人)： ユニティちゃんと鬼ごっこするアプリ
（コンテスト応募に向けて最終調整中）
2018/04/17 2

3. C++のサンプル(HoloLensForCV/Streamer)を動かしてみた
2018/04/17 3
深度(Depth)センサーで取得したデータを可視化してみたが，ほとんど見えない．
なぜか全体的に暗い．
※ スライド用に画像の明るさを+40%にしている
近距離深度
(ShortThrowToFDepth)
遠距離深度
(LongThrowToFDepth)
https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates

4. C++のサンプル(HoloLensForCV/Streamer)を動かしてみた
2018/04/17 4
テクスチャのフォーマットを変えてみたら，全体的に明るくなった．
深度に差分はあるはずだが，違いが分からない．
近距離深度
(ShortThrowToFDepth)
遠距離深度
(LongThrowToFDepth)
https://github.com/Microsoft/HoloLensForCV/tree/feature/api_updates

5. C#のサンプル(Windows-universal-sample/CameraFrames)を動かしてみた
2018/04/17 5
深度の差が見えない．全然分からない．
※ スライド用に画像の明るさを+40%にしている
近距離深度
(ShortThrowToFDepth)
https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames

6. 深度(Depth)データを分かりやすく可視化してみた
2018/04/17 6
近距離深度
(ShortThrowToFDepth)
遠距離深度
(LongThrowToFDepth)

7. 深度(Depth)データを分かりやすく可視化してみた
2018/04/17 7
デモ動画
https://www.youtube.com/watch?v=Yl_hut20K5A

8. 深度(Depth)をHSV形式で色に変換して可視化する
2018/04/17 8
画像出典・参考：
Wikipedia「色相」 https://ja.wikipedia.org/wiki/%E8%89%B2%E7%9B%B8
Wikipedia「HSV色空間」 https://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93
1. 深度値を色相(Hue)に変換する．(SとVの値は基本的に1.0に固定）
深度(Depth)： 0m 0.84m 1.68m 3.36m 4.2m
色相(Hue) ： 0° 60° 120° 240° 300°

9. 深度(Depth)をHSV形式で色に変換して可視化する
2018/04/17 9
2. HSV(0.0～1.0)をRGB(0.0～1.0)に変換する．
Alpha(8bit) R(8bit) G(8bit) B(8bit)
3. RGB(0.0～1.0)の値をピクセルデータに変換して配列に書き込む．
0 ～ 255 0 ～ 255 0 ～ 255 0 ～ 255
参考：
t-pot『HSV変換』 http://t-pot.com/program/112_HSV/index.html
Wikipedia「HSV色空間」 https://ja.wikipedia.org/wiki/HSV%E8%89%B2%E7%A9%BA%E9%96%93
変換の計算式は省略．

10. 可視化するために試行錯誤して分かったこと
2018/04/17 10
下記の値から計算した深度値の有効範囲は 0.001 ～ 65.535mだが，
実際の有効範囲より大きすぎるため，可視化にはあまり使えない．
DepthMediaFrame.DepthFormat.DepthScaleInMeters: 0.001
DepthMediaFrame.MinReliableDepth: 1
DepthMediaFrame.MaxReliableDepth: 65535
MinReliableDepthとMaxReliableDepthは固定値であり，実行時の
変化は特にない．

11. 可視化するために試行錯誤して分かったこと
2018/04/17 11
深度情報のフォーマット：
- 16bit 符号なし整数 (0 ～ 65535)
- 単位: ミリメートル (mm)
深度値の有効範囲（検証結果から推定）：
- 近距離(ShortThrowToFDepth)：0.156 ～ 0.95 m
- 遠距離(LongThrowToFDepth) ： 0.95 ～ 3.52 m
有効範囲外の深度値を持つピクセルには最大深度値（？）として
4.091～4.095 m が設定される．

12. 有効範囲外に入った時の変化（近距離深度）
2018/04/17 12
Before

13. 有効範囲外に入った時の変化（近距離深度）
2018/04/17 13
After

14. 有効範囲外に入った時の変化（遠距離深度）
2018/04/17 14
Before

15. 有効範囲外に入った時の変化（遠距離深度）
2018/04/17 15
After

16. まとめ
• Research modeで取得した深度情報を分かりやすく可視化できた
• 明暗の違いよりも色の違いの方が識別しやすい
• 深度情報の形式と値の有効範囲が分かった
• 深度値の有効範囲については追加検証した方が良いかもしれない
（or 公式情報を待つ）
2018/04/17 16

17. ありがとうございました