2015/03/28 コンピュータビジョン勉強会＠関東 発表資料 コンピュータビジョン最先端ガイド５　複数画像からの三次元復元 3.3章-

1. CV勉強会@関東 発表資料
CV最先端ガイド5 複数画像からの三次元復元手法
3.3章－4章
2015/03/28 takmin

2. 自己紹介
テクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクトテクニカル・ソリューション・アーキテクト
皆川皆川皆川皆川 卓也（みながわ卓也（みながわ卓也（みながわ卓也（みながわ たくや）たくや）たくや）たくや）
フリーエンジニア（ビジョン＆フリーエンジニア（ビジョン＆フリーエンジニア（ビジョン＆フリーエンジニア（ビジョン＆ITラボ）ラボ）ラボ）ラボ）
「コンピュータビジョン勉強会＠関東」主催「コンピュータビジョン勉強会＠関東」主催「コンピュータビジョン勉強会＠関東」主催「コンピュータビジョン勉強会＠関東」主催
博士（工学博士（工学博士（工学博士（工学））））
略歴：略歴：略歴：略歴：
1999-2003年年年年
日本日本日本日本HP（後にアジレント・テクノロジーへ分社）にて、（後にアジレント・テクノロジーへ分社）にて、（後にアジレント・テクノロジーへ分社）にて、（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリエンジニアとしてシステム構築、プリ
セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事セールス、プロジェクトマネジメント、サポート等の業務に従事
2004-2009年年年年
コンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステムコンピュータビジョンを用いたシステム/アプリアプリアプリアプリ/サービス開発等にサービス開発等にサービス開発等にサービス開発等に従事従事従事従事
2007-2010年年年年
慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻後期博士課程にて、コンピュータビジョンを専攻
単位取得退学後、博士号取得（単位取得退学後、博士号取得（単位取得退学後、博士号取得（単位取得退学後、博士号取得（2014年）年）年）年）
2009年年年年-現在現在現在現在
フリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサルフリーランスとして、コンピュータビジョンのコンサル/研究研究研究研究/開発等に従事開発等に従事開発等に従事開発等に従事
2

3. 発表内容
3.3 デプスマップからのメッシュ復元
3.4 復元結果
4 むすび
3

4. 3.3 デプスマップからのメッシュ復元
複数のデプスマップを融合してポリゴンメッシュを復元し
たい
4

5. メッシュ復元の流れ
1. 三次元空間をボクセルで離散化。
ボクセルがノードでボクセル同士の接続をエッジとしたグラフ
Voxel Node Edge
5

6. メッシュ復元の流れ
2. それぞれのボクセルが物体の内部にあるのか外部に
あるのかを推定する。
In
Out
6

7. メッシュ復元の流れ
3. InとOutの境界部分をMarching-cubesなどの手法でポ
リゴンメッシュとして復元する
7

8. Marching-cubes
隣り合う8つボクセルがどのようなIn/Outの組み合わせ
かによって割り当てるポリゴンを決めるアルゴリズム
8

9. In-Outの二値ラベリング手法
エッジにデプスマップ情報を埋め込む手法
ノードにデプスマップ情報を埋め込む手法
In
Out
9

10. In-Outの二値ラベリング手法
エッジにデプスマップ情報を埋め込む手法
ノードにデプスマップ情報を埋め込む手法
In
Out
10

11. エッジにデプスマップ情報を埋め込む
1. 各ボクセルにノードを隣接関係に双方向のエッジを持
たせる
11

12. エッジにデプスマップ情報を埋め込む
2. 各デプスマップの表面と交差するグラフのエッジをマー
ク (InからOut)
12

13. エッジにデプスマップ情報を埋め込む
3. 各視点を統合し、多くの視点でマークされたエッジほど
小さい容量を設定する。
容量
小さい
13

14. エッジにデプスマップ情報を埋め込む
4. 「Source」と「Sink」ノードを加え、Sinkを一番外側のボク
セルノードと結び、容量を無限大に、Sourceを全ての
ノードと結び容量を小さな定数に設定する。
14

15. エッジにデプスマップ情報を埋め込む
5. 最大フロー最小カット問題を解き、「Sink」側のノードを
外部、「Source」側のノードを内部とラベリングする。
15

16. 最大フロー最小カット問題
グラフをSourceからSinkへ向かうエッジの切断コストの和
が最小となるように分割する。
Source
Sink
1000
0.001
2
2
2
2
2
0.25
0.5
2
最最最最小カット小カット小カット小カット
==== 0.001+0.25+0.5+0.0010.001+0.25+0.5+0.0010.001+0.25+0.5+0.0010.001+0.25+0.5+0.001
16

17. In-Outの二値ラベリング手法
エッジにデプスマップ情報を埋め込む手法
ノードにデプスマップ情報を埋め込む手法
In
Out
21

18. ノードにデプス情報を埋め込む
1. 各カメラから見てデプス表面より手前のボクセルをOut、
表面と接した一つ奥のボクセルをIｎとマークする。
22

19. ノードにデプス情報を埋め込む
2. デプスマップを融合し、各ボクセルがOut/Inとマークさ
れた回数を数える。（In > OutならばInの可能性高）
23

20. ノードにデプス情報を埋め込む
3. ノイズの影響を除去するため、隣り合うボクセルは同じ
ラベルになりやすいような制約をつけて、Graph-cutsで
ラベルを判定
24

21. ノードにデプス情報を埋め込む
3. ノイズの影響を除去するため、隣り合うボクセルは同じ
ラベルになりやすいような制約をつけて、Graph-cutsで
ラベルを判定
௜ ௨ ௜
௜
௕ ௜ ௝
(௩೔,௩ೕ)∈ேᇲ
エネルギー最小化問題エネルギー最小化問題エネルギー最小化問題エネルギー最小化問題
全ボクセルにつけられ
たラベルの組み合わ
せで決まるエネルギー
隣り合うボクセルのラ
ベルが同じなら0、違う
なら1
付与したラベルの負の
カウント数
25

22. 3.4 復元結果
16枚の640x480画素の画像から復元した結果
photo-consistencyが低い（黒）
デプスマップ入力画像 メッシュ化して別の角度
からレンダリング27

23. 3.4 復元結果
16枚の640x480画素の画像から復元した結果
デプスマップ入力画像 メッシュ化して別の角度
からレンダリング28

24. 3.4 復元結果
312枚の640x480画素の画像から復元した結果
最大フロー/最小カットアルゴリズム使用
入力画像例
ポリゴン
メッシュ
29

25. 3.4 復元結果
3枚の3456x2304画素の画像から復元した結果
テクスチャがなく、復元が難しい30

26. 3.4 復元結果
140枚の3456x2304画素の画像から復元した結果
入力画像例
ポリゴン
メッシュ
31

27. 3.4 復元結果
72枚の5M画素のデプスマップから復元した結果
Graph-cutを使用
32

28. 4. むすび
近年の三次元フォトグラフィー技術の進化
10cm四方の物体を10枚ほどの画像から0.1mm以
下の精度
三次元復元の流れ、利用可能なソフトウェア/
サービスの紹介
MVSアルゴリズムの詳細の解説
33