13. 2. 3D to 2D Label Transfer
Semantic Instance Annotation of Street
Scenes by 3D to 2D Label Transfer
Jun Xie, Martin Kiefel, Ming-Ting Sun, Andreas Geiger
論文: http://www.cv-
foundation.org/openaccess/content_cvpr_2016/papers/Xie_Semantic_Instance_Annotation_CVPR
_2016_paper.pdf
プロジェクトページ: http://www.cvlibs.net/projects/label_transfer/ (2016/7/23時点では未公開)
14. 2. 3D to 2D Label Transfer (1)データの特徴
①LIDARで3Dデータを取得
②3Dの状態でアノテーション
③3Dから2Dに転写
・40万枚の画像
・10万のレーザースキャンデータ
・semantic 3D annotations
・郊外の静止物にフォーカス
・先行研究と相補的
- Cityscapes:都市
- [L.-C.Chen+, CVPR2014]:
車両へのCADモデルあてはめ
データセット作成方法 データセット内容
収集対象
15. 2. 3D to 2D Label Transfer (2)手法
ピクセルと3D点群のラベルを同時に推定するCRFモデルを使用
Pixel Unary Potentials
3D Point Unary Potentials
Geometric Unary Potentials
Pixel Pairwise Potentials 2D/3D Pairwise Potentials
3D Pairwise Potentials
①Gibbs energy function
16. 2. 3D to 2D Label Transfer (2)手法
②Geometric Unary Potentials
Curb, Foldを検出し、道路・歩道・壁のラベル変化に対応
17. 2. 3D to 2D Label Transfer (3)定量評価結果
2D to 2D(±5フレームの画像から中間画像を推定)の従来手法、
単純な3D to 2Dの転写と比較し、高精度
2D to 2D
3D to 2D
18. 2. 3D to 2D Label Transfer (4)アノテーション時間
2Dでは20時間かかるアノテーション(※)を
提案手法では3時間未満でアノテーション可能
※条件:
・200フレームの動画を10フレームごとにアノテーション
・1枚のアノテーションに60分かかると仮定
19. 2. 3D to 2D Label Transfer (5)定性評価結果
3D点群転写結果
入力画像
+
segmentation結果
error map
大部分の境界を正しく推定できるが
いくつか課題あり(樹、コントラストの低い領域、等)
30. 5. Scene Flow Datasets
論文: http://www.cv-
foundation.org/openaccess/content_cvpr_2016/papers/Mayer_A_Large_Dataset_CVPR_2016_pa
per.pdf
プロジェクトページ: http://lmb.informatik.uni-freiburg.de/Publications/2016/MIFDB16/
A Large Dataset to Train Convolutional
Networks for Disparity, Optical Flow, and
Scene Flow Estimation
Nikolaus Mayer, Eddy Ilg, Philip Hausser, Philipp Fischer, Daniel
Cremers, Alexey Dosovitskiy, Thomas Brox