15. Mobility Technologies Co., Ltd.
target image It
set of source images Is ∈ IS (実装では It-1, It+1)
estimated depth Dt
synthesized target image It
目的関数
15
^
^
16. Mobility Technologies Co., Ltd.
target image It
set of source images Is ∈ IS (実装では It-1, It+1)
estimated depth Dt
synthesized target image It
Appearance Matching Loss
16
^
^
オクルージョンの影響を軽減するためそれぞれのソー
ス画像に対して求めたロスの画素ごとの最小値を採用
推定したデプスによりソース画像をターゲット画像と
一致するようにワープさせた際の誤差(ワープ画像と
ターゲット画像間のSSIMとL1ロスの重み付き和)
17. Mobility Technologies Co., Ltd.
target image It
set of source images Is ∈ IS (実装では It-1, It+1)
estimated depth Dt
synthesized target image It
Appearance Matching Loss
17
^
^ ワープ対象領域外を
除外するマスク
ワープによって逆に誤差が大きくなる領域を除外する
マスク(静止シーンやカメラと等速で運動する物体を
除外するため)
18. Mobility Technologies Co., Ltd.
target image It
set of source images Is ∈ IS (実装では It-1, It+1)
estimated depth Dt
synthesized target image It
Depth Smoothness Loss
18
^
^
テクスチャの少ない領域では滑らかなデプスとな
るように制御するためのロス(画素勾配が小さい
場合にデプス勾配が大きくなるとペナルティも大
きくなる)
画素勾配
デプス勾配
22. Mobility Technologies Co., Ltd.
Packing
22
Ci x H x W 4Ci x H/2 x W/2
D x 4Ci x H/2 x W/2
4DCi x H/2 x W/2
Co x H/2 x W/2
■ poolingを使わず空間情報の損失を回避
■ 空間方向 → チャネル方向変換+Conv3D
■ 逆順にすることでunpacking