Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
Ähnlich wie GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説 (20)
Mehr von Masaya Kaneko
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
- 1. GN-Net: The Gauss-Newton Loss for Deep Direct SLAM 東京大学 相澤研究室所属 M2 金子 真也
- 2. 1 本論文 • GN-Net: The Gauss-Newton Loss for Deep Direct SLAM – 著者: L. v. Stumberg, P. Wenzel, Q. Khan, D. Cremers – 所属: TUM, Artisense – 公開: 2019/4/26 (ICCV2019か…？) – Webpage: https://vision.in.tum.de/research/vslam/gn-net Daniel Cremers氏率いるDirect SLAMのエキスパート達の論文
- 3. 2 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) [1] DSOの解説 https://www.slideshare.net/MasayaKaneko/direct-sparse-odometry [2] DVSOの解説 https://www.slideshare.net/MasayaKaneko/aist-deep-virtual-stereo-odometry-eccv2018
- 4. 3 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある 2. 照明変化や天候変化に弱い
- 5. 4 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い
- 6. 5 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い 入力画像 CNN-SLAM [Tateno+, CVPR’17], DVSO [Yang+, ECCV’18] CNNの推定結果を初期値として用いる Initial depthmap CNN
- 7. 6 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い 入力画像 他視点画像群 CNN-SLAM [Tateno+, CVPR’17], DVSO [Yang+, ECCV’18] CNNの推定結果を初期値として用いる CNN Refined depthmap
- 8. 7 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い [3] 第三回3D勉強会@関東 CNN-SLAM https://drive.google.com/file/d/108CttbYiBqaI3b1jIJFTS26SzNfQqQNG/view
- 9. 8 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い
- 10. 9 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い 対応関係を求めるのが容易 同じ環境
- 11. 10 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い 対応関係を求めるのが困難 ??? 異なる環境
- 12. 11 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い 少し環境が違うだけで 3D地図に対する rocalizationは失敗[3] [3] GN-Net Demo Video https://youtu.be/GleEp0PqAv0
- 13. 12 Introduction • Direct SLAM – Direct Sparse Odometry [Engel+, TPAMI’18] (詳細資料[1][2]) – この方法には大きく2つの欠点が存在 1. 初期値が良い必要がある → CNN-SLAM [Tateno+, CVPR’17] 2. 照明変化や天候変化に弱い 少し環境が違うだけで 3D地図に対する rocalizationは失敗[3] [3] GN-Net Demo Video https://youtu.be/GleEp0PqAv0 本論文では照明変化や天候変化に対する Direct SLAMの問題を解決！！！
- 14. 13 Related works • Adversarial Training for Adverse Conditions: Robust Metric Localisation using Appearance Transfer [Porav+, ICRA’18] – GANによる画像変換 (夜画像→日中画像)
- 15. 14 Related works • Adversarial Training for Adverse Conditions: Robust Metric Localisation using Appearance Transfer [Porav+, ICRA’18] – GANによる画像変換 (夜画像→日中画像) – 画像変換後の画像同士でマッチング Nighttime 元画像 変換後画像 Daytime
- 16. 15 Related works • Adversarial Training for Adverse Conditions: Robust Metric Localisation using Appearance Transfer [Porav+, ICRA’18] – GANによる画像変換 (夜画像→日中画像) – 画像変換後の画像同士でマッチング – 必ずしも画像空間上でマッチングする必要ないのでは？？？ Nighttime 元画像 変換後画像 Daytime
- 17. 16 Proposed method • 特徴空間におけるdirect image alignment – GN-Netによって特徴量抽出 画像空間
- 18. 17 Proposed method • 特徴空間におけるdirect image alignment – GN-Netによって特徴量抽出 画像空間 GN-Net
- 19. 18 Proposed method • 特徴空間におけるdirect image alignment – GN-Netによって特徴量抽出 画像空間 特徴量空間 GN-Net
- 20. 19 Proposed method • 特徴空間におけるdirect image alignment – GN-Netによって特徴量抽出 対応関係の計算 画像空間 特徴量空間 GN-Net
- 21. 20 Proposed method • 特徴空間におけるdirect image alignment – GN-Netによって特徴量抽出 対応関係の計算 画像空間 特徴量空間 どのようにネットワークを学習させるか？ GN-Net
- 22. 21 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ
- 23. 22 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ 一般的なSiamese Networkで実現可能
- 24. 23 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ 一般的なSiamese Networkで実現可能 これだけでは, SLAMパイプラインにおける 対応点計算に適していることは保証しない
- 25. 24 Proposed loss functions • (SLAMにおける)対応点の計算 – 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化 𝑟(𝑝) argmin 𝑝 𝐼 𝑝 − 𝐼′(𝑝′) = argmin 𝑝 𝑟(𝑝) (Gauss-)Newton法
- 26. 25 Proposed loss functions • (SLAMにおける)対応点の計算 – 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化 𝑟(𝑝) 𝑝 𝑘 argmin 𝑝 𝐼 𝑝 − 𝐼′(𝑝′) = argmin 𝑝 𝑟(𝑝) 𝑟 𝑝 𝑘 + 𝛿𝑝 ≈ 𝑟 𝑝 𝑘 + 𝑟′ 𝑝 𝑘 𝛿𝑝 + 1 2 𝑟′′ 𝑝 𝑘 𝛿𝑝 2 1. 初期値𝑝 𝑘において, 𝑟(𝑝)を二次近似 (Gauss-)Newton法
- 27. 26 Proposed loss functions • (SLAMにおける)対応点の計算 – 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化 𝑟(𝑝) 𝑝 𝑘 𝑝 𝑘+1𝛿𝑝 argmin 𝑝 𝐼 𝑝 − 𝐼′(𝑝′) = argmin 𝑝 𝑟(𝑝) 𝑟 𝑝 𝑘 + 𝛿𝑝 ≈ 𝑟 𝑝 𝑘 + 𝑟′ 𝑝 𝑘 𝛿𝑝 + 1 2 𝑟′′ 𝑝 𝑘 𝛿𝑝 2 1. 初期値𝑝 𝑘において, 𝑟(𝑝)を二次近似 2. 二次近似した関数の最小値へ動かす 𝛿𝑝 = − 𝑟′′(𝑝 𝑘) −1 𝑟′ 𝑝 𝑘 = −𝐻−1 𝑔 (Gauss-)Newton法
- 28. 27 Proposed loss functions • (SLAMにおける)対応点の計算 – 画像𝐼における点𝑝が, 画像𝐼′における𝑝′と対応するように最適化 𝑟(𝑝) 𝑝 𝑘 𝑝 𝑘+1𝛿𝑝 argmin 𝑝 𝐼 𝑝 − 𝐼′(𝑝′) = argmin 𝑝 𝑟(𝑝) 𝑟 𝑝 𝑘 + 𝛿𝑝 ≈ 𝑟 𝑝 𝑘 + 𝑟′ 𝑝 𝑘 𝛿𝑝 + 1 2 𝑟′′ 𝑝 𝑘 𝛿𝑝 2 1. 初期値𝑝 𝑘において, 𝑟(𝑝)を二次近似 2. 二次近似した関数の最小値へ動かす 𝛿𝑝 = − 𝑟′′(𝑝 𝑘) −1 𝑟′ 𝑝 𝑘 = −𝐻−1 𝑔 このような最適化ができる特徴量マップであってほしい (Gauss-)Newton法
- 29. 28 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ 3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!! • 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2 𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束 𝑥2 𝑥 𝑣 𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1) ?
- 30. 29 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ 3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!! • 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2 𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束 ⇔ 𝒙 𝒗における関数の二次近似が𝒙 𝟐に一致 𝑥2 𝑥 𝑣 𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)
- 31. 30 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ 3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!! • 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2 𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束 ⇔ 𝒙 𝒗における関数の二次近似が𝒙 𝟐に一致 𝑥2 𝑥 𝑣𝑥′ 𝑣 𝛿 GN法による最適化 𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)
- 32. 31 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ 3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!! • 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2 𝑓2上の𝑥2の近傍(𝑥 𝑣)から𝑥2に容易にGN法で収束 ⇔ 𝒙 𝒗における関数の二次近似が𝒙 𝟐に一致 𝑥2 𝑥 𝑣𝑥′ 𝑣 𝛿ずれが最小となるように 特徴量マップを学習 𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1)
- 33. 32 Proposed loss functions • 特徴量に求められる特性 1. 対応する点は同じ特徴量を持つ 2. 対応しない点は異なる特徴量を持つ 3. 対応の近傍からGauss Newton法で容易に到達可能 ←New!!! • 特徴マップ𝑓1, 𝑓2の対応点のGTペアを𝑥1, 𝑥2 𝑥2 𝑥 𝑣𝝁 𝛿 𝑟 𝑥 = 𝑓2 𝑥 − 𝑓1(𝑥1) 二次近似をGauss分布と見なし, negative log-likelihoodをLossとする 𝐇 ℒ𝑙𝑖𝑘𝑒𝑙𝑖ℎ𝑜𝑜𝑑 = 𝐸 𝑥2 𝑓1, 𝑓2, 𝑥 𝑣) 𝐸(𝑥2)
- 34. 33 Benchmark • Relocalization Tracking Task – より現実的な新しいタスクとして提案 – ある映像から三次元地図を復元し, 別の時刻/天候で撮影した 画像がどこに対応するか？を求める 走行映像 三次元地図 別時刻/天候の画像 地図上の どこに対応？
- 35. 34 Benchmark • Relocalization Tracking Task – より現実的な新しいタスクとして提案 – ある映像から三次元地図を復元し, 別の時刻/天候で撮影した 画像がどこに対応するか？を求める – CARLA simulator [Dosovitskiy+, CoRL’17]とOxford RobotCar Dataset [Maddern+, IJRR’17]で構築 (近日公開予定) Oxford RobotCar Dataset https://robotcar-dataset.robots.ox.ac.uk/ CARLA Simulator http://carla.org/
- 36. 35 Evaluation • GN-Net (ours) vs ORB-SLAM [Mur-Artal+,ToR’15] vs DSO [Engel+, TPAMI’18] • Benchmarkに対してRelocalization性能を評価 • 既存のVisual SLAMの性能を大きく上回る性能を達成 同じ天候条件 異なる天候条件 CARLA Simulator Oxford RobotCar Dataset
- 37. 36 Evaluation • 特徴量マップの可視化 – CARLA Benchmarkにおける, 別天候下での特徴マップ比較
- 38. 37 Evaluation • 実際にRelocalizationした結果[1] – Oxford RobotCar Benchmark [1] GN-Net Demo Video https://youtu.be/GleEp0PqAv0
- 39. 38 Conclusion • GN-Net – Direct SLAMが「照明や天候変化に弱い」問題をCNNで解決 – GN法で対応点を求められるような特徴量マップを出力するため, 新たに Gauss-Newton Lossを提案 – Relocalization Trackingの評価のためにBenchmarkを構築, 提案手法が 最高性能を達成 • 個人的な所感 – Cremers氏らがDSOをベースに研究をゴリゴリ進める感じが最高. – 照度や天候の変化はまさにCNNが解決すべき問題. 実環境でDirect SLAM を動かす際には必須な手法となりそう. – GN Lossの詳細な解析結果が欲しい. カメラ軌跡の評価だけでなく画像中 の画素単位で対応の誤差を可視化してほしい.