Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)

3.014 Aufrufe

Veröffentlicht am

第三回 全日本コンピュータビジョン勉強会(前編)
CVPR'20読み会の資料です
https://kantocv.connpass.com/event/178126/

SuperGlue; Learning Feature Matching with Graph Neural Networks の解説

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)

  1. 1. Mobility Technologies Co., Ltd. SuperGlue Learning Feature Matching with Graph Neural Networks 株式会社Mobility Technologies 内田 祐介 JapanCV CVPR2020読み会(前編)
  2. 2. Mobility Technologies Co., Ltd. コンテキストを考慮した教師あり特徴点マッチング手法 SuperGlue 2 単純な最近傍 +距離閾値 SuperGlue 緑:正解マッチング 赤:誤マッチング
  3. 3. Mobility Technologies Co., Ltd. 各画像領域の対応関係、2枚の画像を撮影したカメラ間の位置算出 三次元復元、Visual SLAM、画像検索、AR等で必須の工程 特徴点マッチングは非常に重要な問題 3
  4. 4. Mobility Technologies Co., Ltd. SuperGlueの役割 4 通常の画像間特徴点マッチングパイプライン
  5. 5. Mobility Technologies Co., Ltd. Detection, Description, and Feature Matching 5 ① Detection: Extract local regions (patches) from images ② Description: Describe the patches by d-dimensional vectors ③ Matching: Make correspondences between similar patches Position (x, y) Orientation θ Scale σ Feature vector f (e.g., 128-dim SIFT) Local feature
  6. 6. Mobility Technologies Co., Ltd. “Classical” Detector 6 Hessian Beaudet’78 Harris Harris’88 LoG Lindeberg’98 DoG Lowe’99 SURF Bay’06 Harris-Laplace Mikolajczyk’01 Hessian-Affine Mikolajczyk’04 Harris-Affine Mikolajczyk’02 FAST Rosten’05 Affine-invariant Scale-invariant Rotation-invariant LoG scale seletion Affine adaptation Multi-scale + Box filter acceleration LoG approximation Hessian-Laplace Mikolajczyk’01 Oriented FAST Rublee’11 SUSAN Smith’97 Simplification + tree acceleration Orientation Corner-like Blob-like (SIFT) (ORB)
  7. 7. Mobility Technologies Co., Ltd. “Classical” Descriptor 7 SIFT Lowe’99 SURF Bay’06 BRIEF Calonder’10 ORB Rublee’11 GLOH Mikolajczyk’05 FREAK Alahi’12 A-KAZE Alcantarilla’13 LDB Yang’12 LATCH Levi’16 BRISK Leutenegger’11 Real-valued Binary (0.56, 0.22, -0.10, …, 0.96) (1, 0, 0, …, 1) RootSIFT Arandjelovic’12 画像検索今昔物語 https://www.slideshare.net/ren4yu/image-retrieval-overview-from-traditional-local-features-to-recent-deep-learning-approaches Local Feature Detectors, Descriptors, and Image Representations: A Survey https://arxiv.org/abs/1607.08368
  8. 8. Mobility Technologies Co., Ltd. LIFT, DELF, SuperPoint, D2-Net 最近のトレンドはD2-Netのように1つの特徴マップで detection + descriptionする系? “Learned” Detector and Descriptor 8
  9. 9. Mobility Technologies Co., Ltd. 単純なdescriptorの最近傍マッチングでは大量の誤対応が発生 Heuristics • 閾値:単純に一定距離のマッチングのみを残す • Ratio test: 最近傍と第二近傍の距離の比を利用 • Mutual check: お互いがお互いの最近傍となるマッチングのみを残す Learned • e.g. Learning to Find Good Correspondences, CVPR’18. Outlier Filtering 9
  10. 10. Mobility Technologies Co., Ltd. 既存の局所特徴を入力とし、それらのマッチング結果を出力する SuperGlueの役割 10
  11. 11. Mobility Technologies Co., Ltd. 正確に言うと… 11
  12. 12. Mobility Technologies Co., Ltd. SuperGlueのパイプライン 12 入力 descriptor d 座標 p = (x, y, c) cは信頼度 Keypoint Encoder
  13. 13. Mobility Technologies Co., Ltd. Self layerとcross layerを交互に適用することでdescriptorを update Attentional Graph Neural Network 13
  14. 14. Mobility Technologies Co., Ltd. Self layer • 同一画像内のdescriptorで 完全グラフを構成 Cross layer • 画像間のdescriptorで 完全二部グラフを構成 Self layerとcross layer 14 画像引用元 https://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A8%E3%82%B0%E3%83%A9%E3%83%95 https://ja.wikipedia.org/wiki/%E5%AE%8C%E5%85%A82%E9%83%A8%E3%82%B0%E3%83%A9%E3%83%95 画像Aのdescriptor node 画像Bのdescriptor node 画像Aのdescriptor node 画像Bのdescriptor node
  15. 15. Mobility Technologies Co., Ltd. Self layerとcross layerを交互に適用することでdescriptorを update Attentional Graph Neural Network 15 concat
  16. 16. Mobility Technologies Co., Ltd. Message Passing with Self Attention 16 self or cross qとkの類似度に 基づいた重み vの重み付け和
  17. 17. Mobility Technologies Co., Ltd. 完全にBERT 17 BERT入門 https://speakerdeck.com/shimacos/graph-neural-networkswowan-quan-nili-jie-sitai
  18. 18. Mobility Technologies Co., Ltd. GNNの出力からmatching descriptor、score matrix Sを計算 • xを線形変換して、内積でSを計算するだけ Score Matrix 18
  19. 19. Mobility Technologies Co., Ltd. Score matrixは、各特徴点のマッチング結果を表現 オクルージョンや再現性のない特徴点はマッチング相手がいない この情報を明示的に表現するためdustbinを追加 Dustbin追加 19 learnable parameter z
  20. 20. Mobility Technologies Co., Ltd. Score matrixから実際のマッチング結果(割当)を求めたい Soft assignment problem Sinkhorn algorithm(row, columnを交互に正規化することを 繰り返す)により二重確率行列化 Sinkhorn algorithm 20
  21. 21. Mobility Technologies Co., Ltd. 既知の画像間の変換パラメータから 正解ペアと、マッチングしなかった特徴点集合を作成、教師とする Loss 21 正解ペア 画像Aの マッチングしなかった 特徴点集合 画像Bの マッチングしなかった 特徴点集合
  22. 22. Mobility Technologies Co., Ltd. RandomなHomography変換(+photometric distortions)を 行った画像ペアに対してマッチングの精度(P, R)と homographyの精度(AUC; 10pxまで許容した際の精度曲線) Homography estimation 22
  23. 23. Mobility Technologies Co., Ltd. pose error is the maximum of the angular errors in rotation and translation Wide-baseline indoor pose estimation 23
  24. 24. Mobility Technologies Co., Ltd. Outdoor pose estimation 24
  25. 25. Mobility Technologies Co., Ltd. Ablation Study 25
  26. 26. Mobility Technologies Co., Ltd. 一部特徴点数Nに対してN^2の計算量なので もとの特徴が良いに越したことはない 高速化のニーズはありそう 速度 26
  27. 27. Mobility Technologies Co., Ltd. 徐々に正解にたどり着いている ように見える Attention可視化 27
  28. 28. Mobility Technologies Co., Ltd.  https://github.com/magicleap/SuperGluePretrained Network/blob/master/models/superglue.py 実装シンプル 28
  29. 29. Mobility Technologies Co., Ltd. 教師あり特徴点マッチング手法 任意のdetector/descriptorに適用可能 納得感のあるパイプライン、ステップは多いがシンプル 結果しゅごい どの程度汎化能力があるのか? まとめ 29
  30. 30. 文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。 Mobility Technologies Co., Ltd. 30

×