Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

論文読み:DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion

DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion(https://arxiv.org/abs/1901.04780)を読んだ際のメモです

  • Loggen Sie sich ein, um Kommentare anzuzeigen.

  • Gehören Sie zu den Ersten, denen das gefällt!

論文読み:DenseFusion: 6D Object Pose Estimation by Iterative Dense Fusion

  1. 1. Abstract • RGB-D画像から6D物体姿勢推定を⾏う際に重要なのがRGB値と Depthの種類の違うデータソースを⼗分に活⽤することである • 本論⽂の⼿法では、まずRGBとDepthを別々に処理しそれぞれを ピクセル単位でマッチさせて特徴量を⽣成しポーズを推定する • また、推論結果をさらに改善するための反復精密化⼿順を提案する • YCB-VideoとLineMODにおいてSOTA
  2. 2. この論⽂は何がしたいか • RGB-D画像から6D物体姿勢推定の⼿法提案 • 姿勢改良アルゴリズムも提案
  3. 3. 提案⼿法(1/5) • まずRGB情報とDepth情報を組み合わせた特徴量を作成する
  4. 4. 提案⼿法(2/5) ⼿順としては以下の通り 1. RGB画像に対してセマンティックセグメンテーションしてクロップ 2. RGBでセグメンテーションされた領域と対応するDepth画像領域のpoint cloudを取得 3. クロップしたRGB画像(𝐻×𝑊×3)を⼊⼒として𝐻×𝑊×𝑑'()の外観情報を出 ⼒とするEncoder-Decoderネットワークを学習 4. point cloudからPointNetを使って𝑑(*+次元の外観情報の特徴を抽出 5. カメラのパラメータを⽤いてdepth情報をRGB上に投影しconcat
  5. 5. 提案⼿法(3/5) • 得られた特徴量を⽤いて6Dposeを推定する
  6. 6. 提案⼿法(4/5) • 姿勢推定のためのloss関数は 𝐿- . = 1 𝑀 2 3 min 7898: 𝑅𝑥3 + 𝑡 − ( @𝑅- 𝑥3 + ̂𝑡-) 推測の点とオブジェクトの対応する最も近い点との間の距離を 最⼩化する また、ピクセルあたりの予測間のバランスを取るために𝐿- . をピク セルの信頼度で重み付けを⾏う 𝐿 = 1 𝑁 2 - (𝐿- . 𝑐- − 𝑤 log(𝑐-))
  7. 7. 提案⼿法(5/5) ニューラルネットを⽤いたICP (Iterative Closest Point)で姿勢 改良 推定された結果と⼊⼒された点群を⽐較し近づける
  8. 8. 結果(1/3) YCB-Video Datasetでの推定⽐較
  9. 9. 結果(2/3) LineMOD DatasetでICPを⾏なった結果
  10. 10. 結果(3/3) ロボット(HSR?)に推定した姿勢を⽤いて物体把持をさせた • ランダムに配置された5つのオブジェクトそれぞれ12回試⾏ • 計60回のうち73%成功 • 最も失敗したのはバナナ • ⽤意したバナナとデータセットに含まれるバナナは違うため︖ • データセットと異なる背景・RGB-Dセンサでも成功率が⾼いこと から提案⼿法はロバストかつ堅牢である
  11. 11. まとめ • 既知の物体に関してRGBとDepth情報をうまく融合させてより ⾼精度かつロバストな姿勢推定ができるようになった • 隠れた物体に関しても精度よく検出できている • 現実世界にドメイン適応なしで使えるくらい堅牢なシステムを 作成することができた • 他のRGB-Dを⽤いたタスクでも使えそう

×