Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
ICRA2018 Best Paper Award in Robot Vision
Abstract
• 家庭環境内でロボットが賢く動くためには物体間の任意の空間
的関係を理解し⼀般化する能⼒が必要である
• この論⽂ではオブジェクトの3次元点群を描かれた空間関係の
類似性を捉える距離空間にマッピングするようなニューラル
ネッ...
この論⽂は何がしたいか
• 2つの物体間の空間的距離の獲得
• 獲得した距離をもとにシーンを模倣
問題の定式化(1/2)
オブジェクト︓𝑜", 𝑜$(点群𝑃", 𝑃$を持っている)
それぞれの位置と回転︓𝑡", 𝑡$, 𝑞", 𝑞$
シーン︓𝑠+ = 𝑜", 𝑜$, 𝑡", 𝑡$, 𝑞", 𝑞$
シーン𝑠+と𝑠-間の類似性を表すラベル𝑌+-...
問題の定式化(2/2)
𝑓 𝑠+, 𝑠- は具体的に Γ 𝑠+ − Γ 𝑠- 6
と定義し
minimize
<=,>, <?,>, @=,>,@?,>
𝑓 𝑠+, 𝑠-
を⽬指すことでシーンを
模倣させる
Γ 𝑠A
Γ 𝑠 Γ 𝑠B
提案⼿法(1/4)
Γ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓と定義する
𝜓は各点群に回転・平⾏移動をしてアラインメント
𝜌は点群を3つの直交する平⾯に投影
𝐺Eは畳み込みニューラルネットワーク
提案⼿法(2/4)
𝐿𝑜𝑠𝑠 =
1
2
(𝑑A)6
+
1
2
(max(0, 1 − 𝑑B))6
提案⼿法(3/4)
空間的距離をマッピングする関数を獲得したので、異なるシーン
に関してシーン内の並進と回転を動かしてreferenceとの誤差を
誤差逆伝播法を⽤いて最⼩化する
誤差逆伝播するにはΓ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓が微分可能となる必...
提案⼿法(4/4)
x, y, zそれぞれ3次元座標の誤差をそれぞれの⾯から画像上での
pixelをシフトさせることによる変化量に近似することで誤差と
して使⽤できるようになる
具体的には各射影に対して偏微分𝑈′を計算する。点群座標系のz
軸は...
提案⼿法(4/4)
結果(学習に⽤いたオブジェクト)
125シーン中70シーンは成功、55シーンは失敗
結果
(学習に⽤いなかったオブジェクト)
160シーン中68シーン成功
92シーンで失敗
Nächste SlideShare
Wird geladen in …5
×

論文読み:Optimization Beyond the Convolution: Generalizing Spatial Relations with End-to-End Metric Learning

Optimization Beyond the Convolution: Generalizing Spatial Relations with End-to-End Metric Learning(https://arxiv.org/abs/1707.00893)を読んだ際のメモです

  • Loggen Sie sich ein, um Kommentare anzuzeigen.

  • Gehören Sie zu den Ersten, denen das gefällt!

論文読み:Optimization Beyond the Convolution: Generalizing Spatial Relations with End-to-End Metric Learning

  1. 1. ICRA2018 Best Paper Award in Robot Vision
  2. 2. Abstract • 家庭環境内でロボットが賢く動くためには物体間の任意の空間 的関係を理解し⼀般化する能⼒が必要である • この論⽂ではオブジェクトの3次元点群を描かれた空間関係の 類似性を捉える距離空間にマッピングするようなニューラル ネットワークを訓練する→deep metric learning • また、学習した測定基準の下で別の物体セットをReferenceの 空間関係に模倣させる⼿法を提案する
  3. 3. この論⽂は何がしたいか • 2つの物体間の空間的距離の獲得 • 獲得した距離をもとにシーンを模倣
  4. 4. 問題の定式化(1/2) オブジェクト︓𝑜", 𝑜$(点群𝑃", 𝑃$を持っている) それぞれの位置と回転︓𝑡", 𝑡$, 𝑞", 𝑞$ シーン︓𝑠+ = 𝑜", 𝑜$, 𝑡", 𝑡$, 𝑞", 𝑞$ シーン𝑠+と𝑠-間の類似性を表すラベル𝑌+- ∈ 0, 1 ⽬標は2つのシーンの空間的距離をマッピングする 𝑓 𝑠+, 𝑠- = 𝑑を学習すること
  5. 5. 問題の定式化(2/2) 𝑓 𝑠+, 𝑠- は具体的に Γ 𝑠+ − Γ 𝑠- 6 と定義し minimize <=,>, <?,>, @=,>,@?,> 𝑓 𝑠+, 𝑠- を⽬指すことでシーンを 模倣させる Γ 𝑠A Γ 𝑠 Γ 𝑠B
  6. 6. 提案⼿法(1/4) Γ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓と定義する 𝜓は各点群に回転・平⾏移動をしてアラインメント 𝜌は点群を3つの直交する平⾯に投影 𝐺Eは畳み込みニューラルネットワーク
  7. 7. 提案⼿法(2/4) 𝐿𝑜𝑠𝑠 = 1 2 (𝑑A)6 + 1 2 (max(0, 1 − 𝑑B))6
  8. 8. 提案⼿法(3/4) 空間的距離をマッピングする関数を獲得したので、異なるシーン に関してシーン内の並進と回転を動かしてreferenceとの誤差を 誤差逆伝播法を⽤いて最⼩化する 誤差逆伝播するにはΓ ≔ 𝐺E ∘ 𝜌 ∘ 𝜓が微分可能となる必要がある 𝐺E・ 𝜓は微分可能であるが投影処理𝜌に関しては⼯夫する必要が ある(軸同⼠が離散化されるため)
  9. 9. 提案⼿法(4/4) x, y, zそれぞれ3次元座標の誤差をそれぞれの⾯から画像上での pixelをシフトさせることによる変化量に近似することで誤差と して使⽤できるようになる 具体的には各射影に対して偏微分𝑈′を計算する。点群座標系のz 軸は側⾯画像座標系のy軸と対応するのでそれぞれSobelフィル タで畳み込んで合計しz軸画像上の射影に追加する
  10. 10. 提案⼿法(4/4)
  11. 11. 結果(学習に⽤いたオブジェクト) 125シーン中70シーンは成功、55シーンは失敗
  12. 12. 結果 (学習に⽤いなかったオブジェクト) 160シーン中68シーン成功 92シーンで失敗

×