Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
Sketch-based 3D Shape Retrieval
using Convolutional Neural Networks
発表:a-i-to
書誌情報、著者に関して
Fang Wang, Le Kang, Yi Li, Sketch-based 3D
Shape Retrieval using Convolutional Neural
Networks, CVPR, 2015.
著者...
目的
• 手描きのスケッチをクエリーにして3Dモデル
を検索したい
– 手描きのスケッチから、それと同じ「カテゴリ」の
3Dモデルを検索する
アプローチ
• “siamese CNNs”
– 入力を2つ取って、それぞれを同じCNNsにかけて特徴ベクトル抽出
– その特徴ベクトルのノルムが、元の入力の「近さ」を反映するようにする
– S. Chopra, R. Hadsell, and...
損失関数
• y: 同じカテゴリなら0、違うカテゴリなら1
• LG: 同じカテゴリの時に使う損失関数
– EWが小さい … 同じカテゴリで似てる
– EWが大きい … 同じカテゴリなのに似てない
LGはEWに対し、単調増加するような関数にす...
損失関数
この論文で採用している損失関数
neural networkの全体構成
• スケッチ用のsiamese network
• 3Dモデル用のsiamese network
の2つを用意する
全体の損失関数を
• 各ドメインでの損失関数
• ドメイン間の損失関数
の和で表す
※ ...
各CNNsの構成
入力 畳込み層 + プーリング層
3Dモデルの扱い
ランダムに生成した2種類のviewで2Dに写像す
る
– 3Dモデルは上下固定
– viewは45度以上、間隔があるもの
※「モデルごとにたくさんのviewで投影したもの
を用意する」のではなく、2種類のviewだけ用意
する
3Dモデルの扱い
viewが決まったら、
Suggestive Contoursなどの技法を使って2Dの線で描画されたデータにする
実験:データセット
• PSB/SBSR dataset
– The Princeton Shape Benchmark +
the Shape Based Shape Retrival
– 1814個の3Dモデル 、1814個のスケッチ、クラ...
実験:定性的な評価
• 大枠では、カテゴリを捉えている
• 人の絵を描いたら、人のモデルが出てくる
ただ本棚の絵を描いたら、四角い形状のものが出てしまうなど、細かいレベル
では間違った結果を返してしまう
• 向き(view)に対して、ロバストな...
実験:定量的な評価
適合率-再現率曲線を描いてみた。
赤い線が本論文の提案手法。既存のものよりいい。
実験:定性的評価
他の指標でも勝ってる
まとめ
• 新しいスケッチからの3Dモデル検索手法の提案
– 3Dモデルに対して、たくさんのviewを用意しなくてもよ
く
– 既存のものに比べて性能の良い
• 2つのSiamese CNNsを組み合わせて、
– ドメイン内(スケッチ同士、3D...
Nächste SlideShare
Wird geladen in …5
×

[Cvpr2015勉強会]Sketch-based 3D Shape Retrival using Convolutional Neural Networks

1.519 Aufrufe

Veröffentlicht am

2015年7月20日に行われたCVPR2015勉強会(コンピュータビジョン勉強会@関東)で発表したスライド。

Veröffentlicht in: Ingenieurwesen
  • Als Erste(r) kommentieren

[Cvpr2015勉強会]Sketch-based 3D Shape Retrival using Convolutional Neural Networks

  1. 1. Sketch-based 3D Shape Retrieval using Convolutional Neural Networks 発表:a-i-to
  2. 2. 書誌情報、著者に関して Fang Wang, Le Kang, Yi Li, Sketch-based 3D Shape Retrieval using Convolutional Neural Networks, CVPR, 2015. 著者の方たちの所属 • NICTA (オーストラリアの情報系の研究機関) • ANU (オーストラリア国立大学) • University of Maryland at College Park
  3. 3. 目的 • 手描きのスケッチをクエリーにして3Dモデル を検索したい – 手描きのスケッチから、それと同じ「カテゴリ」の 3Dモデルを検索する
  4. 4. アプローチ • “siamese CNNs” – 入力を2つ取って、それぞれを同じCNNsにかけて特徴ベクトル抽出 – その特徴ベクトルのノルムが、元の入力の「近さ」を反映するようにする – S. Chopra, R. Hadsell, and Y. LeCun. Learning a similarity metric discriminatively, with application to face verification. で提案された手法
  5. 5. 損失関数 • y: 同じカテゴリなら0、違うカテゴリなら1 • LG: 同じカテゴリの時に使う損失関数 – EWが小さい … 同じカテゴリで似てる – EWが大きい … 同じカテゴリなのに似てない LGはEWに対し、単調増加するような関数にする • LI: 違うカテゴリの時に使う損失関数 – EWが小さい … 違うカテゴリなのに似ちゃってる – EWが大きい … 違うカテゴリで似てない => LIはEWに対し、単調減少するような関数にする
  6. 6. 損失関数 この論文で採用している損失関数
  7. 7. neural networkの全体構成 • スケッチ用のsiamese network • 3Dモデル用のsiamese network の2つを用意する 全体の損失関数を • 各ドメインでの損失関数 • ドメイン間の損失関数 の和で表す ※ s: スケッチデータ, v: 3Dモデルのデータ s1とv1が同じカテゴリ、s2とv2が同じカテゴリとする。 よってyはs1とs2が同じカテゴリかどうか(= v1とv2が同じカテゴリか)を表す
  8. 8. 各CNNsの構成 入力 畳込み層 + プーリング層
  9. 9. 3Dモデルの扱い ランダムに生成した2種類のviewで2Dに写像す る – 3Dモデルは上下固定 – viewは45度以上、間隔があるもの ※「モデルごとにたくさんのviewで投影したもの を用意する」のではなく、2種類のviewだけ用意 する
  10. 10. 3Dモデルの扱い viewが決まったら、 Suggestive Contoursなどの技法を使って2Dの線で描画されたデータにする
  11. 11. 実験:データセット • PSB/SBSR dataset – The Princeton Shape Benchmark + the Shape Based Shape Retrival – 1814個の3Dモデル 、1814個のスケッチ、クラス数90 (訓練時)、92(テスト時) • SHREC’13 dataset – 1258個の3Dモデル、7200個のスケッチ、クラス数90 • SHREC’ 14 dataset – 8987個の3Dモデル、13680個のスケッチ、クラス数 171 http://techtalks.tv/talks/sketch-based-3d-shape-retrieval-using-convolutional- neural-networks/61590/ より
  12. 12. 実験:定性的な評価 • 大枠では、カテゴリを捉えている • 人の絵を描いたら、人のモデルが出てくる ただ本棚の絵を描いたら、四角い形状のものが出てしまうなど、細かいレベル では間違った結果を返してしまう • 向き(view)に対して、ロバストな感じ(赤枠と緑枠に注目)
  13. 13. 実験:定量的な評価 適合率-再現率曲線を描いてみた。 赤い線が本論文の提案手法。既存のものよりいい。
  14. 14. 実験:定性的評価 他の指標でも勝ってる
  15. 15. まとめ • 新しいスケッチからの3Dモデル検索手法の提案 – 3Dモデルに対して、たくさんのviewを用意しなくてもよ く – 既存のものに比べて性能の良い • 2つのSiamese CNNsを組み合わせて、 – ドメイン内(スケッチ同士、3Dモデル同士) – ドメイン間(スケッチと3Dモデル) で類似度を計算する方法の提案

×