MPS 第43回 (20160206) ミーティング Python で画像処理をやってみよう！ - SIFT Vol. 2 キーポイント選定 (1) -

1. MPS 第43回 (20160206) ミーティング
Python で画像処理をやってみよう！
- SIFT Vol. 2 キーポイント選定 (1) -
金子純也
Morning Project Samurai 代表
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

2. 目次
• Morning Project Samurai
• MPS HP について
• これまでの復習と直近の目標
• Keypoint 候補の位置精度向上
• エッジ上の Keypoint 候補の削除
• 発表 第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

3. Morning Project Samurai (MPS)
• Morning
- 土曜の朝を有意義に
• Project
- プロジェクト指向
• Samurai
- 謙虚に学習
- プロジェクトをバッサバッサ
と斬りまくる
プロジェクト
リーダー
シップ
メンバー
シップ
成果
人脈
UP!
UP!
UP!
キャリア
知識・技術
UP!
UP!
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

4. 世田谷やってみた祭り！
AndroidアプリをつくってGoogle Playに公開しよう！
次回: 2016/02/13
(土曜日)
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

5. MPS Yokohama 設立 (予定)
• 主催: 上野さん
• テーマ: Deep Learning
運営手伝ってくれる方募集中！
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

6. Be Active, Be Creative!!
MPS
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

7. 目次
• Morning Project Samurai
• MPS HP について
• これまでの復習と直近の目標
• Keypoint 候補の位置精度向上
• エッジ上の Keypoint 候補の削除
• 発表 第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

8. 目次
• Morning Project Samurai
• MPS HP について
• これまでの復習と直近の目標
• Keypoint 候補の位置精度向上
• エッジ上の Keypoint 候補の削除
• 発表 第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

9. 我々の次の目標だケロ！
Keypoint : DoG を適用した Scale-space 中の特徴点
Descriptor: Keypoint に関する情報
Keypoint と descriptor
出典 [1]
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

10. Descriptor を用いた物体検知
1. 認識したい物体の Descriptor を学習 (集める)
2. 処理対象の画像から Descriptor を抽出
3. 学習した Descriptor と 処理対象の Descriptor
を比較
4. 閾値以上マッチングした物体があった場合、
それが存在すると認識
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

11. 流れ
• キーポイント候補の発見
• キーポイント候補の位置精度向上
• 低コントラストのキーポイント候補の削除
• エッジ上のキーポイント候補の削除
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

12. 流れ
• キーポイント候補の発見
• キーポイント候補の位置精度向上
• 低コントラストのキーポイント候補の削除
• エッジ上のキーポイント候補の削除
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

13. キーポイント候補の発見
出典 [1]
• x: テスト対象の画素
• o: テスト対象の周辺画素
• キーポイント候補の条件
- テスト対象の画素が
最小または最大
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

14. キーポイント候補点の例
(出典: http://ja.characters.wikia.com/)
第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

15. 目次
• Morning Project Samurai
• MPS HP について
• これまでの復習と直近の目標
• Keypoint 候補の位置精度向上
• エッジ上の Keypoint 候補の削除
• 発表 第42回 (2016/02/06) MPS 定例ミーティング (c) Junya Kaneko

16. 流れ
• キーポイント候補の発見
• キーポイント候補の位置精度向上
• 低コントラストのキーポイント候補の削除
• エッジ上のキーポイント候補の削除

17. モチベーション
求めた極値点 (キーポイント候補点) (x, y, σ) は
本当に極値点だろうか？

18. 否 !!
本当のキーポイントはサンプル点の間にある
かもしれないケロ !

19. サンプルポイントから求められる
極値点 (キーポイント候補)

20. 実際の極値点 (あるべきキーポイント候補)
推定したいケロ !でも、どうするケロ ?

21. テーラー展開
: n + 1回以上微分可能な関数

22. テーラーの定理
任意の について、 なる が存在
: n + 1回以上微分可能な関数
( と仮定)

23. の意味
は関数 の変化に関する情報を含む
が大きい程より詳細な変化に関する情報を含む
例:
k = 1: 輝度の変化の大きさ
k = 2: 輝度の変化の変化の大きさ
k = 3: 輝度の変化の変化の変化の大きさ
k = 4: 輝度の変化の変化の変化の変化の大きさ

24. n + 1回以上微分可能な関数 は、その変化の
情報を含む を用いて表すことができる。
テーラーの定理の意味
誤差は、n を十分大きくとれば小さくでき、
x を c の近くに取るほど小さくしやすい。

25. 二次曲線を用いて
より正確な極値点を
求める !
実際の極値点 (あるべきキーポイント候補)

26. 二次曲線を用いて
より正確な極値点を
求める !
実際の極値点 (あるべきキーポイント候補)
どんな二次曲線
使えばいいケロ ?

27. 二次曲線を用いて
より正確な極値点を
求める !
実際の極値点 (あるべきキーポイント候補)
輝度情報の2次微分 (加速度) までの
情報を用いて近似しているケロ

28. 極値の求め方

29. 2次元への拡張

30. DoG を適用した画像への適用1
: DoG を適用した画像
(出典: [1])

31. DoG を適用した画像への適用2

32. 作ってみよう！ (準備編)
• だれかとペアを組む
• http://bit.ly/mps20160123 を自分の GitHub アカウント
に Fork
• Fork したものを Clone もしくはダウンロード
• 上記で得たものの中に自分の名字でフォルダを作成
• そのフォルダの中に
1. img を作成し lena の画像を保存
2. dog.py, keypoint.py, scale_space.py をコピー
第42回 (2016/1/23) MPS 定例ミーティング (c) Junya Kaneko

33. 作ってみよう！(GitHub 更新編)
1. git add --all
2. git commit -m “first commit”
3. git push -u origin master
4. 自分のリポジトリが更新されたか確認
してみよう！
第42回 (2016/1/23) MPS 定例ミーティング (c) Junya Kaneko

34. 作ってみよう！ (実装&発表編)
• keypoint.py の中の extract_keypoints 関数をペア
で完成させてみよう！
(extract_keypoints の引数や既存のクラスなど
何をいじっても OK)
• 工夫した点などを自分のフォルダにメモとして
まとめよう！
• Pull リクエストしてみよう！
• みんなの前で発表してみよう！第42回 (2016/1/23) MPS 定例ミーティング (c) Junya Kaneko