1. CVPR読み会 2012.06.23
CV勉強会＠関東（第20回）
紹介する論文テーマ：
Icon Scanning : Towards Next Generation QR Codes
shirasy
本資料は、以下の学会発表論文を引用しております。
I. Friedman and L. Zelnik-Manor: Icon Scanning: Towards Next Generation QR
Codes ,CVPR2012(2012) 1

2. 自己紹介
最近、参加している活動
写真関連
CV関連
デザイン関連
2

3. 本論文に関心を持ったきっかけ
下記記載に関心を持ち、本論文を選択
The first contribution of this paper is a novel algorithm for
automatic detection of icons in a snapshot
This removes the need for manually marking the icon’s
boundary, thus, facilitating significantly the user experience.
実際に体験することが可能 ： 「eyeconit」
利用時の体験としての「eyeconit」の比較の対象となるアプリ
⇒iPhone標準アプリの「App Store」
3

4. 本論文の概要
“In this paper we have described a practical novel
solution for automatic icon scanning.
Our system first detects the icon with a high success rate
with no false alarms - doing all that in real-time.
Next, the system recognizes the detected icon within the
entire App-Store database in a few seconds.”
■研究のゴール：
Future goal is to extend this and propose a more visually
appealing alternative to QR Codes.
4

5. 関連研究
http://www.tineye.com/ http://www.google.com/mobile/goggles/
アプリアイコンスキャナー
5

6. 本論文に関心を持ったきっかけ
「eyeconit」
6

7. 提案手法 処理内容
＜アイコン位置の特定処理＞
●処理内容
(1)エッジ抽出（色情報：RGB,HSV,Lab）
(2)アイコンに対応する輪郭抽出
(3)アイコンに対応する輪郭特定
7

8. 提案手法 処理内容
8

9. 提案手法 処理内容
＜アイコンの認識処理（1/2）＞
●処理内容
(1) クラスタリング用の特徴量算出
⇒色情報（Lab色空間）を考慮したSIFT特徴量（168次元）
＜アイコンの特徴に関するロバスト性向上のための工夫＞
9

10. 提案手法 処理内容
＜アイコンの認識処理（2/2）＞
●処理内容
(2) クラスタリング
・K-models clustring
・EM like approach for learning the best set of K models
＜撮影環境に関するロバスト性向上のための工夫＞
10

11. 補足：K-models clustring
• As with K-means, the K in K-models denotes the number of clusters.
• A single design feature is different between K-means and K-models, the
replacement of proximity to a cluster center with minimal squared error for
a model.（モデルの最小2乗誤差によるクラスタ中心の近接の交換の交換）
D.Ashlock, J.A.Brown, and S.M.Corns. "K-models Clustering, a Generalization of K-means Clustering", 11
Intelligent Engineering Systems Through Artificial Neural Networks(20), pp. 485-492, 2010.

12. 提案手法 処理内容
12

13. Implementing a complete system
Implemented in C++ and use openCV2.2
• The detection module requires 330ms on iPhone4 to processan image.
• Once an icon has been detected its descriptor is computed
(which takes 90ms)
• The entire recognition process takes 4 seconds.
13

14. 付録： 実利用状況
利用開始1週間後の感想：
利用シーン：主にPCでのブラウジングに、興味あるアプリを見つけた時に利用
アプリが手軽にダウンロードできることを期待して、このアプリを利用。
従来の同アプローチのアプリと比較し、ストレスは小さい。ただし、タスクが達
成できないことは少なからずある。
⇒ タスク達成率という観点があるとしたら、50％ほど。
「App Store」と比べた時の「eyeconit」の利点は文字を入力しなくても良い
点に尽きる
プライマリのタスク達成を確実とするため、画像処理による認識が失敗した
場合、文字でのクエリ入力を可能とすると良いのかもしれない。
（アプリのユーザエクスペリエンス（UX）視点で見た場合） 14

15. 付録： 実利用状況
アプリのユーザコメント ：
ユーザにとっての良い体験を支える技術として、提案手法が活かされている模様
15
http://appcomments.com/app/id478802786/eyeconit_reviews

16. 最後に
■将来的な研究のゴール
Future goal is to extend this and propose a more visually
appealing alternative to QR Codes.
■本論文に触れた感想
スマートフォン向けアプリの場合、「アプリ≒特定のタスクを達成するもの」と言
う事例が多い。
本論文では、特定のタスク達成を目的としたアプローチが取られているととも
に、それを評価するためのシステム（アプリ：eyeconit）が運用されており、興味
深かった。
物体抽出・認識法の評価軸は、抽出精度や処理時間以外にもあると言うこ
とを感じることができ良かった。 16