第28回人工知能学会インタラクティブ情報アクセスと可視化マイニング研究会の発表資料

1. 関西大学 総合情報学部
中道 翔大 松下光範
位置情報に基づく画像分類モデルの
選定による看板画像の分類精度向上
１

2. ・人々の行動
◻ どの店に入るかなどの意思決定
◻ 店舗名をもとにしたWeb検索による
店舗の詳細情報の取得
看板の役割
店舗や会社の名称の掲示
２

3. 韓国語の看板
３

4. 読みづらい文字の看板
４

5. ・ユーザの母国語ではない文字
・崩し文字などの認識が難しい文字
・言語障壁により、店舗の種類の判別や
検索による詳細情報の取得が困難
看板における問題
５

6. ・慣れていない地域にいる時
・周囲の文字が読めない状況
本研究の最終目的
６
看板から店舗の詳細情報を
取得できるシステムの実現

7. 現状のシステムのデモ
７

8. ①携帯端末のカメラに写っている画像をWebAPIサーバーに送信
②送信された画像から看板領域を検出（YOLOv2を使用）
システムの詳細
８

9. ③検出された領域からどの店舗の看板であるかを画像分類モデル
によって識別（VGG16により構築）
④判別した店舗の「食べログ」のページのURLを携帯端末に返却
システムの詳細
ラーメン人生JETの
食べログのURL
ラーメン人生JET ９

10. システムの課題
１０
システムを適用できる店舗が少ない
（15店舗のみ）
システムの対象店舗を増やす
→看板画像を識別する際に候補となる店舗数も同時に増える
→看板画像の分類モデルの精度低下により、看板の識別精度が低
下する懸念がある
対象店舗数 識別精度

11. 本研究の目的
１１
システムの対象店舗を増やした際に発生する
画像分類精度の低下を低減する
ユーザの位置情報に基づいた
使用モデルの選定による
看板画像の分類精度向上

12. ①対象店舗が属する地域を、各店舗の地理的近接性に基づいて分割
提案手法
A
G
E
D
C
F
B
H
N
I
J
M
L
K
O
P
１２

13. ①対象店舗が属する地域を、各店舗の地理的近接性に基づいて分割
提案手法
エリア① エリア②
エリア③ エリア④
A
G
E
D
C
F
B
H
N
I
J
M
L
K
O
P
１２

14. エリア① エリア②
エリア③ エリア④
A
G
E
D
C
F
B
H
N
I
J
M
L
K
O
P
②分割したエリアごとに看板画像を学習させる
提案手法
画像 店名
A
C
L
P
画像 店名
F
J
K
O
画像 店名
D
E
H
N
画像 店名
B
G
I
M
データセット① データセット③
データセット② データセット④
モデル① モデル② モデル③ モデル④１３

15. エリア① エリア②
エリア③ エリア④
A
G
E
D
C
F
B
H
N
I
J
M
L
K
O
P
③ユーザの位置情報に基づいて画像分類モデルを選定し、識別を行う
提案手法
看板 店名
A
C
L
P
看板 店名
F
J
K
O
看板 店名
D
E
H
N
看板 店名
B
G
I
M
データセット① データセット③
データセット② データセット④
モデル① モデル② モデル③ モデル④
User
１４
User

16. エリア① エリア②
エリア③ エリア④
A
G
E
D
C
F
B
H
N
I
J
M
L
K
O
P
③ユーザの位置情報に基づいて画像分類モデルを選定し、識別を行う
提案手法
画像 店名
A
C
L
P
画像 店名
F
J
K
O
画像 店名
D
E
H
N
画像 店名
B
G
I
M
データセット① データセット③
データセット② データセット④
モデル① モデル② モデル③ モデル④ １４
User
User

17. 実装
１５
看板画像データセットの作成
Step 1
Step 2
Step 3
Step 4
対象店舗の位置情報の収集
位置情報に基づく地域の分割
エリア毎の画像分類モデルの構築

18. Step1 看板データセットの作成
スクレイピングによる看板画像の収集
①「食べログ」の各店舗のページに掲載されている外観画像を、
BeautifulSoup4を用いたスクレイピングによって自動で収集
１６

19. Step1 看板データセットの作成
スクレイピングによる看板画像の収集
②各外観画像に対して物体検出によって看板画像を検出して切り出し
20枚以上収集できた930店舗をシステムの対象に設定
物体
検出
１７

20. スクレイピングによる対象店舗の住所の収集
①「食べログ」の各店舗のページに掲載されている住所を
スクレイピングによって収集
Step2 対象店舗の位置情報の収集
１８

21. Step2 対象店舗の位置情報の収集
ジオコーディング
②ジオコーディングを適用して、各店舗の住所を緯度経度に変換
１９
上：緯度 下：経度

22. Step3 位置情報に基づく地域の分割
k平均法によるクラスタリング
・地理的近接性に基づいて分割
・クラスタ数：18
・店舗数
◻最も多いエリア：197店舗
◻ 最も少ないエリア：5店舗
２０

23. Step4 エリア毎の画像分類モデルの構築
VGG16による転移学習
２１
◻ トレーニングセット：60%
◻ バリデーションセット：20%
◻ テストセット：20%
・拡大縮小，水平反転，拡大縮小，せん断変換による
データの水増し
・224×224にリサイズして学習

24. 対象店舗全ての看板を学習
モデルの精度比較
２２
エリア内の店舗の看板を学習
大阪府内 エリア２
エリア１ エリア18
・・・
正解率：0.799
（エポック数：2000）
正解率の平均：0.879
最小の正解率：0.821
（エポック数：50-400）
提案手法による精度の向上が確認できた

25. 考察
２３
最も高い正解率：1.0
最も低い正解率：0.821
店舗数が多いエリアの
モデルの正解率が低下
各エリアごとの店舗数を可能な限り均一にする
エリアの分割手法

26. 考察
２４
対象地域の細分化
→各エリアの店舗数が削減に
よる分類精度向上
→構築するモデル数の増加
→コストの増大
エリア数と構築するモデル数のトレードオフを考慮
エリアの分割手法
エリア数：４ (k=4) エリア数：１０ (k=10)

27. 今後の展望
２５
・地域の分割手法の再検討
・実世界でのシステムの識別精度の確認
・ユーザの付近にある店舗を候補として識別を行う手法の検討
User 店舗Ｅ、Ｆ、Ｌ、Ｎ、Ｐ
を候補として識別

28. 背景
まとめ
｜看板の役割は店舗や会社の名称の掲示
｜読めない看板からの情報の取得は困難
研究の最終目的
｜看板から店舗情報を取得するシステムの実現
システムの詳細
｜物体検出及び画像分類を用いた看板の識別
システムの課題
｜システムを適用できる店舗が少ない
｜対象店舗を増やす→分類候補数が増える
→分類モデルの精度が低下し、看板の識別精度が低下
提案手法
①対象の地域を複数のエリアに分割
②分割したエリアごとに看板画像を学習
③ユーザの位置情報に基づいた分類モデルの選定
｜識別した店舗の食べログのURLを送信
｜各エリアごとの店舗数を可能な限り均一にする
｜エリア数と構築するモデル数のトレードオフを考慮
実装
研究の目的
｜対象店舗の増加に伴う分類精度の低下を低減
①看板画像データセットの作成
②対象店舗の位置情報の収集
③位置情報に基づく地域の分割
④エリア毎の画像分類モデルの構築
考察