兒玉拓巳. “観光用リアルタイム画像認識システムの構築”. 平成23年度 情報工学科 卒業研究発表講演会, 独立行政法人 国立釧路工業高等専門学校 情報工学科, 2012. (日本語 / Japanese Language Only) Thesis Report: https://drive.google.com/file/d/0BysKU1LH0P62LUtjMkpQbUJacW8/view?usp=sharing Youtube: https://www.youtube.com/watch?v=_XMsg-hkFDE

1. 16/07/20
観光用リアルタイム画像認識システムの構築
5 年情報工学科 兒玉拓巳

2. 本研究の取り組み
花だ !
1 観光用リアルタイム画像認識システムの構築
黄色だ !
でも品種は何？
花の品種を調べる手段は手探り ( 図鑑等 )
・道端や旅先で花を見つけたとき…
画像認識技術を使って簡単に品種特定

3. 品種特定までの流れ
・作業は大きく分けて以下の 2 フェーズ
1. 入力映像から
花の色・形状の特徴抽出
2. 特徴量データを基に
機械学習を用いた識別
3 観光用リアルタイム画像認識システムの構築
? ?
≡ !
品種を特定し識別結果を表示

4. 第 1 フェーズ (1)… 映像の入力・処理
4 観光用リアルタイム画像認識システムの構築
・識別対象の花をシステムへと入力
入力媒体の種類には幅広く対応
webcam
各入力媒体
識別対象の花
撮影 提示

5. 第 1 フェーズ (2)… 映像の入力・処理
5 観光用リアルタイム画像認識システムの構築
・入力パターンの花弁の色はシステム内で
まずユーザに指定してもらう
指定された色をターゲット色として
処理を開始する
Red
Blue
Yellow
Cyan
Magenta
White
入力パターン

6. 第 1 フェーズ (3)… 映像の入力・処理
6 観光用リアルタイム画像認識システムの構築
・入力映像を H,S,V に分割し、閾値処理を施す
閾値操作によりターゲット色のみを抽出
入力パターン
Yellow を指定
閾値処理後の画像
H:15 ～ 40
S:76 ～ 255
V:127 ～ 25

7. 第 1 フェーズ (4)… 映像の入力・処理
7 観光用リアルタイム画像認識システムの構築
・マスク画像の作成 ( 確認 )
綺麗に黄色の花弁領域を抽出できている
Yellow の抽出画像

8. 第 1 フェーズ (5)… 映像の入力・処理
8 観光用リアルタイム画像認識システムの構築
・膨張 / 圧縮によるノイズの除去
＆ラベリング処理
最大面積の花弁を抽出し識別対象とする
Yellow の抽出画像Yellow の抽出画像

9. 第 1 フェーズ (6)… 各特徴の抽出
9 観光用リアルタイム画像認識システムの構築
・実際の花弁の色を調べる
Ha, Sa, Va を色特徴として抽出
花弁領域内の全ピクセルを走査し…
H,S,V 各値の平均値 Ha, Sa, Va をとる
Ha: 46(/180) Sa: 97(/100) Va:79(/100)

10. 第 1 フェーズ (7)… 各特徴の抽出
10 観光用リアルタイム画像認識システムの構築
・凸包内の花弁面積の割合 Cs を計算
Cs を形状特徴として抽出
花弁領域画像
Cs = 0.982699

11. 第 1 フェーズ (8)… 各特徴の抽出
11 観光用リアルタイム画像認識システムの構築
・花弁の重心 G から各極大・極小点までの
ユークリッド距離 Di を計測
花弁領域画像

12. 第 1 フェーズ (8)… 各特徴の抽出
12 観光用リアルタイム画像認識システムの構築
・花弁の重心 G から各極大・極小点までの
ユークリッド距離 Di を計測
D = 1.111
Di の平均距離値 D を距離特徴として抽出
花弁領域画像

13. 第 1 フェーズ (9)… 各特徴の抽出
13 観光用リアルタイム画像認識システムの構築
以上、カメラ映像から抽出できた特徴は…
各特徴値をもとに第 2 フェーズの識別へ
・花弁の色相 (H) の全平均値 Ha
・花弁の彩度 (S) の全平均値 Sa
・花弁の明度 (V) の全平均値 Va
・ Convex Hull 内の面積値の割合 Cs
・重心から頂点までの平均距離値 D
(46, 97, 79)
0.983
1.111

14. 第 2 フェーズ (1)… 特徴を用いた識別
14 観光用リアルタイム画像認識システムの構築
・第 1 フェーズで抽出した特徴量を基に
機械学習を用いてクラス分類
入力パターン
識別アルゴリズムは k 最近傍決定則を使用
Ha: 46
Sa : 97
Va : 79
Cs : 0.983
D : 1.111
特徴空間

15. 第 2 フェーズ (2)… 特徴を用いた識別
15 観光用リアルタイム画像認識システムの構築
・各学習パターンには教師ラベルを付与
各クラス 10 パターン以上を学習させる
クラス ω1 クラス ω2 クラス ω3 クラス ω4
クラス ω6クラス ω5 クラス ω7 クラス ω8
...

16. リアルタイム動作
17 観光用リアルタイム画像認識システムの構築
ループを繰り返すことで
秒単位のリアルタイム動作を可能に
第 1 フェーズ … 入力映像から花の特徴抽出
第 2 フェーズ … 特徴量データを基に識別
第 2 フェーズ
識別
・両フェーズの作業を OpenCV ライブラリで行う
第 1 フェーズ
特徴抽出

17. リアルタイム動作の様子
18 観光用リアルタイム画像認識システムの構築
1 認識 /0.7s 程度のスピードに設定

18. 評価実験 : 概要
19 観光用リアルタイム画像認識システムの構築
・代表的な 3 クラスを対象に評価実験
クラス ω1 クラス ω2 クラス ω3
花弁の色 白色 黄色 白色
花弁の形状 丸い 丸い 尖っている
実際の識別精度を求める

19. 評価実験 : 結果
20 観光用リアルタイム画像認識システムの構築
・ 3 クラスでの識別結果
IN ＼ OUT クラス ω1 クラス ω2 クラス ω3 Error(%)
ω1 15 0 6 6/21 = 29%
ω2 0 33 0 0/33 = 0%
ω3 2 0 12 2/14 = 14%

20. 評価実験 : 考察 (1)
23 観光用リアルタイム画像認識システムの構築
IN ＼ OUT クラス ω1 クラス ω2 クラス ω3 Error(%)
ω1 15 0 6 6/21 = 29%
ω2 0 33 0 0/33 = 0%
ω3 2 0 12 2/14 = 14%
・クラス ω1 とクラス ω3
花弁色が類似して、形状は異なる
識別精度は完璧ではなかった

21. 評価実験 : 考察 (2)
24 観光用リアルタイム画像認識システムの構築
・形状に関わらず、花弁色が異なる花
識別精度は非常に高い (100%)
・形状が異なり、花弁色が類似する花
識別精度は完璧ではない (7~80%)
形状に関する特徴が不十分である

22. 社会貢献
25 観光用リアルタイム画像認識システムの構築
・「観光用」なので一般公開を目指す
識別対象を宗谷地方礼文島の花とした
現地で一般観光客の利用を目指している
礼文島に研究の許可は直接交渉済
図 : 礼文島の位置
小さな島だが 300 種もの花が咲く

23. 当システムの改善点
26 観光用リアルタイム画像認識システムの構築
一般公開を想定して…
・大規模クラス識別への対応
・類似色クラス間での識別率の向上
識別可能な花の品種の増加
形状に関する特徴抽出量を増加
・追加学習の導入の検討
一度識別した未知パターンの特徴量を、
学習パターンへと応用できるようにする

24. おわりに
27 観光用リアルタイム画像認識システムの構築
・最終目標は、識別精度を完璧にし
・もし実用化した場合、
地域社会にどれだけ貢献できるか
地域活性化について
情報科学からのアプローチ
進学先でも研究を続け、是非実現させたい
システムを実用化して世に送り出す こと

25. 16/07/20
終わり

26. 凸包 : Convex Hull とは
ex.1 観光用リアルタイム画像認識システムの構築
・花弁の頂点を輪ゴムをかけるように線で囲む
凸包領域内の花弁面積の割合を求める
Cs = 0.665528

27. k 最近傍決定則とは
ex.2 観光用リアルタイム画像認識システムの構築
・最近傍決定則の多数決版
未知パターン
学習パターン 1
学習パターン 2
k 番目までに近い学習パターンにより識別
k=3
k=5
k=3 の場合… k=5 の場合…

28. 第 2 フェーズ…特徴を用いた識別 (ex.)
ex.4 観光用リアルタイム画像認識システムの構築
・クラスの内訳
......
さまざまな角度や光加減の画像を用意

29. ex.5 観光用リアルタイム画像認識システムの構築
全 8 クラス実験結果 ( パターン数 161)
IN/OUT ω1 ω2 ω3 ω4 ω5 ω6 ω7 ω8 e(%)
ω1 15 0 6 0 0 0 0 0 29%
ω2 0 24 0 0 9 0 0 0 27%
ω3 0 0 6 8 0 0 0 0 57%
ω4 2 0 4 22 0 0 0 0 21%
ω5 0 6 0 0 17 0 0 0 26%
ω6 0 0 0 0 1 12 0 0 8%
ω7 0 0 0 0 0 0 13 2 13%
ω8 0 0 0 0 0 0 0 10 0%

30. 当システムの改善点 (2)
ex.6 観光用リアルタイム画像認識システムの構築
・花弁色選択のバリエーションを増加
・映像入力に高画質カメラの導入
システムの識別率の向上のために…
・各学習パターンのサンプル数を更に増加
・学習や識別に NN 法ではなく
より近代的な SVM 等を適用
・クラス分類を大分類→詳細分類→…
と階層的に行う

31. 機械学習
ex.7 観光用リアルタイム画像認識システムの構築
データの集まりから機械に学習をさせ、質問
に答えられるようにする
・ K- 最近傍
ユークリッド距離で近傍な K 点の多数決で決定
・決定木
if-then 方式で tree を組み立て、候補を絞る
・ SVM
線形関数の候補内から最適な関数を選ぶ

32. 評価実験 : 考察 (3)
21 観光用リアルタイム画像認識システムの構築
・クラス ω1 とクラス ω2
花弁色が異なり、形状は類似する
識別精度は非常に高かった (100%)
IN ＼ OUT クラス ω1 クラス ω2 クラス ω3 Error(%)
ω1 15 0 6 6/21 = 29%
ω2 0 33 0 0/33 = 0%
ω3 2 0 12 2/14 = 14%

33. 評価実験 : 考察 (4)
22 観光用リアルタイム画像認識システムの構築
・クラス ω2 とクラス ω3
花弁色が異なり、形状も異なる
識別精度は非常に高かった (100%)
IN ＼ OUT クラス ω1 クラス ω2 クラス ω3 Error(%)
ω1 15 0 6 6/21 = 29%
ω2 0 33 0 0/33 = 0%
ω3 2 0 12 2/14 = 14%