Recommended
More Related Content
What's hot
What's hot (20)
Similar to 20141008物体検出器
Similar to 20141008物体検出器 (20)
More from Takuya Minagawa
More from Takuya Minagawa (20)
Recently uploaded
Recently uploaded (11)
20141008物体検出器
- 2. 物体検出徹底解説！ 物体検出の仕組み Viola & Johnsのアルゴリズムを解説 物体検出器を作ってみよう！ opencv_createsamples opencv_traincascade 学習のテクニック 2
- 3. 物体検出の仕組み 3
- 4. Viola & Johnsのアルゴリズム OpenCVの物体検出は、以下の手法を実装している Rainer Lienhartand JochenMaydt, "An Extended Set of Haar-like Features for Rapid Object Detection", IEEE ICIP 2002, Vol. 1, pp. 900- 903, Sep. 2002. Ojalaand M. Pietikainen, “MultiresolutionGray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns”, IEEE Trans on PAMI, Vol. 24. No.7, July, 2002.(LBPの論文) ここでは、大元となった以下の論文を元に解説する Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001. 4
- 6. 学習 学習結果 データ 学習フェーズ 特徴量抽出 学習画像 学習画像 学習画像 認識 認識結果 認識フェーズ 特徴量抽出 入力画像 物体検出の基本原理 Haar-Like 特徴 AdaBoost 6
- 7. 機械学習とは？ 人間が自然に行っている学習能力と同様の機能をコン ピュータで実現させるための技術・手法のこと 事前にコンピュータにサンプルデータを与え、そのパターンを 統計的に抽出させる。 学習サンプル 学習結果 7
- 8. ・・・・ 弱い識別器 強い識別器 正解画像 非正解画 像 教師 信号 学習 AdaBoost 弱い識別器を並べて、強い識別器を作成する機械学習 8
- 9. AdaBoostの学習の流れ 以下の処理を繰り返し、１ラウンドごとに１つの特徴を選ぶ 1.学習画像（正解及び非正解）を用意する。（例：顔画像と顔を含まない画 像） 2.各画像ごとの重みを、正解画像、非正解画像ごとに一様にする。（各々 の合計は0.5） 3.以下を指定回数繰り返す。 1.重みの合計が１になるように正規化 2.各々の識別器に画像の判定を行わせ、学習画像毎の重みを元にエラー率を 算出する 3.エラー率が最も小さくなった識別器を選択する。 4.その識別器が判別を誤った画像の重みを重くする。 4.選択した識別器の重み付き和を最終的な強識別器とする。 9
- 11. Haar-Like特徴と探索窓 探索窓の中に、１つHaar-Like特徴を持つ。 １つの弱識別器は、１つの探索窓から構成 探索窓内のHaar-Like特徴の「位置」、「サイズ」、「種類」 を様々に変えて、約１２万個の識別器を用意。 探索窓 矩形特徴 （Haar-Like特徴） 11
- 12. AdaBoostの学習結果の例 AdaBoostを通して、最適な探索まで自動的に選択される 画像出典： P.Violaand M.J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001. 選択された特徴の例 12
- 13. 検出の高速化 1.積分画像によるHaar-Like特徴計算の 高速化 2.AttentionalCascadeによる物体領域選 択の高速化 13
- 14. 高速化の仕組み–積分画像- 各画素の値を積分した画像を作成する。（右下に行くほど画 素の値が大きくなる） 矩形領域の画素値の総和が非常に高速に計算可能になる。 A B C D P1 P2 P4 P3 A’ B’ C’ D’ P’1 P’2 P’4 P’3 D = P4 –P2 –P3 + P1 D’ = P’4 –P’2 –P’3 + P’1 P1 = 領域Aの画素値の総和 P2 = 領域A+Bの画素値の総和 P3 = 領域A+Cの画素値の総和 P4 = 領域A+B+C+Dの画素値の総和 14
- 15. 高速化の仕組み–AttentionalCascade- 画像中は「物体以外」の領域の方が多い 効率よく「物体以外」の領域を削除するために、強識別器を複 数連結させ、上位で関係ない領域を早めに削除する。 全ての探索窓 １ ２ ３ 更なる処理 拒否された探索窓 TRUE TRUE TRUE FALSE FALSE FALSE 15
- 16. AttentionalCascadeの学習方法 1.各ステージごとに、目標となる最小検出率と許容可能 な最大誤検出率を設定する。 2.学習用に正例画像と負例画像を用意する。 3.ステージ毎の識別器を順番に学習させる。 1.ステージの強識別器をAdaBoostで学習させる a.強識別器に弱識別器を１つ追加する。 b.強識別器で学習画像を判定させる。 c.判定結果が目標最小検出率を満たすように、閾値を下げる。（そ の結果誤検出は増える。） d.誤検出が許容範囲なら、AdaBoostの学習を終了。許容範囲外な ら、aへ。 2.学習用負例画像から、誤検出しなかったものは除いて、次 のステージを学習させる(1へ) 16
- 17. 物体検出器の構造（まとめ） 物体検出器の学習データは以下の構造を持つ カスケード型検出器 ステージ１（強識別器） 弱識別器１ Haar-Like特徴 弱識別器２ ・・・・ ステージ２（強識別器） 弱識別器１ Haar-Like特徴 弱識別器２ ・・・・ ・・・・・ 17
- 18. OpenCVで物体検出 18
- 19. 参考資料 OpenCVの公式サイトでは、物体検出器について以下 のようなドキュメントが用意されています。 物体検出器の使用方法： http://docs.opencv.org/2.4.9/doc/tutorials/objdetect/cascade_classifier/cascade_classifier.html 物体検出器の学習方法： http://docs.opencv.org/2.4.9/doc/user_guide/ug_traincascade.html 19
- 20. OpenCVで物体検出 OpenCV2.0以降： 物体検出にはCascadeClassifierクラスを使用 弱識別器として以下の特徴量が用意されている Haar-like特徴 LBP特徴 HOG特徴 学習時に選択 検出時には特に意識する必要はない 20
- 21. Local Binary Pattern (LBP) Jo Chang-yeon, “Face Detection using LBP features”, CS 229 Final Project Report •注目画素の８近傍の値が、注目画素より高いか低いかで ラベリングし、符号化 •全画素で符号を計算し、ヒストグラムを作成 21
- 22. Local Binary Pattern (LBP)続き Jo Chang-yeon, “Face Detection using LBP features”, CS 229 Final Project Report •顔画像をM個のブロックへ分割（重なりなし）し、それぞれ のヒストグラムを求めて結合する（256×M個のビン） •この結合ヒストグラムの一つのビンが弱識別器 22
- 23. Histogram of Oriented Gradients (HOG) 1.画像をCellに分割 2.Cell内の勾配方向のヒストグラムを作成 3.Block内のCellが持つヒストグラムを連結して正規化 4.各ブロックの正規化ヒストグラムを連結してHOG特徴を作成 23 Dalal, N. & Triggs, B. . Histograms of Oriented Gradients for Human Detection. CVPR2005
- 24. 物体検出の実行（顔検出の例） /* 正面顔検出器のロード*/ cv::CascadeClassifiercascade( "haarcascade_frontalface_alt.xml" ); std::vector<cv::Rect> faces; std::vector<cv::Rect>::iteratorface_itr; /* 顔検出*/ cascade.detectMultiScale( image, faces); /* 顔領域の描画*/ for( face_itr= faces.begin(); face_itr!= face_itr.end(); face_itr++ ) { cv::rectangle( image, *face_itr, CV_RGB(255,0,0), 3 ); } /* 画像の表示(略)*/ 24
- 25. 物体検出の実行 実行の流れ 1.CascadeClassifierクラスへオブジェクトの学習ファイル (XML)を読み込み コンストラクタの引数、もしくはload()メソッド ファイル読み込み時に特徴の種類（Haar-like, LBP, HOG）を自動で判断 2.CascadeClassifier::detectMultiScale()関数で、物体検出 std::vector<cv::Rect>クラスへ結果を格納 25
- 26. あらかじめ用意されている学習データ “＜OpenCV_HOME＞/data/” “haarcascades/” : Haar特徴を用いた学習データ 正面顔 顔パーツ 横顔 上・下半身 “lbpcascades/” : LBP特徴を用いた学習データ 正面顔 横顔 “hogcascades/”：HOG特徴を用いた学習データ 歩行者 26
- 27. 物体検出器の作成 27
- 28. 手順 1.学習データを集める。（正例画像と負例画像。例え ば顔画像と顔じゃない画像） 2.学習用テキストファイルを作成する 3.“opencv_createsamples”を用いて正例画像データ を作成する。 4.“opencv_traincascade”を用いて物体情報を学習さ せて、XMLファイルを生成する。 28
- 29. 学習の流れ カスケードの各ステージごとに目標となる認識率dと最大許容誤認 識率fを決定。 各ステージで学習データがdとfを満たすまでAdaboostでの学習を 繰り返す。 前のステージで誤認識した負例画像だけ次のステージで使用する。 全ての探索窓 １ ２ ３ 更なる処理 拒否された探索窓 TRUE TRUE TRUE FALSE FALSE FALSE 29
- 30. 学習画像を集める 正例画像3000枚、負例画像7000枚程度 Google Image http://images.google.co.jp/ Flickr http://www.flickr.com/ 研究用データ Pascal VOC http://pascallin.ecs.soton.ac.uk/challenges/VOC/ MITの顔画像データ http://cbcl.mit.edu/software-datasets/FaceData2.html カリフォルニア工科大学の物体画像データ http://www.vision.caltech.edu/Image_Datasets/Caltech101/Caltech101.html http://www.vision.caltech.edu/Image_Datasets/Caltech256/ etc 自分で撮影する 30
- 31. 学習用テキストを編集する 画像のリストファイルを作成する（負例画像の例） NG¥image_0001.jpg NG¥image_0002.jpg NG¥image_0003.jpg NG¥image_0004.jpg NG¥image_0005.jpg . . . . NG.txt image_0002.jpg image_0003.jpg NG image_0001.jpg ＜作業ディレクトリ＞ image_0002.jpg image_0003.jpg image_0001.jpg OK OK.txt NG.txt 31
- 32. 学習用テキストを編集する 画像のリストファイルを作成する（正例画像の例） OK¥image_0001.jpg 1 120 100 45 45 OK¥image_0002.jpg 2 100 200 50 50 50 30 25 25 OK¥image_0003.jpg 1 40 55 60 60 OK¥image_0004.jpg 1 104 98 40 40 OK¥image_0005.jpg 2 62 70 50 50 120 162 30 30 . . . . NG.txt image_0002.jpg image_0003.jpg NG image_0001.jpg ＜作業ディレクトリ＞ image_0002.jpg image_0003.jpg image_0001.jpg OK OK.txt OK.txt ファイル名 物体数 物体の位置×物体数 (x,y,width,height) 32
- 33. （X, Y） （0, 0） x y Width Height 物体座標の表記 以下のサイトから、”ObjectMaker”というプロットツールをダウンロード可能 https://github.com/takmin/ObjectMarker 33
- 34. 正例画像データの作成 ２通りの正例データ作成方法 1.１枚の画像を、歪めたり、回転させたり、色の分布を変える などして、大量の学習データを作成する場合。（ロゴなど） 正直精度悪くてあんまり使えない。 2.大量の学習画像を集めて、オブジェクトの領域をプロットす る場合。（顔、バイク、車など） コマンドラインで“opencv_createsamples”という実 行ファイルを使用して、正例画像を変換する。 34
- 35. 正解画像データの作成 場所： <OpenCV_HOME>/bin/opencv_createsamples” コマンド例： opencv_createsamples-info OK.txt -vecuiuc_car.vec -num 500 - w 50 -h 20–show -info: 正例画像リストファイル -vec:出力データファイル名 -num:正例画像数 -w:学習時の画像幅 -h:学習時の画像高さ -show:学習画像のGUIによる確認 画像ファイルリストから生成する場合 このファイルを次のカス ケード学習時に使用する 35
- 36. 学習の開始 場所： “<OpenCV_HOME>/bin/opencv_traincascade” コマンド例： opencv_traincascade-data uiuc_car-vecuiuc_car.vec -bgNG.txt -numPos488- numNeg1327 -w 50 -h 20 -numStages5 -featureTypeHAAR -mode ALL -data:作業フォルダ名。このフォルダの下に中間ファイルとcascade.xmlができる。 -vec:createsamplesで作成した正解画像データ名 -bg:負例画像ファイル名リスト -numPos:正例画像数 -numNeg:負例画像数 -minHitRate: 各ステージで許容する最小検出率（デフォルト：0.995） -maxFalseAlarmRate: 各ステージ許容する最大誤検出率（デフォルト：0.5） -w, -h:画像サイズ。createsamplesで指定したものと同じにする。 -numStages:作成するステージ数 -featureType:特徴の型。HAAR、LBP、HOGのいずれか。 -mode:Haar-Like特徴の種類を指定 36
- 37. 学習の開始 ===== TRAINING 0-stage ===== <BEGIN POS count : consumed 500 : 500 NEG count : acceptanceRatio1327 : 1 Precalculationtime: 44.686 +----+---------+---------+ | N | HR | FA | +----+---------+---------+ | 1| 1| 1| +----+---------+---------+ | 2| 1| 1| +----+---------+---------+ | 3| 1| 1| +----+---------+---------+ | 4| 0.998| 0.517709| +----+---------+---------+ | 5| 0.996| 0.37679| +----+---------+---------+ END> 学習の様子 37
- 38. 学習コマンドと注意点 opencv_traincascadeの-numPosオプションは、 opecv_createsamplesの-numオプションよりも小さくする こと！ 必ず以下の式を満たす必要がある 푛푢푚푃표푠≤ 푛푢푚−푆 푛푢푚푆푡푎푔푒+푚푖푛퐻푖푡푅푎푡푒(1−푛푢푚푆푡푎푔푒) Sはバッファ、numはcreatesamplesのオプション 学習の各ステージで背景と判断された正例学習データ は以後のステージでは棄却され、その分新たにvecファ イルから追加されるため。 38
- 39. 学習のテクニック 39
- 40. 学習のテクニック 1.誤検出率と未検出率のトレードオフ 2.学習画像の切り取り 3.学習画像の縦横比 4.Data Augmentation 5.精度向上のための学習画像収集テクニック （注：各テクニックの有効性は対象によってマチマチです） 40
- 41. 誤検出と未検出のトレードオフ 未検出 誤検出 一般に誤検出率を下げようとすると未検出率が上がり、未検出 率を下げようとすると誤検出率が上がる 41
- 43. 学習画像の縦横比 43 OpenCVの検出器/学習器では学習画像の縦横比（アスペク ト比）は固定 学習は-w, -hオプションで指定したサイズにリサイズされる 従って、学習画像の縦横比をできるだけ固定した方が良い。 学習画像の縦横比を固定せず、検出時に入力画像の縦横比を 様々に変換するというアプローチもある
- 44. Data Augmentation 44 学習画像（特に正例）に対して位置をずらす、回転させる、 アスペクト比を変える、ぼかす、ノイズを入れる、等々の 処理を入れることで、学習データの数を増やし、かつ環 境変化に対してロバストにするテクニック。
- 45. 精度向上のための追加学習画像収集 1.識別器の学習に使った画像とは別の学習画像を別途用意してお く 2.学習画像に対し、学習済みの識別器をかけて物体検出を行う 3.検出できなかった物体画像領域、または誤検出した背景画像を 学習画像に追加し、再度識別器を学習しなおす。 45 誤検出 未検出