Weitere ähnliche Inhalte Ähnlich wie ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016 (20) Kürzlich hochgeladen (12) ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT20162. 2Copyright(c) NEXT Co., Ltd. All Rights Reserved.
自己紹介
› 石田 陽太
› 株式会社ネクスト
› リッテルラボラトリー
› 画像認識+住まい探し支援
コンテンツ画像 スタイル画像
A Neural Algorithm of Artistic Style, Leon A.
Gatys, Alexander S. Ecker, Matthias Bethge, Sep 2015
3. 3Copyright(c) NEXT Co., Ltd. All Rights Reserved.
画像認識+住まい探し支援 研究の例
キッチン 97.3% リビング52.0%
間取り91.0% 風呂100.0%
物件画像の種別判定
キッチンの種別判定
正解:セクショナル
確信度:99.6%
正解:システム
確信度:99.9%
広さスコア
21.7
広さスコア
96.5
広さスコア
40.1
狭い 広い
キッチンのワークスペース広さの推定
間取り画像の構造解析
壁検出 ドアの検
出
4. 4
Large Scale Visual Recognition Challenge
通称ILSVRC
大規模画像認識のコンペティション
http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-
convolutional-neural-networks.pdf
Classification and Localization タスク
• 1000クラスの分類+位置特定
• 120万枚の訓練データ
Detection タスク
• 200クラスの物体検出
• 40万枚の訓練データ
5. 5
ILSVRC2012 ディープラーニングの衝撃
チーム Error 手法
SuperVision 0.15315 Deep CNN
ISI 0.26172 FV + PA
OZFORD_VGG 0.26979 FV + SVM
XRCE/INRIA 0.27058 FV + SVM
University of
Amsterdam
0.29576 FV + SVM
LEAR-XRCE 0.33419 FV + SVM
http://www.image-net.org/challenges/LSVRC/2012/results.html
http://www.slideshare.net/hokutokagaya/convolutional-neural-network-cv-35089848
ILSVRC 2012 Classification Result
6. 6
ILSVRC2012 ディープラーニングの衝撃
チーム Error 手法
Clarifai 0.11197 Deep CNN
NUS 0.12953 SVM Based
+ Deep CNN
ZF 0.13511 Deep CNN
Andrew Howard 0.13555 Deep CNN
OverFeat - NYU 0.14182 Deep CNN
UvA-Euvision 0.14291 Deep CNN
http://www.image-net.org/challenges/LSVRC/2013/results.html
http://www.slideshare.net/hokutokagaya/convolutional-neural-network-cv-35089848
ILSVRC 2013 Classification Result
8. 8
ILSVRC2012 SuperVision (AlexNet)
ILSVRC2014 GoogLeNet
ILSVRC2015 MSRA
各年のILSVRC Classificationの
最もerrorが低いモデル
ImageNet Classification with Deep Convolutional Neural Networks [Alex+, 2012]
Going deeper with convolutions[Christian+, 2014]
Deep Residual Learning for Image Recognition
[Kaiming+, 2015]
9. 9Copyright(c) NEXT Co., Ltd. All Rights Reserved.
画像認識パイプラインの変化
特徴抽出
高次特徴
に変換
識別
SIFT, SURF
HOGなど
BoVW,
FVなど
SVMなど
ネコ
ディープラーニング
ネコ
特徴抽出から識別までを学習
11. 11Copyright(c) NEXT Co., Ltd. All Rights Reserved.
› 一般物体認識
• ImageNet画像で学習済みのモデルを利用
• 各機械学習ライブラリで利用可能
› 特定のものを検出・識別したい
• データセットの作成が必要
• 大量の画像と正解データが必要
• 数千枚オーダー
ディープラーニングによる画像認識の利用
おそ松さんを通して、データセットの作成から
検出・識別を容易にできる方法
23. 23
› Dlibの物体検出器
› HOG特徴量とSVMを用いた検出器
› 100枚程度の教師データで、ある程度の精度の検出器の作成
が可能
画像名 顔個数 x座標 y座標 幅 高さ ・・・
osomatsu_ss/SS100.png 5 616 131 167 176 401 237 164 156 195 99 136 148 124 283 125 133 729 112 115 122
osomatsu_ss/SS101.png 1 595 76 461 467
osomatsu_ss/SS102.png 4 594 43 98 90 71 204 124 122 153 347 114 125 196 25 80 76
教師データ例
Dlib HOG+SVMによる物体検出器
30. 30
Large Scale Visual Recognition Challenge
通称ILSVRC
大規模画像認識のコンペティション
Classification and Localization タスク
› Chainerのサンプルに入っているモデル
› AlexNet ←ILSVRC2012で圧勝したモデル
› GoogLeNet ←ILSVRC2014 トップのGoogleモデル
› Network in Network ←GoogLeNetのベース
31. 31Copyright(c) NEXT Co., Ltd. All Rights Reserved.
学習データセットの作成
分類画像
各クラス約1000枚
画像パス クラス番号
image0001.jpg 0
image0002.jpg 1
image0003.jpg 2
image0004.jpg 3
image0005.jpg 4
train
Test
(validation)
7
3
平均画像
拡大
縮小
切り取り
256×256
画像
32. › nVIDIA GPUによる環境がほぼ必須
› CPU : 0.139 image/s (Core i7-6700)
› GPU : 133 image/s (GeForce GTX Titan)
› CUDA
› nVIDIAのGPGPU技術
› AWSにGPUインスタンスあり
32Copyright(c) NEXT Co., Ltd. All Rights Reserved.
ディープラーニングの学習環境について
37. 37Copyright(c) NEXT Co., Ltd. All Rights Reserved.
誤判定の例
おそ松
カラ松
チョロ松
十四松
一松
トド松
正解
チョロ松
識別結果
十四松
正解
おそ松
識別結果
十四松
口が影響か
39. 39Copyright(c) NEXT Co., Ltd. All Rights Reserved.
テストデータにおける混同行列
おそ松
カラ松
チョロ松
一松
十四松
トド松
正解
判別結果
カラ松をおそ松に、おそ松をトド松に間違えやすい
40. 40Copyright(c) NEXT Co., Ltd. All Rights Reserved.
参考:人による判別精度と混同行列
おそ松
カラ松
チョロ松
一松
十四松
トド松
正解
判別結果
おそ松の精度が悪い ←特徴が少ないためか?
n=300
5000枚以上
おそ松さん判別の
訓練を積んだ人間による
CNN:0.861
人 :0.730
43. • 物件画像データ 約8300万枚
~HOME’Sデータセット 概要~
周辺
17%
外観
11%
内装
11%
居間
7%
間取り
6%
キッチン
5%
風呂
4%
玄関
3%
寝室
1%
設備
1%
収納
1%
トイレ
1%
洗面
1%
バルコニー
0%
エントランス
0%
駐車場
0%
地図
0%
子供部屋
0%
その他
28%
画像種別 枚数(万枚)
周辺 1413
外観 947
内装 941
居間 558
間取り 524
キッチン 453
風呂 364
玄関 269
寝室 89
設備 88
収納 85
トイレ 64
洗面 54
バルコニー 38
エントランス 38
駐車場 14
地図 12
子供部屋 2
その他 2299