More Related Content
Similar to CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition (11)
CVPR2016読み会 Sparsifying Neural Network Connections for Face Recognition
- 3. はじめに
CVPR2016読み会
3
• CVPR2016の顔関連の研究はどれくらい?
– 検索条件: 手動
» 39/643件(DNN/RNN系は11件)
» 全部は読めてません…
– 研究動向
» 顔認証/検索 9件(4件)⇒ 1つ紹介します
» 3D顔モデリング 7件(0件)
» 顔特徴点検出 7件(3件)
» 表情認識 6件(1件)
» 年齢 3件(2件)
» データセット 2件(0件)
» 顔属性認識 2件(0件)
» 顔検出 1件(1件)
» 視線推定 1件(0件)
» 心拍推定 1件(0件)
- 4. 論文の概要
CVPR2016読み会
4
• タイトル
– Sparsifying Neural Network Connections for Face Recognition
– 顔認証のためのニューラルネットワーク結合のスパース化
• どこの研究?
– SenseTimeとThe Chinese University of Hong Kong(CUHK)の人たち
• どんな研究?
– 顔認証用CNNを枝刈りして(疎にして)パラメータ数削減・性能向上
• どんな手法?
– パラメータ数の多い最終層から順に枝刈り
» ニューロン間が無相関な結合を主に枝刈りしよう!という発想
• 結果は?
– パラメータの圧縮率は12~76%
– 顔認証の性能は若干向上
» LFWデータセットで、精度98.95% ⇒ 99.30%(圧縮率76%)
» (エラー1.05% ⇒ 0.70%)
- 5. 著者紹介
CVPR2016読み会
5
• Yi Sun(SenseTime), Xiaogang Wang(CUHK), Xiaoou Tang(CUHK)
– CUHKのすごいひとたち
– CUHKのグループはCVPR2016だけで16件発表
• 顔関連の主要論文
– 顔認証
» Deep learning face representation from predicting 10,000 classes
(通称DeepID, CVPR2014) ⇒ Facebookの対抗馬
» Deep Learning Face Representation by Joint Identification-
Verification (通称DeepID2, NIPS2014)
» Surpassing Human-Level Face Verification Performance on LFW
with GaussianFace (通称GaussianFace, AAAI2015)
» Deeply learned face representations are sparse, selective, and
robust (通称DeepID2+, CVPR2015) ⇒ Googleの対抗馬
– 顔特徴点検出
» Face Alignment by Coarse-to-Fine Shape Searching (CVPR2015)
- 6. 予備知識1: LFW
CVPR2016読み会
6
• 近年の顔認証=LFW (Labeled Faces in the Wild)
– 顔認証ではMNIST的な存在 (2007年~)
– 本人ペア3000組+他人ペア3000組を正しく分類する問題
• LFW (unrestricted: 外部データあり) の歴史
– 2012年
» 92.40%: Joint Bayesian, ECCV (MSRA)
– 2013年
» 95.17%: High-dimensional LBP, CVPR (MSRA)
– 2014年
» 97.35%: DeepFace*, CVPR (Facebook)
» 97.45%: DeepID*, CVPR (CUHK)
– 2015年
» 98.52%: GaussianFace, AAAI (CUHK)
» 99.47%: DeepID2+*, CVPR (CUHK)
» 99.63%: FaceNet*, CVPR (Google)
⇒ 性能は上限まで達成、高速化や省メモリ化が課題か?
Aaron Eckhartさん
はLena的存在♡
- 7. 予備知識2: LFWの後継者
CVPR2016読み会
7
• LFWの終焉
– Googleの2億枚の学習画像を使った力技でほぼ完全攻略
– 新たな顔認証研究の幕開けでもあった…
• LFWの後継者
– YTF (YouTube Face, CVPR2011)
» YouTube動画からクロップしたデータセット、低画質
– IJB-A (IARPA Janus Benchmark A, CVPR2015)
» ネットで収集した画像、顔向きとか年齢とかエグい
» スポンサーはNIST (アメリカ国立標準技術研究所)
– MegaFace (CVPR2016)
» Flickrで収集した100万枚の中から特定の人を見つけるベンチマーク
» 顔認証というより顔検索
» スポンサー欄にはSamsung、Google、Intelの名前が…
– MS-Celeb-1M (ACMMM2016)
» 3日前にその存在を知りました…
Shinzo Abeさん
(IJB-Aの例)
- 9. 本題:既存手法の問題点
CVPR2016読み会
9
• ディープラーニングを使った顔認証
– 計算コストが高い
– 必要メモリが大きい
» 小さなネットワークで顔認証したい!
» あわよくば性能向上させたい!
• ネットワークの軽量化(枝刈り)に関する先行研究
– OBD (Optimal Brain Damage) [LeCun+, NIPS1990]
– 重みの絶対値が小さい結合を枝刈り [Collins+, arXiv2014]
– BRP (Bayesian Regularization and Pruning) [Williams, NC1994]
» もっといい方法が欲しい!
• ネットワークの圧縮に関する先行研究
– ニューロンの重みをSVDしてモデルを圧縮 [Denton+, NIPS2014等]
– Knowledge distillation [Hinton+, arXiv2014]
- 13. 実験
CVPR2016読み会
13
• ネットワークの学習
– 学習用画像: 12,000名・290,000枚
» ディープラーニング用途としては小さめのデータセット
– 評価用画像: LFW、YTF、IJB-A
» 結果が細かすぎるのでLFWだけ紹介します…
– 疎性パラメータS: バリデーションセットで決定
– 偏りパラメータλ: 0.75
• 実装
– Caffeを使用
– 枝刈りを使った学習は、0/1のdropping matrixを使うと実装できる
- 18. 論文のまとめ
CVPR2016読み会
18
• タイトル
– Sparsifying Neural Network Connections for Face Recognition
– 顔認証のためのニューラルネットワーク結合のスパース化
• どこの研究?
– SenseTimeとThe Chinese University of Hong Kong(CUHK)の人たち
• どんな研究?
– 顔認証用CNNを枝刈りして(疎にして)パラメータ数削減・性能向上
• どんな手法?
– パラメータ数の多い最終層から順に枝刈り
» ニューロン間が無相関な結合を主に枝刈りしよう!という発想
• 結果は?
– パラメータの圧縮率は12~76%
– 顔認証の性能は若干向上
» LFWデータセットで、精度98.95% ⇒ 99.30%(圧縮率76%)
» (エラー1.05% ⇒ 0.70%)