신종주(isaac.shin) / kakao corp.(멀티미디어처리파트) --- Computer Vision 의 여러 영역 중 얼굴인식은 실생활에 가장 유용한 분야 중 하나입니다. 얼굴 인식도 딥러닝을 이용하면서 성능이 많이 향상되었습니다. 얼굴 인식 분야가 어떻게 발전되었고, 최근에는 어떤 연구가 진행 중인지 알아보겠습니다. 마지막으로 카카오에서 얼굴 인식 적용사례를 소개합니다.

1. 딥러닝을 이용한 얼굴 인식
신종주(isaac.shin)
kakao corp.(멀티미디어처리파트)
(셀럽)

2. 누구세요?

3. 얼굴 인식이란?

4. 얼굴 인식 과정
1. Detection 2. Alignment 3. Normalization
4. Recognition
224
224

5. Contents
- 얼굴 인식 분류
- 학습 방법
- 최근 얼굴 인식 연구 방향
- 카카오의 얼굴 인식

6. Identification vs. Verification
Identification
- 입력 얼굴과 등록된 얼굴들을 비교해서 누구인지 알려줌
- Top-1&5 accuracy
Verification
- 주어진 두 얼굴이 같은지를 판단
- TAR@FAR=0.001
- 틀린 것이 0.1%일때 몇 % 맞췄나? 높을 수록 좋음
- LFW
?
= ≠
Probe
Gallery

7. LFW
Labeled Faces in the Wild (2008)
6000 pair
- 3000 pair
- 3000 pair
/ .
: 97.53%
?

8. Feature Embedding for Face Recognition
FC
(128,
256,
512,
1024…)
Softmax
Metric learning
Train
Dimension reduction
conv,
bn,
act,
pooling

9. Feature Embedding for Face Recognition
FC
(128,
256,
512,
1024…)
Euclidean
distance
Cosine
similarity
Test
FC
(128,
256,
512,
1024…)
conv,
bn,
act,
pooling
conv,
bn,
act,
pooling

10. Metric Learning
Triplet loss (CVPR 2015) Contrastive loss (NIPS 2014)
Center loss (ECCV 2016) Ring loss (CVPR 2018)

11. Angular classification
Sphere Face (CVPR 2017)
(A-Softmax)
CosFace (CVPR 2018)
(Large Margin CL) ArcFace (arxiv 2017)
NormFace (ACMMM 2017)
Weight normalization

12. Angular classification
ShpereFace CosFaceArcFace

13. Recent Databases
MSCeleb-1M (ECCV 2016)
- 10
- 1000
VGGFace2 (FG 2018)
- 9131
- 331

14. VGGFace2
- Network : resnet-34
- embedding size : 256
- Optimizer : Adam
- Softmax
99% !!
??
그냥 한번 학습해 보자!!

15. VGGFace2
우리 서비스에 이용할 수 있을까?
대부분 서양인
Acc.
TAR@FAR
=0.001
TAR@FAR
=0.01
TAR@FAR
=0.1
0.907 0.560 0.735 0.914!!

16. 카카오의 얼굴 인식
!!
!!

17. 카카오의 얼굴 인식
Train Val Test
3,086
1,996,642
3,086
222,192
343
128,596
aug. 2
1,164
1,262,940
1,164
140,844
130
29,614
aug. 4
Kakao Dataset
몇달 간 모으고, GT 찍고.......

18. 카카오의 얼굴 인식
Evaluation
- LFW protocol 사용
Softmax Softmax+Center loss
Acc.
TAR@FAR
=0.001
TAR@FAR
=0.01
TAR@FAR
=0.1
Acc.
TAR@FAR
=0.001
TAR@FAR
=0.01
TAR@FAR
=0.1
0.991 0.976 0.992 0.998 0.997 0.996 0.997 0.998
0.985 0.921 0.980 0.999 0.999 0.999 1.0 1.0
+ 0.991 0.972 0.992 0.999 0.998 0.997 0.998 0.999
Same Diff
36,015 36,015
13,650 13,650
+ 49,665 49,665

19. 카카오의 얼굴 인식
Data + loss Acc.
TAR@FAR
=0.001
VGGFace2 + Softmax 0.972 0.892
Kakao Dataset + Softmax 0.991 0.972
Kakao Dataset + Softmax + centerloss
(Ours)
0.998 0.997
요약
- 한국인 성능
- 서양인 + 한국인 성능
Data + loss Acc.
TAR@FAR
=0.001
VGGFace2 + Softmax 0.907 0.560
Kakao Dataset + Softmax 0.985 0.921
Kakao Dataset + Softmax + centerloss
(Ours)
0.999 0.997
43.7%p
10.5%p

20. 카카오의 얼굴 인식
이게 끝?
- No
- 모으고, GT 찍고, 성능 높이고,
- 또 모으고, 또 GT 찍고, 성능 높이고,
- (자동화 하고), 성능 높이자.

21. 카카오의 얼굴 인식
서비스
- 다음 라이브픽

22. 카카오의 얼굴 인식
서비스
- 연내 API 오픈 계획

23. 카카오의 얼굴 인식
서비스
- 연내 API 오픈 계획

24. 참고할 사이트
1. https://github.com/davidsandberg/facenet/wiki/Training-
using-the-VGGFace2-dataset
- Tensorflow
- VGGFace2 학습
- LFW : 99.6%
2. https://github.com/deepinsight/insightface
- mxnet
- Angular classification
- MSCeleb-1M 학습
- LFW : 99.8%

25. Thank you.