[NUGU Conference 2018] 세션 B-6 : 영상인식 기술 소개
•
1 gefällt mir•597 views
음성기반 A.I. 서비스 NUGU의 영상인식 기술을 소개합니다.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Mehr von NUGU developers
Mehr von NUGU developers (20)
[NUGU Conference 2018] 세션 B-6 : 영상인식 기술 소개
- 1. 영상인식기술소개 영상인식기술 Cell 박병관 리더
- 3. SKTMLInfra(GPUcluster) SKTOpenCollaboration PublicDB 14,197,122 SKTDB (domain-specific) HumanBody AsianFaces2) (ID/Gender/Age) 0.7mil 18,000 0.9mil (image) (video) (image) Contents(DB) GPU(Hardware) OpenSource(Algorithm) DeepLearning촉매제
- 9. Framework ms/frame TFLite 980ms ACL(NEON) 473ms ACL(OpenCL) 368ms ARMCortexCPU및ARMMaliGPU를위한lowlevelS/W함수모음 H/W가속지원방식이다른라이브러리보다우수 -백엔드Lib.H/W가속사용 -QualcommSNPE -NNPACK(forExynos) -NNPACK의낮은성능문제 -최근ACL백엔드수용 -NEON내장함수이용가속 -ARMCPU에서좋은성능 -GPU가속지원안함 -안드로이드OS기반가속 -NNAPI가8.1이상부터지원 -지원기능의부족 -NEON/OpenCL기반의 직접구현보다낮은성능 -NEON내장함수직접구현 -OpenCL기반GPU가속구현 -플랫폼구애가적음 -다양한lowlevel함수지원으로 시스템전체구현에유리 -NNAPI의백앤드로ACL협업 얼굴검출:ARMComputeLibrary
- 10. Model AP SSDwithInceptionV2(800x600,Teacher) 0.96 Ours(320x240,Student) 0.76 Distil.Ours 0.81 TeacherNetwork의가르침을이용하여작은네트워크의성능개선 얼굴검출:DistillationMethod ErrwithGT ErrwithTeacher TotalLoss Back Propagation Distillation Training EDNN TeacherNET EDNN prediction Teacher prediction GT
- 11. 결과
- 15. Activation feature and feature distance -얼굴에서활성화되는Feature정도에따라Feature간Distance분포가상이함 영유아: Activated feature 수가작음 ○Short inter-class distance 성인: Activated feature 수가 상대적으로 많음 ○Long inter-class distance -Unique한기준으로동일인여부판단시ActivationFeature가적은얼굴의정확도가낮아짐 SKT-Family Loss: Activation Feature를 최대화하긴위한Loss -ActivatedFeatureDimension의빈도확률분포와uniform분포와의KLDivergence를Loss에추가 특정 Dimension에서만 Activation되는 현상 방지 -상대적으로낮은정확도를보이는영유아계층의성능향상(약2.5%,자체testDB) 얼굴인식:FamilyLoss
- 17. 여러사진속에서검출된여러명의얼굴중유사한얼굴의Grouping이목적 -얼굴검출→얼굴인식(Feature추출)→FaceScore(얼굴선택)→FaceClustering Challenge -다수의얼굴이지속입력시증가가능한Clustering을하는것 Approach 항상성 유지: 형성된 Cluster의 ID가 유지되어야 함 성능 유지: 전체 얼굴에 대한 Clustering(Batch Clustering)과 대등한 성능 -소량의BatchClustering기반IncrementalClustering 얼굴인식:FaceClustering
- 18. IncrementalClustering -초기Cluster를새로운입력기반으로증가시키는방식 -초기Cluster가유지되기때문에항상성이유지됨 Procedure -Initial Clustering 초기의 소량 Sample에 대해 Batch Clustering 실행 -Identification(Cluster Based, Every Sample) 새로운 입력에 대해 기존 Cluster 포함 여부 판단 -ClusterUpdate(TriggeredExecution) 입력 순서에 의해 Identification에 실패한 Sample을 위해Re-Identification 기존 Cluster에 포함되지 않은 Sample(noise sample)을 대상으로 Batch Clustering 새롭게 형성된 Cluster와 기존 Cluster의 merge(Rank-order Merge*) Periodic Or triggered 얼굴인식:FaceClustering
- 19. Price(RGBCameravsDepthCamera) 2D,3DKeypoint 알고리즘성능및속도 다양한환경(조명,pose)에서의handDB부족 객체인식:HandPosture인식
- 20. HandPosture:학습DB
- 23. mAP reason 66.98 Baseline : One Stage (작은 손 미탐, 각도에 따른 오탐) 72.53 Data Augmentation, Class Merge, … 88.06 One Stage Two Stage, Add 20,000 crawl images 89.12 Find Best Hyper parameter (cos LR, Batch Size, …) HandPosture:Progress
- 24. HandPosture:Results 40 50 60 70 Speed(ms) vs Accuracy(mAP)Trade-off 75 80 85 90 95 77.54 80.21 81.48 86.53 89.12 Acc(mAP)
- 25. HandPosture:Results 40 50 60 70 Speed(ms) vs Accuracy(mAP)Trade-off 75 80 85 90 95 77.54 80.21 81.48 86.53 89.12 Acc(mAP) Find Optimal Model Two StageOne Stage
- 30. 상용서비스클래스209종 클래스 Event 식사,생일파티,키스,허그,번지점프등 66종 Object 하마,고슴도치,짜장면,김밥,자전거등73종 Place 워터파크,키즈카페,야구장등 장소55종 광화문,에펠탑등 랜드마크15종 장면인식:상용서비스Class&Platform
- 32. 영상인식 기술 소개