Diese Präsentation wurde erfolgreich gemeldet.
Die SlideShare-Präsentation wird heruntergeladen. ×

논문리뷰: Deep Neural Networks for YouTube Recommendations

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige

Hier ansehen

1 von 26 Anzeige

논문리뷰: Deep Neural Networks for YouTube Recommendations

Herunterladen, um offline zu lesen

유튜브의 추천엔진을 뉴럴넷으로 어떻게 개선시켰는지에 대한 논문입니다.

유튜브의 추천엔진을 뉴럴넷으로 어떻게 개선시켰는지에 대한 논문입니다.

Anzeige
Anzeige

Weitere Verwandte Inhalte

Diashows für Sie (20)

Ähnlich wie 논문리뷰: Deep Neural Networks for YouTube Recommendations (20)

Anzeige

Aktuellste (20)

Anzeige

논문리뷰: Deep Neural Networks for YouTube Recommendations

  1. 1. DeepNeuralNetworks forYouTubeRecommendations (2016) Paul Covington et al. 발표: 곽근봉
  2. 2. © NBT All Rights Reserved. 이논문을선정한이유 출처 : http://www.dailysecu.com/?mod=news&act=articleView&idxno=28265
  3. 3. © NBT All Rights Reserved. 이논문을선정한이유 출처 : http://biz.chosun.com/site/data/html_dir/2017/05/10/2017051001161.html
  4. 4. © NBT All Rights Reserved. 이논문을선정한이유 출처 : http://m.post.naver.com/viewer/postView.nhn?volumeNo=10452898
  5. 5. © NBT All Rights Reserved. 참고 자료 최근우님의 블로그 http://keunwoochoi.blogspot.kr/2016/09/deep-neural-networks-for-youtube.html 논문 저자의 강연 https://www.youtube.com/watch?v=WK_Nr4tUtl8&t=833s
  6. 6. © NBT All Rights Reserved. 개요 실제서비스에적용하여성능을개선시킨추천엔진 • Candidate Generation Model • Ranking Model • A/B 테스트를 통한 실제 환경 개선
  7. 7. © NBT All Rights Reserved. 실제상황에서겪게되는이슈들 • Scale : 엄청난 양의 데이터와 제한된 컴퓨팅 파워 • Freshness : 새로운 컨텐츠의 빠른 적용 • Noise : 낮은 meta data 퀄리티, Implicit Feedback 위주 데이터
  8. 8. © NBT All Rights Reserved. 모델설명 Candidate Generation Model : High-Recall이 목표 Ranking Model : 다양한 다른 소스들의 적용을 통한 성능 개선
  9. 9. © NBT All Rights Reserved. Candidate Generation
  10. 10. © NBT All Rights Reserved. Embeddings • Video Embedding과 Search Token Embedding • Dense Vector (CBOW에서 영감을 받음) • Backpropagation을 통해서 embedding도 함께 학습
  11. 11. © NBT All Rights Reserved. Combiner • 고정된 사이즈의 Input으로 바꿈 • 다양한 방법을 사용해봤는데 average가 성능이 제일 좋음
  12. 12. © NBT All Rights Reserved. Additional Features • 단순하게 옆에 전부 concatenate 해버림
  13. 13. © NBT All Rights Reserved. ReLU Stack • Fully connected “Tower” • Output으로 user embedding이 나온다
  14. 14. © NBT All Rights Reserved. Softmax Prediction • 각 video별 가중치가 output으로 나온다 • Negative Sampling
  15. 15. © NBT All Rights Reserved. Serving • 상위 N개의 비디오 • Dot-product space에서 가 장 가까운 아이템을 찾음 • Nearest Neighbor 알고리즘 간에 성능차이는 없음
  16. 16. © NBT All Rights Reserved. “ExampleAge”Feature 영상의나이가엄청나게중요! • Freshness is very important • 히스토리 데이터를 기반으로 학습을 시키면 오래된 아이템들이 더 추천을 많이 받는 현상 • “영상의 나이”를 추가 feature로 넣 어보자!
  17. 17. © NBT All Rights Reserved. 그외실제환경을고려한요소들 • 모든 비디오 시청이력을 확인해야 bias가 없다 • 학습에 사용할 이용자별 영상 횟수를 fix해야 heavy user에 치우치치 않는다 • 새로운 검색 쿼리에 즉시 추천엔진을 반영하지 않는다 • 비대칭적인 감상 패턴을 적용해서 학습 시킨다
  18. 18. © NBT All Rights Reserved. 실험셋팅및결과 • Embedding size : 256 • Video : 100만개 • 검색어 : 100만개 • 인당최대 개수 : 50개
  19. 19. © NBT All Rights Reserved. Ranking
  20. 20. Embeddings • 앞의 모델과 같은 ID space, 같은 embedding을 사용한다 • continuous feature들은 normalize해서 사용한다
  21. 21. © NBT All Rights Reserved. RankingModel
  22. 22. © NBT All Rights Reserved. ModelingExpectedWatchTime • 추천된 영상을 얼마나 오래동안 볼지 예측하는 것을 목표로 함 • 감상시간은 안봤으면 0, 봤으면 본 시간을 값으로 넣는다 • 감상 시간으로 가중치를 줌 (Weighted logistic regression)
  23. 23. © NBT All Rights Reserved. FeatureEngineering 딥러닝이긴하지만.. • 각 feature들을 어느정도 가공해줘야 한다 • 특히나 시간 연속성을 가진 데이터들은 summarizing이 필요 • 사용자 이용패턴, 추천했는데 보지않았던 영상 등도 활용 • 가장 좋은 feature는 비슷한 비디오에 대한 유저의 반응
  24. 24. © NBT All Rights Reserved. 실험셋팅및결과
  25. 25. © NBT All Rights Reserved. 결론 • 이 모델로 기존의 방법보다 성능을 많이 향상 시켰다 • 모든 것을 딥러닝으로 하기는 쉽지 않다. • “영상의 나이”가 성능을 크게 개선 시켰다 • 감상 시간별로 가중치를 주는 것도 개선점이 컸다
  26. 26. © NBT All Rights Reserved. 감사합니다.

×