[오픈소스컨설팅] AWS re:Invent 2018 기계학습(ML)부분 후기

1. re:Invent 2018 aws 리인벤트 후기 2018.12.17

2. - Internal Use Only - AWS re:Invent 2018 후기 - 7개의 캠퍼스 - 50,000명 이상의 참가자 - 여러 세션 타입 (Hands-on-Lab, Spotlight Lab, Keynote, Boot Camps, Chalk Talk, Workshops, Overflows, Builders Fair etc..) NOV. 26 – 30, 2018 @ Las Vegas, NV

3. - Internal Use Only - AWS re:Invent 2018 후기 - 3200개가 넘는 세션들 (database, security, enterprise, machine learning, serverless, compute등의 세분화된 토픽) - 순수 세션만 650개 (세분화된 토픽 중 ML – 110여개, Serverless – 50여개 Containers – 50여개)

4. - Internal Use Only - AWS re:Invent 2018 후기 사진 참고 : https://www.geekwire.com/2017/amazon-web-services-ceo-andy-jassy-lead-uber-nope-not-going-happen/

5. - Internal Use Only - AWS re:Invent 2018 후기

7. - Internal Use Only - AWS re:Invent 2018 후기 https://tech.osci.kr/2018/12/06/50693623/

9. - Internal Use Only - AWS re:Invent 2018 후기 What do builders want? I Want It All -Queen : AWS 환경으로 빠르고 쉽게 옮길 수 있도록 새로운 데이터 전송 도구 및 스토리지 서비스 I’ve Been Waiting -Mattew Sweet : AWS 환경으로 이전함에 있어 조금 더 자동화에 초점을 둔 서비스들 Black Bird -The Beetles (Freedom) : 기존 DB의 제약조건 을 폐지하고, 작업부하에 적합한 툴을 선택할 수 있도록 Satisfy Me -Elvis Presley : 사용자들은 실제 사용가능 한 AI, ML 서비스들을 원했는데 이런 피드백을 통해 ML관련된 서비스들 출시 Should I Stay Or Should I Go -The Clash : 생태계를 확장하기 위하여 새로운 하이브리드 클라우드 서비스를 채택하였습니다. - VMware와 파트너쉽 확장

10. - Internal Use Only - AWS re:Invent 2018 후기 Sessions ML, AI Serverless Containers ETC

12. - Internal Use Only - AWS re:Invent 2018 후기 AWS Inferentia Amazon Elastic Inference Amazon SageMaker Ground Truth Amazon Market place to ML Amazon SageMaker Reinforcement Learning Amazon Deep Racer Amazon Market place to ML Amazon SageMaker Ground Truth

13. - Internal Use Only - AWS re:Invent 2018 후기 AWS Inferentia Amazon Elastic Inference Amazon SageMaker Ground Truth Amazon Market place to ML Amazon SageMaker Reinforcement Learning Amazon Deep Racer Amazon SageMaker Ground Truth Amazon Market place to ML

14. - Internal Use Only - AWS re:Invent 2018 후기 Inference? - 추론에 관련한 것 - 알고있는 사실에서 결론을 도출 하는 것

15. - Internal Use Only - AWS re:Invent 2018 후기 AWS Inferentia 저비용으로 고성능을 제공하도록 설계된 기계학습 추론 칩

16. - Internal Use Only - AWS re:Invent 2018 후기 CPU GPU 사진 참고 : http://biz.chosun.com/site/data/html_dir/2016/07/24/2016072400125.html

17. - Internal Use Only - AWS re:Invent 2018 후기 CPU GPU

18. - Internal Use Only - AWS re:Invent 2018 후기 사진 참고 : https://perspectives.mvdirona.com/2018/11/aws-inferentia-machine-learning-processor/ - 32 TOPs(초당 테라 연산) – 512 TOPs의 추론 량 제공

19. - Internal Use Only - AWS re:Invent 2018 후기 - 32 TOPs(초당 테라 연산) – 512 TOPs의 추론 량 제공 Amazon Elastic Inference EI를 이용하여 응용프로그램에 맞는 CPU선택 후 추론에 필요한 GPU 가속화 양을 별도로 구성할 수 있습니다.

20. - Internal Use Only - AWS re:Invent 2018 후기 - 32 TOPs(초당 테라 연산) – 512 TOPs의 추론 량 제공

21. - Internal Use Only - AWS re:Invent 2018 후기 - 32 TOPs(초당 테라 연산) – 512 TOPs의 추론 량 제공 CPU C5.9xlarge (36 vCPUs / 71GiB MEM) 시간당 $1.53 > 단일추론 호출 400밀리 초 GPU P2.xlarge (4 vCPUs / 61GiB MEM) 시간당 $0.90 > 단일추론 호출 180밀리 초 - CPU 인스턴스 선택 후 GPU 가속화 양을 별도로 구성 가능

23. - Internal Use Only - AWS re:Invent 2018 후기 사진 참고 : https://www.techjini.com/blog/machine-learning/ https://adeshpande3.github.io/Deep-Learning-Research-Review-Week-2-Reinforcement-Learning

24. - Internal Use Only - AWS re:Invent 2018 후기 Supervised 사진 참고 : https://medium.com/mlrecipies/machine-learning-basics-supervised-learning-theory-part-1-d910b96d56fc

25. - Internal Use Only - AWS re:Invent 2018 후기 Unsupervised 사진 참고 : https://towardsdatascience.com/clustering-based-unsupervised-learning-8d705298ae51

26. - Internal Use Only - AWS re:Invent 2018 후기 사진 참고 : https://www.slideserve.com/sumana/reinforcement-learning Reinforcement

27. - Internal Use Only - AWS re:Invent 2018 후기 aws marketplace? 파트너와 판매자가 aws 클라우드에서 실행되는 소프트웨어 솔루션을 쉽게 제공 할 수 있게 해주는 판매채널

28. - Internal Use Only - AWS re:Invent 2018 후기 Amazon SageMaker Ground Truth 능동학습을 선택하여 입력 데이터들의 라벨링을 자동화 해주는 서비스 - 능동학습 : 사람이 직접 레이블을 지정해야 하는 데이터와 시스템에서 레이블을 지정할 수 있는 데이터를 식별하는 기계학습

30. - Internal Use Only - AWS re:Invent 2018 후기 데이터 세트에 라벨을 지정하는 단계 1. S3에 데이터 저장 2. 라벨 작업 할 인력 선택 3. 라벨작업

31. - Internal Use Only - AWS re:Invent 2018 후기 데이터를 S3버킷에 저장 1. 데이터 세트의 매니패스트 파일을 만듭니다. 2. 매니패스트 파일과 해당 이미지를 S3로 복사합니다 데이터 세트에는 3548장의 사진 / 레이블링은 test로 10개 자동차를 구별하는 기계학습 – 자동차 레이블링

32. - Internal Use Only - AWS re:Invent 2018 후기 라벨작업 할 인력 생성 1. 인증을 통해 새로운 그룹을 만들어서 작업을 선택할 수 있습니다. 2. 혹은 이미 인증이 된 팀으로 지정할 수 있습니다. 자동차를 구별하는 기계학습 – 자동차 레이블링

33. - Internal Use Only - AWS re:Invent 2018 후기 라벨작업 만들기 1. 매니페스트 파일과 데이터 세트의 위치를 선택해 줍니다. 2. 전체 데이터를 선택할지 혹은 SQL 쿼리를 작성하여 필터링도 가능합니다. 3. 이미지 선택 타입을 선택합니다. 자동차를 구별하는 기계학습 – 자동차 레이블링

34. - Internal Use Only - AWS re:Invent 2018 후기 라벨작업 만들기 4. 라벨링작업을 할 팀과, 인원을 선택해 줍니다 (test용 이기에 혼자서 다 해보겠습니다.) 자동차를 구별하는 기계학습 – 자동차 레이블링

35. - Internal Use Only - AWS re:Invent 2018 후기 이미지에 라벨지정 1. 자동차 이미지에 맞춰서 사격형을 지정해 줍니다 자동차를 구별하는 기계학습 – 자동차 레이블링

36. - Internal Use Only - AWS re:Invent 2018 후기 데이터세트를 이용하여 모델 교육 이러한 정보들을 가지고 기계를 교육해 주면 됩니다. 자동차를 구별하는 기계학습 – 자동차 레이블링

39. - Internal Use Only - AWS re:Invent 2018 후기 https://www.mturk.com/

41. - Internal Use Only - AWS re:Invent 2018 후기 Amazon SageMaker Reinforcement Learning SageMaker에 내장된 강화학습 알고리즘 - 많은 양의 데이터가 없는 모델을 훈련할 때 용이

42. - Internal Use Only - AWS re:Invent 2018 후기 SageMaker RL 구성요소 - 다양한 프레임 워크 지원 (TensorFlow, MxNet) - 에이전트와 환경의 상호작용을 도와주는 툴킷추가 사진 참고 : https://docs.aws.amazon.com/sagemaker/latest/dg/reinforcement-learning.html

43. - Internal Use Only - AWS re:Invent 2018 후기 사진 참고 : https://nervanasystems.github.io/coach/dashboard.html

44. - Internal Use Only - AWS re:Invent 2018 후기 자율주행 강화학습(RL)을 위한 소형 경주용 자동차 Amazon Deep Racer

45. - Internal Use Only - AWS re:Invent 2018 후기 클라우드 기반 3D 경주 시뮬레이터 - 뒤에 달린 카메라를 통해 방향 결정, 엑셀레이터가 내장되어 직진코스에서 속도조절

49. - Internal Use Only - AWS re:Invent 2018 후기 https://tech.osci.kr/2018/12/06/50693623/

50. - Internal Use Only - "It isn't sufficient just to want you've got to ask yourself what you are going to do to get the things you want"

51. - Internal Use Only - AWS re:Invent 2018 후기 참고자료 CPU, GPU 그림 이미지 : http://biz.chosun.com/site/data/html_dir/2016/07/24/2016072400125.html 머신러닝 알고리즘 : http://solarisailab.com/archives/1785 https://www.techjini.com/blog/machine-learning/ Amazon SageMaker : https://aws.amazon.com/sagemaker/ Amazon SageMaker GroudTruth : https://aws.amazon.com/blogs/aws/amazon-sagemaker-ground-truth-build-highly-accurate-datasets-and-reduce-labeling-costs- by-up-to-70/ Amazon SageMaker RL : https://docs.aws.amazon.com/sagemaker/latest/dg/reinforcement-learning.html DeepRacer 영상 : https://www.youtube.com/watch?v=hXRR2-jQdGI https://youtu.be/swusfj91Kis AWS DeepRacer 인센티브 플랜 - https://docs.aws.amazon.com/deepracer/latest/developerguide/deepracer-train-models-define-reward-function.html

52. 감사합니다