6. Why (B) is Better?
Climbing sunglasses
Climbing shoes
How about
climbing gloves?
7. How to Choose the Most Relevant Advertisement?
• may be easy to find, if a image has correct tags.
• If so, how to tag millions of images in fast, cost-efficient
way?
• Machine Learning may save your life
9. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공
10. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공
21. Amazon Fraud Detector
기계 학습을 사용하여 온라인 사기를 대규모로 실시간으로 쉽게 감지 할 수
있는 사기 탐지 서비스
사전 구축 된 사기
탐지 모델 템플릿
맞춤형 사기 탐지
모델 자동 생성
아마존 내부 경험을
통한 다양한 패턴
Amazon
SageMaker와의 통합
과거 평가 및 탐지
로직 검토 통합
24. Amazon Personalize: 고객 사례
상품 클릭률 15%
https://aws.amazon.com/ko/solutions/case-studies/brandi/
25. AI Services 한 번에 정리하기
• Human-like
• 보기(Vision) – Rekognition
• 듣기 및 말하기(Speech)
o Polly(Text-To-Speech)
o Transcribe(Speech-To-Text)
o Transcribe Medical
• 읽기(Text)
o Comprehend
o Comprehend Medical
o Textract
• Common Applications
• 예측 – Forecast
• 추천 - Personalize
• 검색 – Kendra
• 채팅 – Lex
• 고객 센터 – Contact Lens
• 사기 탐지 – Fraud Detector
• 개발자 도구 – Code Guru
31. Option 1- Build A Rule Engine
Age Gender Purchase
Date
Items
30 M 3/1/2017 Toy
40 M 1/3/2017 Books
…. …… ….. …..
Input Output
Age Gender Purchase
Date
Items
30 M 3/1/2017 Toy
…. …… ….. …..
Rule 1: 15 <age< 30
Rule 2: Bought Toy=Y,
Last Purchase<30 days
Rule 3: Gender = ‘M’,
Bought Toy =‘Y’
Rule 4: ……..
Rule 5: ……..
Human
Programmer
32. Option 2 - Learn The Business Rules From Data
Learning
Algorithm
Model
Output
Historical Purchase Data
(Training Data)
Prediction
Age Gender Items
35 F
39 M Toy
Input - New Unseen Data
Age Gender Purchase
Date
Items
30 M 3/1/2017 Toy
40 M 1/3/2017 Books
…. …… ….. …..
33. We Call This Approach Machine Learning
Learning
Algorithm
Model
Output
Historical Purchase Data
(Training Data)
Prediction
Age Gender Items
35 F
39 M Toy
Input - New Unseen Data
Age Gender Purchase
Date
Items
30 M 3/1/2017 Toy
40 M 1/3/2017 Books
…. …… ….. …..
Rule 1: 15 <age< 30
Rule 2: Bought Toy=Y,
Last Purchase<30 days
Rule 3: Gender = ‘M’,
Bought Toy =‘Y’
Rule 4: ……..
Rule 5: ……..
Human
Programmer
35. Machine: 96.9%
Wheel: 95.5%
Bracket: 80.3%
Prop shaft mid
bearing
Clutch
pressure plate
Plant: 99.2%
Corn: 95.3%
Food: 95.3%
Vegetable: 95.3%
Sweet Corn Field Corn
Amazon Rekognition Custom Labels
고객이 직접 데이터 입력을 통한 고유 객체 및 장면을 감지 할 수 있는 맞춤형
이미지 분석 기능 제공
일반적인 식별 특화된 식별
37. A2I를 사용하면 기계 학습 워크 플로우에서 사람이 직접 검토를 쉽게
구현하여 복잡한 결정의 정확성, 속도 및 규모 향상 가능
Amazon Augmented AI (A2I)
클라이언트에서
데이터 전송
AWS AI 서비스나 맞춤형
모델이 예측 생성
S3에 결과 저장
1 2
4 낮은 신뢰도 예측은 사람을
통해 작업하기 위해 전달
3
높은 신뢰도의 예측이 클라이언트
애플리케이션에 바로 반환
6
Amazon Rekognition
Amazon Textract
5 A2I 답변 통합 알고리즘을
사용하여 통합된 리뷰
클라이언트
어플리케이션
39. Sent For Human Review: Amazon Textract
작업자(Worker)가 잘못된 철자를 수정
40. Bounding boxes
Image classification Semantic segmentation
Text classification
Custom(25 Templates)
Named entity recognition
• Key point
• Line
• Instance Segmentation
Label Verification
Video LIDAR 3D Point Cloud
Amazon SageMaker Ground Truth
기계 학습용 훈련 데이터를 대규모로 간편하게 레이블링
41. Amazon SageMaker Ground Truth
Auto-labeling 을 이용해서 최대 70%까지 비용 절감
Automatic
annotations
Raw data Human
annotations
Training data
Human
annotations
High Confidence
Low
Confidence
45. Machine Learning is like this
Learning
Algorithm
Model
Output
Historical Purchase Data
(Training Data)
Prediction
Age Gender Items
35 F
39 M Toy
Input - New Unseen Data
Age Gender Purchase
Date
Items
30 M 3/1/2017 Toy
40 M 1/3/2017 Books
…. …… ….. …..
Rule 1: 15 <age< 30
Rule 2: Bought Toy=Y,
Last Purchase<30 days
Rule 3: Gender = ‘M’,
Bought Toy =‘Y’
Rule 4: ……..
Rule 5: ……..
Human
Programmer
46. Typical Machine Learning Process
Collect, prepare and
label training data
Choose and
optimize
ML algorithm
Train and
tune ML models
Set up and
manage
environments
for training
Deploy models
in production
Scale and manage
the production
environment
1
2
3
47. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공
48. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공
53. Amazon SageMaker Studio
기계 학습 모델 개발 및 배포를 위한 최초의 완전 통합 개발 환경 (IDE)
코드 작성 없이
데이터를 가지고
자동 모델 생성
SageMaker
Autopilot
코드 의존성 추적
없이 확장 가능한
노트북 공유
SageMaker
Notebooks
수천 개의 모델
실험을 구성,
추적 및 비교
SageMaker
Experiments
오류 자동 디버깅 및
실시간 오류 경보
SageMaker
Debugger
모델 모니터링 및
고품질 유지
SageMaker
Model Monitor
59. 개발자가 몇 초 만에 ML 노트북을 가동 후 한 번의 클릭으로 공유 할 수 있는
새로운 개발 환경 제공
Amazon SageMaker Notebooks
직원 자격 증빙으로 바로
개발 환경 접근 가능
관리자가 손쉽게 권한 및
접근 제어 가능
보안성 높은 완전
관리형 서비스
손쉬운 협업
환경 제공
클릭 한번으로
URL기반 공유 가능
싱글 사인온 (SSO)을
통한 손쉬운 접근
컴퓨팅 리소스 없이
서버리스 환경
별도의 설정이나
구동 불필요
62. 대규모 실험 추적 최상 결과 시각화 Python SDK & API 빠르게 반복 가능
실험 및 사용자의
매개 변수 및 측정
항목 추적
빠른 실험 구성
팀, 목표, 가설에
의해 구성
각 실험 간 시각화
및 비교
API를 사용하여 맞춤
측정 항목을
기록하고 모델 추적
반복 훈련을 통한
고품질 모델 개발
Amazon SageMaker Experiments
기계 학습 모델 훈련 실험을 구성, 추적 및 평가하는 완전 관리 서비스
63. mnist_experiment = Experiment.create(
experiment_name="mnist-hand-written-digits-classification",
description="Classification of mnist hand-written digits",
sagemaker_boto_client=sm)
cnn_trial.add_trial_component(tracker.trial_component)
cnn_trial = Trial.create(
trial_name=trial_name,
experiment_name=mnist_experiment.experiment_name,
sagemaker_boto_client=sm,
)
with Tracker.create(display_name="Preprocessing",
sagemaker_boto_client=sm) as tracker:
tracker.log_parameters({
"normalization_mean": 0.1307, "normalization_std": 0.3081,
})
tracker.log_input(name="mnist-dataset", media_type="s3/uri", value=inputs)
Tracker
생성
Experiment
생성
Trial 생성
estimator.
fit()
66. 자동 데이터
분석 기능
필수 훈련
데이터 캡처
자동 오류
감지 기능
알림에 의한
생산성 향상
시각적 분석 및
디버깅
코드 변경 없이 데이터
분석 및 디버깅
훈련 시 다양한 로그를
자동으로 저장
규칙에 따라 오류
자동 감지
알림 기반 수정
조치 수행
SageMaker Studio와
연계 가능
Amazon SageMaker Debugger
코드 변경없이 실시간으로 모델 훈련 실행 과정의 데이터 캡처 및 분석을
자동화하여 훈련 과정에 대한 완벽한 통찰력 제공
69. Amazon SageMaker Multi-model Endpoints
여러 모델을 호스팅 할 수 있는 endpoint를 제공함으로써 호스팅 비용을
절감 시켜주는 서비스
학습된 모델을
Amazon S3에 저장
모델을 쉽게
배포 및 관리
단일 엔드포인트에서
모든 모델 제공
Endpoint에 여러
모델 배포
동일한 엔드
포인트에서 여러
모델을 동시에 호출
대상 모델 호출
트래픽을 기준으로
관리되는 메모리
자동 메모리 처리
엔드포인트 및
인스턴스 활용도 향상
비용 대폭 절감
72. 자동 데이터 수집 지속적 모니터링 CloudWatch 통합
Endpoint에서
배포한 모델 관련
데이터 자동 수집
CloudWatch
알림을
기반으로 수정
작업 자동화
시각적 데이터 분석
사전 정의 기준에 따라
모니터링 일정을
정의하고 품질 변화 감지
SageMaker
Studio에서 모니터링
결과, 데이터 통계
시각화 및 통합
규칙에 따른 유연성
내장 규칙을 사용한
데이터 드리프트 감지
혹은 사용자 정의 분석을
위한 고유 규칙 작성
Amazon SageMaker Model Monitor
모델을 지속적으로 모니터링하고 시간에 따라 모델 성능을 저하시킬 수 있는
편차를 감지하고 수정 조치를 취하는 서비스
76. Amazon SageMaker Studio
기계 학습 모델 개발 및 배포를 위한 최초의 완전 통합 개발 환경 (IDE)
학습 모델
구축 및 협업
SageMaker
Notebooks
학습 모델 실험
구성, 추적 및
비교
SageMaker
Experiments
문제 분석,
탐지 및 실시간
오류 경보
SageMaker
Debugger
One-click 배포 ,
모델 모니터링 및
고품질 유지
SageMaker
Model Monitor
79. Building a Visual Search Application
https://aws.amazon.com/ko/blogs/machine-learning/building-a-visual-search-application-with-
amazon-sagemaker-and-amazon-es/
80. As-Is: Automatic Image Tagging
Amazon Kinesis
Data Streams
Client AWS Lambda
Amazon S3 bucket
with images
Amazon API Gateway
Amazon Elasticsearch
Service
Amazon Rekognition
81. To-Be: Automatic Image Tagging + Visual Search
Amazon Kinesis
Data Streams
Client AWS Lambda
Amazon S3 bucket
with images
Amazon API Gateway
Amazon SageMaker
Amazon Elasticsearch
Service
Notebook
Model
Models
bucket
SageMaker
Endpoint
Train
83. 자동 모델 생성
자동 모델 튜닝을 통한
ML 모델 자동 생성
추천 및 최적화 기능
리더 보드 확보 및
모델 개선 계속
Amazon SageMaker Autopilot
기존 AutoML의 단점을 극복하기 위해 모델 제어 및 가시성 확보를 기반으로
자동 모델 생성 및 관리 서비스
가시성 및 데이터 제어
모델에 맞는 노트북
소스 코드
빠르게 시작 가능
84. How Amazon SageMaker Autopilot Works
https://github.com/aws/amazon-sagemaker-examples/tree/master/autopilot
85.
86. Generate the Codes and Notebooks for you
Amazon SageMaker Autopilot Data
Exploration
Amazon SageMaker Autopilot Candidate
Definition Notebook
87. “내가 더 멀리 보았다면 이는
거인들의 어깨 위에 서 있었기
때문이다.”
- 아이작 뉴턴
If You Still Feel Machine Learning Difficult
88. Classification
• Linear Learner
• XGBoost
• KNN
Working with Text
• BlazingText
• Supervised
• Unsupervised
Recommendation
• Factorization Machines
Forecasting
• DeepAR
Topic Modeling
• LDA
• NTM
Amazon SageMaker에서 제공하는 Built-in Algorithms
Sequence Translation
• Seq2Seq
Clustering
• KMeans
Feature Reduction
• PCA
• Object2Vec
Anomaly Detection
• Random Cut Forests
• IP Insights
Computer Vision
• Image Classification
• Object Detection
• Semantic Segmentation
Regression
• Linear
Learner
• XGBoost
• KNN
https://docs.aws.amazon.com/sagemaker/latest/dg/algos.html
90. Wrap-up Our Business Problem
1. How to choose the most relevant advertisement?
2. How to tag millions of images in fast, cost-efficient way?
3. How to customize labels?
4. How to build our own ML model?
5. but, is it fast and costly enough?
91. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공
92. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공
96. How cost effective are GPU instances for inference?
Smaller P2 instances are more effective for real time inference with small batch sizes
97. Amazon Elastic Inference
기계 학습 추론 비용 최대 75% 절감
Key Features
• Integrated with Amazon EC2,
ECS, and Amazon SageMaker
• Support for TensorFlow,
Apache MXNet, and
ONNX, with PyTorch coming
soon
• Single and mixed-precision
operations
98. Amazon EC2 Inf1 Instances
클라우드에서 가장 빠르고 저렴한 기계 학습 추론용 인스턴스로서 AWS에서
설계 한 최초의 맞춤형 ML 칩인 AWS Inferentia 기반
Inf1은 GPU 기반 G4 인스턴스와 비교하여 최대 3 배 더 높은 처리량과 추론 당 비용을 최대 40 % 절감
99. ML inference deployment in Amazon EC2
커스텀 칩
EC2 Inf1 인스턴스
GPU 기반
EC2 G4 인스턴스
CPU 기반
EC2 C5 인스턴스
일반적인 ML 프레임 워크를
활용하는 애플리케이션
CUDA, CuDNN, TensorRT
라이브러리에 접근이 필요한
어플리케이션
성능에 민감도가 상대적으로
낮은, 작은 모델들
AWS Inferentia 제공
NVIDIA T4 GPUs 기반 Amazon
EC2 G4 인스턴스
AVX-512/VNNI 명령어세트를
지원하는 Intel Skylake CPUs
사용
• 클라우드에서의 ML 추론에
가장 적합한 가성비를 가짐
• G4 인스턴스와 비교해서
추론 당 40% 더 저렴하고,
3배 더 높은 처리량 제공
바로 사용 가능! 이미 출시됨 이미 출시됨
F
e
a
t
u
r
i
n
g
A
W
S
I
n
f
e
r
e
n
t
i
a
102. VISION SPEECH TEXT SEARCH CHATBOTS PERSONALIZATION FORECASTING FRAUD DEVELOPMENT CONTACT CENTERS
Ground
Truth
ML
Marketplace
Neo
Augmented
AI
Built-in
algorithms
Notebooks Experiments
Model
training &
tuning
Debugger Autopilot
Model
hosting
Model Monitor
Deep Learning
AMIs & Containers
GPUs &
CPUs
Elastic
Inference
Inferentia FPGA
Amazon
Rekognition
Amazon
Polly
Amazon
Transcribe
+Medical
Amazon
Comprehend
+Medical
Amazon
Translate
Amazon
Lex
Amazon
Personalize
Amazon
Forecast
Amazon
Fraud Detector
Amazon
CodeGuru
AI SERVICES
ML SERVICES
ML FRAMEWORKS & INFRASTRUCTURE
Amazon
Textract
Amazon
Kendra
Contact Lens
For Amazon Connect
SageMaker Studio IDE
Amazon SageMaker
DeepGraphLibrary
모든 개발자를 위한 다양한 인공 지능 도구 제공
103. AI/ML Stack을 활용한 문제 해결 경로
문제 해결에 가장
적합한 AI 서비스 선택
문제 해결을 위한
ML 모델 개발
ML 모델 배포 및
모니터링
서비스 개발
문제
정의
AI 서비스
활용
Business Problem –
ML problem framing
SageMaker
활용
서비스
출시
104. References
• Amazon Rekognition과 Elasticsearch를 이용한 이미지 자동 태깅 시스템
o https://tinyurl.com/kxydd2wn
• Building a visual search application with Amazon SageMaker and Amazon ES
o https://aws.amazon.com/ko/blogs/machine-learning/building-a-visual-search-application-
with-amazon-sagemaker-and-amazon-es/
• Visual Search with
o https://thomasdelteil.github.io/VisualSearch_MXNet/
• Amazon Textract를 이용한 명함 자동 인식 및 인맥 추천 서비스 개발 하기
o https://tinyurl.com/36fd68c5
o https://tinyurl.com/yf4f7nue