Anomaly detection su AWS:
panoramica e casi d’uso
#cloudparty

Alessandra Bilardi
Data & Automation Specialist
alessandra.bilardi@corley.it
corley.it

Amazon CloudWatch
Amazon Lookout
Amazon Kinesis
Amazon SageMaker
SOMMARIO

Anomaly detection
Business continuity (ISO 22301:2012)
la capacità di un'organizzazione di continuare a
erogare prodotti o servizi a livelli predefiniti
accettabili a seguito di un incidente
Recovery strategy
Recovery Time Objective, RTO
Recovery Point Objective, RPO
https://www.iso.org/publication/PUB100442.html

Amazon CloudWatch

Amazon Cloudwatch
Esempio: EC2 usata per alcuni consulti all’ora
Metriche: una sola, CPU Utilization
Obiettivo: essere avvisati se la EC2 è da riavviare
RTO: alcuni minuti per il riavvio
RPO: non c’è problema, basta avvisare i colleghi
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html

Anomaly detection con Amazon Cloudwatch
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Anomaly_Detection.html

Anomaly detection strategies
Service How many data Fully managed Pricing in $ per 1 run /hour /month
Amazon CloudWatch some periods 🏖🏖 0.30 per alarm

Amazon Lookout

Amazon Lookout for Vision
https://aws.amazon.com/blogs/machine-learning/build-an-anomaly-detection-model-from-scratch-with-amazon-lookout-for-vision/
Esempio: qualità del prodotto
Metriche: una o più
Obiettivo: essere avvisati se ha difetti
RTO: un secondo per recuperare la predizione
RPO: il tempo di arrivare alla stazione Pusher

Anomaly detection strategies
Service How many data Fully managed Pricing in $ per 1 run /hour /month
Amazon CloudWatch some periods 🏖🏖 0.30 per alarm
Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference

Amazon Lookout for Metrics
https://aws.amazon.com/blogs/architecture/automating-anomaly-detection-in-ecommerce-traffic-patterns/
Esempio: anomalie durante il Black Friday
Metriche: una o più
Obiettivo: essere avvisati se ci sono anomalie
RTO: controllo dei nuovi dati schedulato ogni minuto
RPO: pochi minuti per poter gestire una promozione

Amazon Lookout for Metrics
https://aws.amazon.com/blogs/architecture/automating-anomaly-detection-in-ecommerce-traffic-patterns/

Anomaly detection strategies
Service How many data Fully managed Pricing in $ per 1 run /hour /month
Amazon CloudWatch some periods 🏖🏖 0.30 per alarm
Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K
Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference

Amazon Lookout for Equipment
https://aws.amazon.com/blogs/machine-learning/improve-operational-efficiency-with-integrated-equipment-monitoring-with-tensoriot-powered-by-aws/
Esempio: manutenzione su device
Metriche: una o più
Obiettivo: essere avvisati se ci sono anomalie
RTO: controllo dei nuovi dati schedulato ogni ora
RPO: il tempo massimo per poter gestire un’azione

Amazon Lookout for Equipment
https://aws.amazon.com/blogs/machine-learning/improve-operational-efficiency-with-integrated-equipment-monitoring-with-tensoriot-powered-by-aws/

Anomaly detection strategies
Service How many data Fully managed Pricing in $ per 1 run /hour /month
Amazon CloudWatch some periods 🏖🏖 0.30 per alarm
Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K
L. for Equipment ➕ load history 🏖🏖 185 per 730 inference
Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference

Amazon Kinesis

Amazon Kinesis
https://aws.amazon.com/blogs/architecture/detect-real-time-anomalies-and-failures-in-industrial-processes-using-apache-flink/
Esempio: manutenzione su device
Metriche: una o più
Obiettivo: essere avvisati se ci sono anomalie
RTO: controllo dei nuovi dati in tempo reale
RPO: il tempo massimo per poter gestire un’azione

Amazon Kinesis
https://aws.amazon.com/blogs/architecture/detect-real-time-anomalies-and-failures-in-industrial-processes-using-apache-flink/

Anomaly detection strategies
Service How many data Fully managed Pricing in $ per 1 run /hour /month
Amazon CloudWatch some periods 🏖🏖 0.30 per alarm
Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K
L. for Equipment ➕ load history 🏖🏖 185 per 730 inference
Amazon Kinesis from start ➕ s3 🏖SQL, 🔧Flink 90 🏖, 180 🔧 per 1 app with <50GB
Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference

Amazon SageMaker

Amazon SageMaker
https://aws.amazon.com/blogs/machine-learning/anomaly-detection-with-amazon-sagemaker-edge-manager-using-aws-iot-greengrass-v2/
Esempio: manutenzione su veicoli
Metriche: una o più
Obiettivo: essere avvisati se ci sono anomalie
RTO: controllo dei nuovi dati in tempo reale
RPO: il tempo massimo per poter gestire un’azione

Amazon SageMaker
https://medium.com/slalom-data-ai/real-time-anomaly-detection-in-aws-55114e6ce27e

Amazon SageMaker
https://aws.amazon.com/blogs/machine-learning/anomaly-detection-with-amazon-sagemaker-edge-manager-using-aws-iot-greengrass-v2/
Esempio: anomalie di device remoti
Metriche: una o più
Obiettivo: poter predire le anomalie direttamente sul device
RTO: controllo istantaneo dei nuovi dati
RPO: il tempo massimo per poter gestire un’azione

Amazon SageMaker
https://aws.amazon.com/blogs/machine-learning/anomaly-detection-with-amazon-sagemaker-edge-manager-using-aws-iot-greengrass-v2/

Anomaly detection strategies
Service How many data Fully managed Pricing in $ per 1 run /hour /month
Amazon CloudWatch some periods 🏖🏖 0.30 per alarm
Lookout for Metrics ➕ load history 🏖🏖 0.75 <=1K to 0.10 >20K + 0.05 >50K
L. for Equipment ➕ load history 🏖🏖 185 per 730 inference
Amazon Kinesis from start ➕ s3 🏖SQL, 🔧Flink 90 🏖, 180 🔧 per 1 app with <50GB
Lookout for Vision ➕ load history 🏖🏖 2750 per 730 inference
Amazon SageMaker ➕ load history 🏖🔧 260 processing + inference with 20GB

Come scegliere la soluzione più adatta ?
1 Quanto tempo ci metto per
ripristinare la soluzione ?
2 Quanto tempo ho per
ripristinare la soluzione ?
3 Quali e quante metriche sono
coinvolte per rilevare
un’anomalia ?
4 Quanto tempo ho per
implementare la soluzione ?

Risorse utili
Anomaly detection con Amazon CloudWatch
https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Anomaly_Detection.html
Amazon Lookout for Metrics, for Vision & for Equipment
- https://docs.aws.amazon.com/lookoutmetrics/latest/dev
- https://docs.aws.amazon.com/lookout-for-vision/latest/developer-guide
- https://docs.aws.amazon.com/lookout-for-equipment/latest/ug
Amazon Kinesis Data Streams, Data Firehose & Data Analytics for SQL o Apache Flink app
- https://docs.aws.amazon.com/kinesis/
Anomaly detection con Amazon SageMaker
- https://docs.aws.amazon.com/sagemaker/latest/dg/algorithms-choose.html
- https://docs.aws.amazon.com/sagemaker/latest/dg/randomcutforest.html

Contatti
Per entrare in contatto con me e discutere un progetto o approfondire un tema del talk:
- contattarci su corley.it
- fare 4 chiacchiere con me dopo il talk
- prenotare una call sul QR Code che trovate sul badge

Thanks for listening.
#cloudparty