SlideShare ist ein Scribd-Unternehmen logo
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Thomas Reske, AWS Solutions Architect
Serverless Predictions at Scale
08.05.2018
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Erstellen und Ausführen
von Anwendungen
ohne sich über Server Gedanken
machen zu müssen
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
$
Keine Serververwaltung Flexible Skalierung
Automatisierte
Hochverfügbarkeit
Keine ungenutzte Kapazität
Serverlose Anwendungen bieten wesentliche Vorteile
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Prozesse rund um Maschinelles Lernen
Datenerhebung
Daten-
bereinigung und
-formatierung
Daten-
aufbereitung und
-transformation
Training
Evaluation
und
Verifikation
Integration
und
Deployment
Betrieb,
Monitoring
und Optimierung
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Prozesse rund um Maschinelles Lernen
Datenerhebung
Daten-
bereinigung und
-formatierung
Daten-
aufbereitung und
-transformation
Training
Evaluation
und
Verifikation
Integration
und
Deployment
Betrieb,
Monitoring
und Optimierung
Wie kann ich effizient
vortrainierte Modelle für
Inferenzen nutzen?
Wie kann ich schnell
skalieren?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Was überführen wir eigentlich in
den Betrieb?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Ein Vortrainiertes Modell (Pre-trained Model)...
• ... ist ein Modell, das bereits trainiert wurde, z.T. sogar in einem anderen
Kontext (auf Basis anderer Daten)
• die Modell Artefakte (Struktur, Helper Files, Parameter/Gewichte, ...)
können mit den gängigen Deep Learning Frameworks sowohl serialisiert
und gespeichert werden als auch erneut deserialisiert und geladen werden
• dies erlaubt die Möglichkeit ein Fine-Tuning der Modelle durchzuführen
(„Head-Start“ oder „Freezing“), aber auch sie für ähnliche Probleme bzw.
andere Daten anzuwenden („Transfer Learning“)
• viele Modelle sind öffentlich verfügbar, z.B. im MXNet Model Zoo
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Was fehlt?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Gibt es eine allgemeine Blaupause?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Model
Server
Model
Server
Modell
Server
Modell
Artefakte
Last-
verteilung
Generische Architektur
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
1) Amazon API Gateway und Lambda Integration
Amazon API
Gateway
(API Proxy)
Amazon S3
(Modell Archiv)
AWS Lambda
(Datenverarbeitung)
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Was sind die Trade-Offs?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Model Server for Apache MXNet
• Flexibles und einfach einzusetzendes Open-Source Projekt (Apache
License 2.0) um Anfragen an Deep Learning Modelle zu bedienen
• Unterstützt sowohl MXNet als auch Open Neural Network Exchange
(ONNX)
• Bietet CLI um Modell Artefakte zu paketieren und vorkonfigurierte Docker
Container um HTTP Endpunkte für Inferenzen zur Verfügung zu stellen
• Mehr Details unter https://github.com/awslabs/mxnet-model-server und
https://onnx.ai/
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Quick Start - CLI
# create directory
mkdir -p ~/mxnet-model-server-quickstart && cd $_
# create and activate virtual environment
python3 -m venv ~/mxnet-model-server-quickstart/venv
source ~/mxnet-model-server-quickstart/venv/bin/activate
# install packages
pip install --upgrade pip
pip install mxnet-model-server
# run model server for Apache MXNet
mxnet-model-server --models 
squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model
# classify an image
curl -s -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
curl -s http://127.0.0.1:8080/squeezenet/predict -F "data=@kitten.jpg" | jq -r
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Quick Start - Docker
# create directory
mkdir -p ~/mxnet-model-server-quickstart-docker && cd $_
# run model server for Apache MXNet
docker run -itd --name mms -p 8080:8080 awsdeeplearningteam/mms_cpu mxnet-model-server start --mms-
config /mxnet_model_server/mms_app_cpu.conf
# classify an image
curl -s -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
curl -s http://127.0.0.1:8080/squeezenet/predict -F "data=@kitten.jpg" | jq -r
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Warum Entwickler Container lieben…
Software
Paketierung
Verteilung “Immutable
Infrastructure”
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Server
Guest OS
Bins/Libs Bins/Libs
App2App1
Einen einzelnen Container zu verwalten ist nicht schwer, …
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Eine Containerflotte dagegen sehr…
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
Verfügbarkeitszone 1 Verfügbarkeitszone 2
Verfügbarkeitszone 3
Server
Guest OS
Server
Guest OS
Server
Guest OS
Server
Guest OS
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Model
Server
Model
Server
Modell
Server
Modell
Artefakte
Last-
verteilung
Eine generische Architektur
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
2) AWS Fargate und Model Server für MXNet
AWS Fargate
(Datenverarbeitung
und Modell Archiv)
Elastic Load
Balancing
(Lastverteilung)
Amazon ECR
(Inferenz Code Image)
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Was sind die Trade-Offs?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
3) Amazon SageMaker
Amazon S3
(Modell Archiv)
Amazon SageMaker
(ML Hosting Service)
Amazon ECR
(Inferenz Code Image)
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Man muss sich aber nicht
auf eine Option festlegen!
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon S3
(Modell Archiv)
AWS Fargate
(Datenverarbeitung)
Elastic Load
Balancing
(Lastverteilung)
Amazon API
Gateway
(API Proxy)
Amazon ECR
(Inferenz Code Image)
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Amazon S3
(Modell Archiv)
Amazon SageMaker
(ML Hosting Service)
Amazon ECR
(Inferenz Code Image)
Amazon API
Gateway
(API Proxy)
AWS Lambda
(Datenverarbeitung)
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Zusammenfassung
Datenerhebung
Daten-
bereinigung und
-formatierung
Daten-
aufbereitung und
-transformation
Training
Evaluation
und
Verifikation
Integration
und
Deployment
Betrieb,
Monitoring
und Optimierung
Wie kann ich effizient
vortrainierte Modelle für
Inferenzen nutzen?
Wie kann ich schnell
skalieren?
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Zusammenfassung
Datenerhebung
Daten-
bereinigung und
-formatierung
Daten-
aufbereitung und
-transformation
Training
Evaluation
und
Verifikation
Integration
und
Deployment
Betrieb,
Monitoring
und Optimierung
1
2
3
API Gateway + Lambda + S3
ELB + AWS Fargate
Amazon SageMaker
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Weiterführende Ressourcen
• Serverlose Datenverarbeitung und serverlose Anwendungen
https://aws.amazon.com/de/serverless/
• Seamlessly Scale Predictions with AWS Lambda and MXNet
https://aws.amazon.com/blogs/compute/seamlessly-scale-predictions-with-aws-lambda-and-mxnet/
• Model Server for Apache MXNet
https://github.com/awslabs/mxnet-model-server
• Serverless Predictions at Scale
https://github.com/aws-samples/aws-ai-bootcamp-labs/blob/master/serverless_predictions.MD
• Serverless Inference with MMS on AWS Fargate
https://github.com/awslabs/mxnet-model-server/blob/master/docs/mms_on_fargate.md
• Introducing Model Server for Apache MXNet
https://aws.amazon.com/blogs/machine-learning/introducing-model-server-for-apache-mxnet/
• Using Chalice to serve SageMaker predictions
https://medium.com/@julsimon/using-chalice-to-serve-sagemaker-predictions-a2015c02b033
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Go Build!
© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark
Thank you!

Weitere ähnliche Inhalte

Ähnlich wie AI & Machine Learning Web Day | Serverless Predictions at Scale

Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services
AWS Germany
 
Elastic Compute Cloud: Darf es noch ein Server mehr sein?
Elastic Compute Cloud: Darf es noch ein Server mehr sein?Elastic Compute Cloud: Darf es noch ein Server mehr sein?
Elastic Compute Cloud: Darf es noch ein Server mehr sein?
Lothar Wieske
 
IT Security Management mit ARIS Cloud Enterprise - AWS Security Web Day
IT Security Management mit ARIS Cloud Enterprise - AWS Security Web DayIT Security Management mit ARIS Cloud Enterprise - AWS Security Web Day
IT Security Management mit ARIS Cloud Enterprise - AWS Security Web Day
AWS Germany
 
Innovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzenInnovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzen
Amazon Web Services
 
Peter Hanke (Netapp Austria)
Peter Hanke (Netapp Austria)Peter Hanke (Netapp Austria)
Peter Hanke (Netapp Austria)
Agenda Europe 2035
 
20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge
Karin Patenge
 
Ecommerce & digitale Transformation
Ecommerce & digitale TransformationEcommerce & digitale Transformation
Ecommerce & digitale Transformation
Volker Schukai
 
BCC: Angebot fuer Anbieter von ergaenzenden SAP-Loesungen
BCC: Angebot fuer Anbieter von ergaenzenden SAP-LoesungenBCC: Angebot fuer Anbieter von ergaenzenden SAP-Loesungen
BCC: Angebot fuer Anbieter von ergaenzenden SAP-Loesungen
BCC_Group
 
camunda BPM - presented at Oracle vs. camunda Shootout Roadshow
camunda BPM - presented at Oracle vs. camunda Shootout Roadshowcamunda BPM - presented at Oracle vs. camunda Shootout Roadshow
camunda BPM - presented at Oracle vs. camunda Shootout Roadshow
camunda services GmbH
 
Cloud Konzepte und Strategien
Cloud Konzepte und StrategienCloud Konzepte und Strategien
Cloud Konzepte und Strategien
ARS Computer und Consulting GmbH
 
B1 Acocon Lotus Day 08.09.2009
B1 Acocon Lotus Day 08.09.2009B1 Acocon Lotus Day 08.09.2009
B1 Acocon Lotus Day 08.09.2009
Andreas Schulte
 
Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)
Andreas Buckenhofer
 
Technisches SEO 2019 Berlin SEO Campixx
Technisches SEO 2019 Berlin SEO CampixxTechnisches SEO 2019 Berlin SEO Campixx
Technisches SEO 2019 Berlin SEO Campixx
Alona Demchyk (Hakel)
 
MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...
MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...
MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...
AWS Germany
 
REST mit APEX 18.1
REST mit APEX 18.1REST mit APEX 18.1
REST mit APEX 18.1
Oliver Lemm
 
8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen
8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen
8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen
AWS Germany
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
OPEN KNOWLEDGE GmbH
 
Webcast: SAP on Azure für den Mittelstand - Erfolgsfaktor Integration
Webcast: SAP on Azure für den Mittelstand - Erfolgsfaktor IntegrationWebcast: SAP on Azure für den Mittelstand - Erfolgsfaktor Integration
Webcast: SAP on Azure für den Mittelstand - Erfolgsfaktor Integration
QUIBIQ Hamburg
 
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
OPEN KNOWLEDGE GmbH
 
Automatisierung von Client-seitigen Web-Performance-Optimierungen
Automatisierung von Client-seitigen Web-Performance-OptimierungenAutomatisierung von Client-seitigen Web-Performance-Optimierungen
Automatisierung von Client-seitigen Web-Performance-OptimierungenJakob
 

Ähnlich wie AI & Machine Learning Web Day | Serverless Predictions at Scale (20)

Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services Einführung in AWS - Übersicht über die wichtigsten Services
Einführung in AWS - Übersicht über die wichtigsten Services
 
Elastic Compute Cloud: Darf es noch ein Server mehr sein?
Elastic Compute Cloud: Darf es noch ein Server mehr sein?Elastic Compute Cloud: Darf es noch ein Server mehr sein?
Elastic Compute Cloud: Darf es noch ein Server mehr sein?
 
IT Security Management mit ARIS Cloud Enterprise - AWS Security Web Day
IT Security Management mit ARIS Cloud Enterprise - AWS Security Web DayIT Security Management mit ARIS Cloud Enterprise - AWS Security Web Day
IT Security Management mit ARIS Cloud Enterprise - AWS Security Web Day
 
Innovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzenInnovationen aus der Cloud ganz einfach nutzen
Innovationen aus der Cloud ganz einfach nutzen
 
Peter Hanke (Netapp Austria)
Peter Hanke (Netapp Austria)Peter Hanke (Netapp Austria)
Peter Hanke (Netapp Austria)
 
20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge20181120_DOAG_OracleNoSQLDB_KPatenge
20181120_DOAG_OracleNoSQLDB_KPatenge
 
Ecommerce & digitale Transformation
Ecommerce & digitale TransformationEcommerce & digitale Transformation
Ecommerce & digitale Transformation
 
BCC: Angebot fuer Anbieter von ergaenzenden SAP-Loesungen
BCC: Angebot fuer Anbieter von ergaenzenden SAP-LoesungenBCC: Angebot fuer Anbieter von ergaenzenden SAP-Loesungen
BCC: Angebot fuer Anbieter von ergaenzenden SAP-Loesungen
 
camunda BPM - presented at Oracle vs. camunda Shootout Roadshow
camunda BPM - presented at Oracle vs. camunda Shootout Roadshowcamunda BPM - presented at Oracle vs. camunda Shootout Roadshow
camunda BPM - presented at Oracle vs. camunda Shootout Roadshow
 
Cloud Konzepte und Strategien
Cloud Konzepte und StrategienCloud Konzepte und Strategien
Cloud Konzepte und Strategien
 
B1 Acocon Lotus Day 08.09.2009
B1 Acocon Lotus Day 08.09.2009B1 Acocon Lotus Day 08.09.2009
B1 Acocon Lotus Day 08.09.2009
 
Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)Metadaten und Data Vault (Meta Vault)
Metadaten und Data Vault (Meta Vault)
 
Technisches SEO 2019 Berlin SEO Campixx
Technisches SEO 2019 Berlin SEO CampixxTechnisches SEO 2019 Berlin SEO Campixx
Technisches SEO 2019 Berlin SEO Campixx
 
MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...
MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...
MS Sharepoint auf AWS - eine Lösung für viele Herausforderungen - AWS Cloud W...
 
REST mit APEX 18.1
REST mit APEX 18.1REST mit APEX 18.1
REST mit APEX 18.1
 
8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen
8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen
8 Tipps für eine Cloud Strategie – wie Unternehmen heute die Cloud einsetzen
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
 
Webcast: SAP on Azure für den Mittelstand - Erfolgsfaktor Integration
Webcast: SAP on Azure für den Mittelstand - Erfolgsfaktor IntegrationWebcast: SAP on Azure für den Mittelstand - Erfolgsfaktor Integration
Webcast: SAP on Azure für den Mittelstand - Erfolgsfaktor Integration
 
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
 
Automatisierung von Client-seitigen Web-Performance-Optimierungen
Automatisierung von Client-seitigen Web-Performance-OptimierungenAutomatisierung von Client-seitigen Web-Performance-Optimierungen
Automatisierung von Client-seitigen Web-Performance-Optimierungen
 

Mehr von AWS Germany

Analytics Web Day | From Theory to Practice: Big Data Stories from the Field
Analytics Web Day | From Theory to Practice: Big Data Stories from the FieldAnalytics Web Day | From Theory to Practice: Big Data Stories from the Field
Analytics Web Day | From Theory to Practice: Big Data Stories from the Field
AWS Germany
 
Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...
Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...
Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...
AWS Germany
 
Modern Applications Web Day | Impress Your Friends with Your First Serverless...
Modern Applications Web Day | Impress Your Friends with Your First Serverless...Modern Applications Web Day | Impress Your Friends with Your First Serverless...
Modern Applications Web Day | Impress Your Friends with Your First Serverless...
AWS Germany
 
Modern Applications Web Day | Manage Your Infrastructure and Configuration on...
Modern Applications Web Day | Manage Your Infrastructure and Configuration on...Modern Applications Web Day | Manage Your Infrastructure and Configuration on...
Modern Applications Web Day | Manage Your Infrastructure and Configuration on...
AWS Germany
 
Modern Applications Web Day | Container Workloads on AWS
Modern Applications Web Day | Container Workloads on AWSModern Applications Web Day | Container Workloads on AWS
Modern Applications Web Day | Container Workloads on AWS
AWS Germany
 
Modern Applications Web Day | Continuous Delivery to Amazon EKS with Spinnaker
Modern Applications Web Day | Continuous Delivery to Amazon EKS with SpinnakerModern Applications Web Day | Continuous Delivery to Amazon EKS with Spinnaker
Modern Applications Web Day | Continuous Delivery to Amazon EKS with Spinnaker
AWS Germany
 
Building Smart Home skills for Alexa
Building Smart Home skills for AlexaBuilding Smart Home skills for Alexa
Building Smart Home skills for Alexa
AWS Germany
 
Hotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructure
Hotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructureHotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructure
Hotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructure
AWS Germany
 
Wild Rydes with Big Data/Kinesis focus: AWS Serverless Workshop
Wild Rydes with Big Data/Kinesis focus: AWS Serverless WorkshopWild Rydes with Big Data/Kinesis focus: AWS Serverless Workshop
Wild Rydes with Big Data/Kinesis focus: AWS Serverless Workshop
AWS Germany
 
Log Analytics with AWS
Log Analytics with AWSLog Analytics with AWS
Log Analytics with AWS
AWS Germany
 
Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS
Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS
Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS
AWS Germany
 
Microservices and Data Design
Microservices and Data DesignMicroservices and Data Design
Microservices and Data Design
AWS Germany
 
Serverless vs. Developers – the real crash
Serverless vs. Developers – the real crashServerless vs. Developers – the real crash
Serverless vs. Developers – the real crash
AWS Germany
 
Query your data in S3 with SQL and optimize for cost and performance
Query your data in S3 with SQL and optimize for cost and performanceQuery your data in S3 with SQL and optimize for cost and performance
Query your data in S3 with SQL and optimize for cost and performance
AWS Germany
 
Secret Management with Hashicorp’s Vault
Secret Management with Hashicorp’s VaultSecret Management with Hashicorp’s Vault
Secret Management with Hashicorp’s Vault
AWS Germany
 
EKS Workshop
 EKS Workshop EKS Workshop
EKS Workshop
AWS Germany
 
Scale to Infinity with ECS
Scale to Infinity with ECSScale to Infinity with ECS
Scale to Infinity with ECS
AWS Germany
 
Containers on AWS - State of the Union
Containers on AWS - State of the UnionContainers on AWS - State of the Union
Containers on AWS - State of the Union
AWS Germany
 
Deploying and Scaling Your First Cloud Application with Amazon Lightsail
Deploying and Scaling Your First Cloud Application with Amazon LightsailDeploying and Scaling Your First Cloud Application with Amazon Lightsail
Deploying and Scaling Your First Cloud Application with Amazon Lightsail
AWS Germany
 
Building Personalized Data Products - From Idea to Product
Building Personalized Data Products - From Idea to ProductBuilding Personalized Data Products - From Idea to Product
Building Personalized Data Products - From Idea to Product
AWS Germany
 

Mehr von AWS Germany (20)

Analytics Web Day | From Theory to Practice: Big Data Stories from the Field
Analytics Web Day | From Theory to Practice: Big Data Stories from the FieldAnalytics Web Day | From Theory to Practice: Big Data Stories from the Field
Analytics Web Day | From Theory to Practice: Big Data Stories from the Field
 
Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...
Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...
Analytics Web Day | Query your Data in S3 with SQL and optimize for Cost and ...
 
Modern Applications Web Day | Impress Your Friends with Your First Serverless...
Modern Applications Web Day | Impress Your Friends with Your First Serverless...Modern Applications Web Day | Impress Your Friends with Your First Serverless...
Modern Applications Web Day | Impress Your Friends with Your First Serverless...
 
Modern Applications Web Day | Manage Your Infrastructure and Configuration on...
Modern Applications Web Day | Manage Your Infrastructure and Configuration on...Modern Applications Web Day | Manage Your Infrastructure and Configuration on...
Modern Applications Web Day | Manage Your Infrastructure and Configuration on...
 
Modern Applications Web Day | Container Workloads on AWS
Modern Applications Web Day | Container Workloads on AWSModern Applications Web Day | Container Workloads on AWS
Modern Applications Web Day | Container Workloads on AWS
 
Modern Applications Web Day | Continuous Delivery to Amazon EKS with Spinnaker
Modern Applications Web Day | Continuous Delivery to Amazon EKS with SpinnakerModern Applications Web Day | Continuous Delivery to Amazon EKS with Spinnaker
Modern Applications Web Day | Continuous Delivery to Amazon EKS with Spinnaker
 
Building Smart Home skills for Alexa
Building Smart Home skills for AlexaBuilding Smart Home skills for Alexa
Building Smart Home skills for Alexa
 
Hotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructure
Hotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructureHotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructure
Hotel or Taxi? "Sorting hat" for travel expenses with AWS ML infrastructure
 
Wild Rydes with Big Data/Kinesis focus: AWS Serverless Workshop
Wild Rydes with Big Data/Kinesis focus: AWS Serverless WorkshopWild Rydes with Big Data/Kinesis focus: AWS Serverless Workshop
Wild Rydes with Big Data/Kinesis focus: AWS Serverless Workshop
 
Log Analytics with AWS
Log Analytics with AWSLog Analytics with AWS
Log Analytics with AWS
 
Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS
Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS
Deep Dive into Concepts and Tools for Analyzing Streaming Data on AWS
 
Microservices and Data Design
Microservices and Data DesignMicroservices and Data Design
Microservices and Data Design
 
Serverless vs. Developers – the real crash
Serverless vs. Developers – the real crashServerless vs. Developers – the real crash
Serverless vs. Developers – the real crash
 
Query your data in S3 with SQL and optimize for cost and performance
Query your data in S3 with SQL and optimize for cost and performanceQuery your data in S3 with SQL and optimize for cost and performance
Query your data in S3 with SQL and optimize for cost and performance
 
Secret Management with Hashicorp’s Vault
Secret Management with Hashicorp’s VaultSecret Management with Hashicorp’s Vault
Secret Management with Hashicorp’s Vault
 
EKS Workshop
 EKS Workshop EKS Workshop
EKS Workshop
 
Scale to Infinity with ECS
Scale to Infinity with ECSScale to Infinity with ECS
Scale to Infinity with ECS
 
Containers on AWS - State of the Union
Containers on AWS - State of the UnionContainers on AWS - State of the Union
Containers on AWS - State of the Union
 
Deploying and Scaling Your First Cloud Application with Amazon Lightsail
Deploying and Scaling Your First Cloud Application with Amazon LightsailDeploying and Scaling Your First Cloud Application with Amazon Lightsail
Deploying and Scaling Your First Cloud Application with Amazon Lightsail
 
Building Personalized Data Products - From Idea to Product
Building Personalized Data Products - From Idea to ProductBuilding Personalized Data Products - From Idea to Product
Building Personalized Data Products - From Idea to Product
 

AI & Machine Learning Web Day | Serverless Predictions at Scale

  • 1. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark© 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Thomas Reske, AWS Solutions Architect Serverless Predictions at Scale 08.05.2018
  • 2. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Erstellen und Ausführen von Anwendungen ohne sich über Server Gedanken machen zu müssen
  • 3. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark $ Keine Serververwaltung Flexible Skalierung Automatisierte Hochverfügbarkeit Keine ungenutzte Kapazität Serverlose Anwendungen bieten wesentliche Vorteile
  • 4. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Prozesse rund um Maschinelles Lernen Datenerhebung Daten- bereinigung und -formatierung Daten- aufbereitung und -transformation Training Evaluation und Verifikation Integration und Deployment Betrieb, Monitoring und Optimierung
  • 5. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Prozesse rund um Maschinelles Lernen Datenerhebung Daten- bereinigung und -formatierung Daten- aufbereitung und -transformation Training Evaluation und Verifikation Integration und Deployment Betrieb, Monitoring und Optimierung Wie kann ich effizient vortrainierte Modelle für Inferenzen nutzen? Wie kann ich schnell skalieren?
  • 6. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Was überführen wir eigentlich in den Betrieb?
  • 7. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Ein Vortrainiertes Modell (Pre-trained Model)... • ... ist ein Modell, das bereits trainiert wurde, z.T. sogar in einem anderen Kontext (auf Basis anderer Daten) • die Modell Artefakte (Struktur, Helper Files, Parameter/Gewichte, ...) können mit den gängigen Deep Learning Frameworks sowohl serialisiert und gespeichert werden als auch erneut deserialisiert und geladen werden • dies erlaubt die Möglichkeit ein Fine-Tuning der Modelle durchzuführen („Head-Start“ oder „Freezing“), aber auch sie für ähnliche Probleme bzw. andere Daten anzuwenden („Transfer Learning“) • viele Modelle sind öffentlich verfügbar, z.B. im MXNet Model Zoo
  • 8. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Was fehlt?
  • 9. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Gibt es eine allgemeine Blaupause?
  • 10. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Model Server Model Server Modell Server Modell Artefakte Last- verteilung Generische Architektur
  • 11. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 1) Amazon API Gateway und Lambda Integration Amazon API Gateway (API Proxy) Amazon S3 (Modell Archiv) AWS Lambda (Datenverarbeitung)
  • 12. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Was sind die Trade-Offs?
  • 13. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Model Server for Apache MXNet • Flexibles und einfach einzusetzendes Open-Source Projekt (Apache License 2.0) um Anfragen an Deep Learning Modelle zu bedienen • Unterstützt sowohl MXNet als auch Open Neural Network Exchange (ONNX) • Bietet CLI um Modell Artefakte zu paketieren und vorkonfigurierte Docker Container um HTTP Endpunkte für Inferenzen zur Verfügung zu stellen • Mehr Details unter https://github.com/awslabs/mxnet-model-server und https://onnx.ai/
  • 14. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Quick Start - CLI # create directory mkdir -p ~/mxnet-model-server-quickstart && cd $_ # create and activate virtual environment python3 -m venv ~/mxnet-model-server-quickstart/venv source ~/mxnet-model-server-quickstart/venv/bin/activate # install packages pip install --upgrade pip pip install mxnet-model-server # run model server for Apache MXNet mxnet-model-server --models squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model # classify an image curl -s -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl -s http://127.0.0.1:8080/squeezenet/predict -F "data=@kitten.jpg" | jq -r
  • 15. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Quick Start - Docker # create directory mkdir -p ~/mxnet-model-server-quickstart-docker && cd $_ # run model server for Apache MXNet docker run -itd --name mms -p 8080:8080 awsdeeplearningteam/mms_cpu mxnet-model-server start --mms- config /mxnet_model_server/mms_app_cpu.conf # classify an image curl -s -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl -s http://127.0.0.1:8080/squeezenet/predict -F "data=@kitten.jpg" | jq -r
  • 16. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Warum Entwickler Container lieben… Software Paketierung Verteilung “Immutable Infrastructure”
  • 17. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Server Guest OS Bins/Libs Bins/Libs App2App1 Einen einzelnen Container zu verwalten ist nicht schwer, …
  • 18. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Eine Containerflotte dagegen sehr… Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Server Guest OS Verfügbarkeitszone 1 Verfügbarkeitszone 2 Verfügbarkeitszone 3 Server Guest OS Server Guest OS Server Guest OS Server Guest OS
  • 19. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Model Server Model Server Modell Server Modell Artefakte Last- verteilung Eine generische Architektur
  • 20. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 2) AWS Fargate und Model Server für MXNet AWS Fargate (Datenverarbeitung und Modell Archiv) Elastic Load Balancing (Lastverteilung) Amazon ECR (Inferenz Code Image)
  • 21. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Was sind die Trade-Offs?
  • 22. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark 3) Amazon SageMaker Amazon S3 (Modell Archiv) Amazon SageMaker (ML Hosting Service) Amazon ECR (Inferenz Code Image)
  • 23. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Man muss sich aber nicht auf eine Option festlegen!
  • 24. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon S3 (Modell Archiv) AWS Fargate (Datenverarbeitung) Elastic Load Balancing (Lastverteilung) Amazon API Gateway (API Proxy) Amazon ECR (Inferenz Code Image)
  • 25. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Amazon S3 (Modell Archiv) Amazon SageMaker (ML Hosting Service) Amazon ECR (Inferenz Code Image) Amazon API Gateway (API Proxy) AWS Lambda (Datenverarbeitung)
  • 26. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Zusammenfassung Datenerhebung Daten- bereinigung und -formatierung Daten- aufbereitung und -transformation Training Evaluation und Verifikation Integration und Deployment Betrieb, Monitoring und Optimierung Wie kann ich effizient vortrainierte Modelle für Inferenzen nutzen? Wie kann ich schnell skalieren?
  • 27. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Zusammenfassung Datenerhebung Daten- bereinigung und -formatierung Daten- aufbereitung und -transformation Training Evaluation und Verifikation Integration und Deployment Betrieb, Monitoring und Optimierung 1 2 3 API Gateway + Lambda + S3 ELB + AWS Fargate Amazon SageMaker
  • 28. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Weiterführende Ressourcen • Serverlose Datenverarbeitung und serverlose Anwendungen https://aws.amazon.com/de/serverless/ • Seamlessly Scale Predictions with AWS Lambda and MXNet https://aws.amazon.com/blogs/compute/seamlessly-scale-predictions-with-aws-lambda-and-mxnet/ • Model Server for Apache MXNet https://github.com/awslabs/mxnet-model-server • Serverless Predictions at Scale https://github.com/aws-samples/aws-ai-bootcamp-labs/blob/master/serverless_predictions.MD • Serverless Inference with MMS on AWS Fargate https://github.com/awslabs/mxnet-model-server/blob/master/docs/mms_on_fargate.md • Introducing Model Server for Apache MXNet https://aws.amazon.com/blogs/machine-learning/introducing-model-server-for-apache-mxnet/ • Using Chalice to serve SageMaker predictions https://medium.com/@julsimon/using-chalice-to-serve-sagemaker-predictions-a2015c02b033
  • 29. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Go Build!
  • 30. © 2018, Amazon Web Services, Inc. or its Affiliates. All rights reserved. Amazon Confidential and Trademark Thank you!