Maschinelles Lernen: Chancen, Werkzeuge und Beispiel-Anwendungen für öffentliche Einrichtungen
Durch die Zusammenführung von innovativen Algorithmen, Big Data Methoden und leistungsfähiger Hardware wie GPUs hat das Maschinelle Lernen (ML) in den letzten Jahren einen großen Aufschwung erlebt. In diesem Vortrag betrachten wir Werkzeuge, Technologien und Beispiele für ML in der Cloud, von einfachen, API-gesteuerten Diensten für Bild-, Sprach- und Text-Erkennung und -Verstehen bis zu Forschungs- und Entwicklungs-Plattformen für Entwickler und Wissenschaftler im ML-Umfeld.
Sprecher: Constantin Gonzalez, Principal Solutions Architect - AWS
6. Frameworks &
Infrastructure
AWS Deep Learning AMI
GPU
(P3 Instances)
MobileCPU
IoT
(Greengrass)
Vision:
Rekognition Image
Rekognition Video
Speech:
Polly
Transcribe
Language:
Lex Translate
Comprehend
Apache
MXNet PyTorch
Cognitive
Toolkit
Keras
Caffe2
& Caffe
TensorFlow Gluon
AWS ML Werkzeuge
Application
AI Services
Managed
Platform
Services
Amazon Machine
Learning
Mechanical
Turk
Spark &
EMR
Amazon
SageMaker
AWS
DeepLens
7. Wie helfen wir Kunden, ML zu nutzen und von
Amazons Expertise zu lernen?
8. Amazon Machine Learning
Solution Lab
Brainstorming
& Schulung
Modellieren Operationalisierung
Ein Schulungs- und
Kollaborations-
Programm, das Amazon-
Experten für Maschinelles
Lernen mit AWS Kunden
und Partnern zusammen
bringt.
10. Vision Speech Language
Amazon Machine
Learning
Mechanical TurkSpark & EMR
Application
AI Services
Managed
Platform
Services
AWS ML Werkzeuge
Frameworks &
Infrastructure
AWS Deep Learning AMI
GPU
(P3 Instances)
MobileCPU
IoT
(Greengrass)
Apache
MXNet PyTorch
Cognitive
Toolkit
Keras
Caffe2
& Caffe
TensorFlow Gluon
11. Amazon EC2 P3 Instanzen
• Bis zu acht NVIDIA Teslta V100 GPUs
• 1 PetaFLOP Rechenkapazität
– 14x besser als der Vorgänger P2
• 300 GB/s GPU-zu-GPU-Kommunikation
(NVLink) – 9X besser als P2
• 16 GB GPU Speicher mit 900 GB/s Peak
GPU Speicherbandbreite
D i e s c h n e l l s t e n G P U - I n s t a n z e n i n d e r C l o u d
12. AWS Deep Learning AMI
• Schneller Start mit einfach zu nutzenden Tutorials
• Frust-freie Einrichtung und Konfiguration
• Zahlen Sie nur was Sie nutzen – keine zusätzlichen
Kosten für das AMI
• Beschleunigtes Modell-Training und -Operation
• Unterstützt populäre Deep Learning Frameworks
13. Infrastructure GPU
(P3 Instances)
MobileCPU
IoT
(Greengrass)
Vision Speech Language
Frameworks
AWS Deep Learning AMI
Apache
MXNet PyTorch
Cognitive
Toolkit Keras
Caffe2
& Caffe
TensorFlow Gluon
Application
AI Services
AWS ML Werkzeuge
Managed
Platform
Services
Amazon Machine
Learning
Mechanical
Turk
Spark &
EMR
Amazon
SageMaker
AWS
DeepLens
14. Amazon Mechanical Turk
• “Daten sind billig; Labels sind teuer”
• Menschliche Intelligenz ist nötig,
um Datensätze mit Sprache,
Bildern und Texten zu beschriften
15. Mechanical Turk ML Kunden
Facebook AI
Research (FAIR)
DigitalGlobe |
Radiant
16. Die Maschine-Learning- Prozesskette ist schwer
1. Data wrangling
• Setup and manage
Notebook environments
• Get data to
notebooks securely
2. Experimentation
• Setup and manage
clusters
• Scale/distribute ML
algorithms
3. Deployment
• Setup and manage
inference clusters
• Manage and auto scale
inference APIs
• Testing, versioning,
and monitoring
Fetch data
Clean &
format data
Prepare &
transform
data
Train model
Evaluate
model
Integrate
with prod
Monitor/
debug/refresh
17. …und kostet Zeit
Fetch data
Clean &
format data
Prepare &
transform
data
Train model
Evaluate
model
Integrate
with prod
Monitor/
debug/refresh
6–18
Monate
18. Amazon SageMaker
Ein vollständig verwalteter Service,
der den schnellsten und einfachsten Weg für
Ihre Wissenschaftler und Entwickler bereitstellt, um
ML-Modelle von der Idee bis zur Produktion zu
bringen.
22. One-click training
for ML, DL, and
custom algorithms
Easier training with
hyperparameter
optimization
Highly-optimized
machine learning
algorithms
Amazon SageMaker
Deployment
without
engineering effort
Fully-managed
hosting at scale
AuthorBuilt-in high
performance
algorithmsPre-built
notebook
instances
Deploy
Train
23. Amazon SageMaker: 10x bessere Algorithmen
Datensatz-
Streaming für
günstigeres
Training
Schneller
Trainieren, in nur
einem Schritt
Höhere
Zuverlässigkeit
für extrem große
Datensätze
11 Algorithmen
zur Auswahl +
Bring-your-own
25. AWS DeepLens:
Eine Deep-Learning-Videokamera für Entwickler
(Limited Preview)
• Voll programmierbare Videokamera
• Optimiert für Deep-Learning auf dem
Gerät mit Apache MXNet, Caffe oder
Tensorflow
• Anleitungen, Codebeispiele,
vorkonfigurierte Modelle
• Integriert mit Amazon SageMaker
für Entwicklung eigener Modelle
30. Echtzeit-Gesichts-Erkennung mit bis zu 10 Mio. Referenzgesichtern
<0.5 Sekunden Antwortzeit
Bis zu 10M Gesichter
Ermöglicht sofortige
Reaktionen
Rekognition: Echtzeit-Gesichts-Suche
34. Amazon Rekognition Video
Ein Service für Bestand– und Live-Daten
Gespeicherte Videos
Amazon S3
Video Live Stream
Amazon Kinesis Video Stream
Such-Index für Medien
Erkennung von
„zweifelhaften“ Videos
Investigative Analyse
Schnelle Reaktion für öffentliche
Sicherheit
Monitoring von Nachbarschaften
35. Medien- und Unterhaltung Öffentliche Sicherheit Smart Home
- Suche & Filtern
- Schnelle Reaktion
- Investigative Analyse
- Monitoring
Amazon Rekognition Video
Anwendungs-Beispiele
37. Frameworks
& Interfaces
Infrastructure
AWS Deep Learning AMI
GPU
(P3 Instances)
MobileCPU
IoT
(Greengrass)
Apache
MXNet PyTorch
Cognitive
Toolkit Keras
Caffe2
& Caffe
TensorFlow Gluon
Platform
Services
AWS ML Werkzeuge
Amazon Machine
Learning
Mechanical
Turk
Spark &
EMR
Amazon
SageMaker
DeepLens
Vision:
Rekognition Image
Rekognition Video
Speech:
Polly
Transcribe
Application
AI Services
Language:
Lex Translate
Comprehend
38. WANDELT TEXT
IN SPRACHE
47 STIMMEN 24 SPRACHEN NIEDRIGE LATENZ,
ECHTZEIT
VOLLAUTOMATISCH
Polly: Realistischer Sprach-Service
Sprachqualität & Aussprache
1. Automatische, präzise Verarbeitung
2. Leicht zu verstehen
3. Semantisches Verständnis
4. Konfigurierbare Aussprache
Artikel und Blogs
Trainings-Material
Chatbots (Lex)
Öffentliche Ansagen
39. Anwendungsfälle
Publikation von Inhalten
Mobile & Desktop-Applikationen
Internet of Things (IoT)
Lehre & E-Learning
Telephonie
Spiele-Entwicklung
Amazon Polly
Leistungsmerkmale
52 Stimmen in 25 Sprachen
Lippen-Synchronisation &
Text-Hervorhebung
Feingranulare Stimmkontrolle
Benutzerspezifische Vokabulare
Verfügbar in 14 AWS Regionen
50. Really a very good Pocket knife. Had yesterday after breakfast
something poppy hang between the teeth. Because I once again
found no toothpicks, I ordered mine without further ADO this
pocket knife. The integrated toothpick (Nr. 3) is very stable
and very quickly I could clean my teeth. Super! To the rest I
can tell nothing unfortunately because I him not be emergency.
Ein glücklicher Kunde schrieb…
51. “Really a very good pocket knife. Had a little poppy
between the teeth yesterday after breakfast. Since I
didn’t find a toothpick again, I ordered this pocket
knife shortly. The integrated toothpick (No.3) is very
stable and I could clean my teeth very quickly. Great!
I can’t say anything about the rest because I don’t
need it.”
Die neuronale Version
53. N a m e d E n t i t i e s
• A m a z o n . c o m : O r g a n i z a t i o n
• S e a t t l e , W A : L o c a t i o n
• J u l y 5 t h , 1 9 9 4 : D a t e
• J e f f B e z o s : P e r s o n
K e y p h r a s e s
• O u r c u s t o m e r s
• b o o k s
• b l e n d e r s
• g r e a t p r i c e s
S e n t i m e n t
• P o s i t i v e
L a n g u a g e
• E n g l i s h
A m a z o n . c o m , I n c . i s l o c a t e d i n
S e a t t l e , W A a n d w a s f o u n d e d J u l y
5 t h , 1 9 9 4 b y J e f f B e z o s . O u r
c u s t o m e r s l o v e b u y i n g e v e r y t h i n g
f r o m b o o k s t o b l e n d e r s a t g r e a t
p r i c e s
Amazon Comprehend: Daten aus Text
54. A u t o m a t i s c h v e r w a l t e t e r
T h e m e n - M o d e l l i e r u n g s -
S e r v i c e
E x t r a h i e r t b i s z u 1 0 0
T h e m e n a u s e i n e m K o r p u s
v o n T e x t e n
O r g a n i s i e r t T e x t e
a u t o m a t i s c h n a c h T h e m e n
Amazon Comprehend: Topic Modeling
55. Amazon Comprehend: Anwendungen
Kundenfeedback-Analyse
Semantische Suche
Knowledge Management/Recherche
Was sagen Ihre Kunden und Nutzer über Ihre Produkte und Services?
Machen Sie Ihre Suche Intelligenter mit Themen, Entitäten und Konzepten
Dokumenten-Verwaltung und Recherche
56. AWS ML Werkzeuge
Frameworks &
Infrastructure
AWS Deep Learning AMI
GPU
(P3 Instances)
MobileCPU
IoT
(Greengrass)
Vision:
Rekognition Image
Rekognition Video
Speech:
Polly
Transcribe
Language:
Lex Translate
Comprehend
Apache
MXNet PyTorch
Cognitive
Toolkit
Keras
Caffe2
& Caffe
TensorFlow Gluon
Application
Services
Platform
Services
Amazon Machine
Learning
Mechanical
Turk
Spark &
EMR
Amazon
SageMaker
AWS
DeepLens