Deploying and Scaling Your First Cloud Application with Amazon Lightsail
Webinar Neues von der re:invent 2013 Teil 2: Kinesis, AppStream, WorkSpaces
1. Neues von der re:invent 2013
Teil 2
Steffen Krause
Technical Evangelist
@AWS_Aktuell
skrause@amazon.de
2. Ihr Feedback ist wichtig
Teilen Sie mir mit:
Was gut ist, was nicht
Was Sie bei unseren Veranstaltungen sehen
wollen
Was Sie sich von AWS wünschen
skrause@amazon.de
5. Big Data Ansätze
• Traditionelle Big Data Ansätze
– Abfrageengine (Data Warehouse, YesSQL, NoSQL Datenbank)
– Batch Engines (Map-Reduce)
• Streaming Big Data Processing Ansatz
6. Grundlagen der Stream-Verarbeitung
Echtzeit Big Data Wunschliste
Dienst-Anforderungen
Gesamtlatenz im Sekundenbereich
Niedrigen Ende-zu-Ende Latenz von Datenaufnahme
bis Verarbeitung
Verarbeitung von Gigabytes pro Sekunde ohne Verlust der
Persistenz
Hoch skalierbar, persistent
Skalierung hoch/runter nach Bedarf
Elastisch
Einfaches Load Balancing von Datenströmen, verteilte
Dienstkoordinierung,
Entwickler müssen sich nur um Implementierung der
Geschäftslogik kümmern, nicht um Basisdienst
Automatische HW/ SW Provisionierung, Patching und Betrieb
einer zuverlässigen Streaming Plattform
Verwalteter Dienst für Echtzeit-Datenströme:
Sammlung, Verarbeitung, Analyse.
7. Architektur Amazon Kinesis
Verwalteter Dienst für Echtzeitverarbeitung von Big Data
App.1
Data
Sources
Availability
Zone
Data
Sources
Data
Sources
Availability
Zone
Availability
Zone
S3
App.2
AWS Endpoint
Data
Sources
[Aggregate &
De-Duplicate]
Shard 1
Shard 2
Shard N
[Metric
Extraction]
DynamoDB
App.3
[Sliding
Window
Analysis]
Redshift
Data
Sources
App.4
[Machine
Learning]
http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html
12. Was das mit Kinesis zu tun hat
twitter-trends.com
Kinesis
Kinesis Applikation
13. Kernkonzepte wiederholt
• Data Record ~ Tweet
• Stream ~ alle Tweets (die Twitter Firehose)
• Partition Key ~ Twitter Thema (Jeder Tweet gehört zu genau einem)
• Shard ~ Alle Data Records, die zu einem Twitter Thema gehören werden
gruppiert
• Sequence Number ~ Jeder Data Record erhält eine beim Schreiben in den
Stream
• Worker ~ Verarbeitet die Records in einem Shard in Reihenfolge der Sequence
Number
14. Nutzen für Entwickler
Leichte Administration
Verwalteter Dienst
• Stream Erstellen
• Gewünschte Kapazität bestimmen
• Dienst kümmert sich um den Rest
S3, Redshift, & DynamoDB Integration
Auslieferung an verschiedene AWS Dienste
• Speicherung von aggregierten
Ergebnissen nach Bedarf
• Vorgefertigte Konnektoren
Echtzeit-Performance
Verarbeitung von großen Datenströmen
• Latenz im Sekundenbereich
Einfache Entwicklung
Client Libraries unterstützen Entwickler
• Low Level & high Level APIs nach Bedarf
Hoher Durchsatz, elastisch
Skalierung nach benötigtem Durchsatz
• Skalierung nach oben und unten
(Split/Merge Shards)
• Ohne Unterbrechung des Datenstroms
Kostengünstig
Cost-efficient for workloads of any scale. You
can get started by provisioning a small
stream, and pay low hourly rates only for
what you use.
http://aws.typepad.com/awsaktuell/2013/11/amazon-kinesis-echtzeitverarbeitung-von-datenstr%C3%B6men.html
17. What is Amazon AppStream?
• Streaming von Ressourcen-/Grafik-intensiven Anwendungen
aus der Cloud
• Rendering von grafischen Inhalten in der Cloud
• Skalierung nach Bedarf
• Schnell reagierende, flüssig laufende HD-Anwendung auf dem
Gerät
• Streaming der ganzen Anwendung oder eines Teiles
http://aws.typepad.com/awsaktuell/2013/11/amazon-appstream-streaming-von-grafischen-anwendungen-aus-der-cloud.html
18. Nutzen von Amazon AppStream
• Beseitigt Rechenleistungs- und Speicherplatzbeschränkungen
auf dem Client
• Spart Entwicklungszeit
• Instant-on Anwendungen
• Vereinfachte Updates
• Verbesserte Sicherheit und Schutz des eigenen Codes
31. Was ist WorkSpaces?
• WorkSpaces ist eine voll verwaltete Desktop Lösung in der Cloud
• Endbenutzer greifen auf die benötigten Dokumente, Anwendungen und
Ressourcen mit dem Gerät ihrer Wahl zu – Laptop, iPad, Kindle Fire,
Android Tablet
• Hochwertiger Desktop für unbegrenzte Nutzerzahlen
http://aws.typepad.com/awsaktuell/2013/11/amazon-workspaces-desktop-computing-in-der-cloud.html