Mein Vortrag von der Storage & Data Management Conference 2013

1. Daten ohne Grenzen – Big Data
Steffen Krause
Technical Evangelist
@AWS_Aktuell
skrause@amazon.de

2. Ein Supercomputer in den Händen eines jeden Entwicklers

3. 50000 Core
CycleCloud Super Computer
in der Amazon Cloud

4. Wie groß sind 50000 Cores?
Warum ist das wichtig?

5. Neue Krebsfälle pro Jahr: 12,66 Millionen
(W.H.O./Globocan 2008)

6. Jeder Tag ist wichtig – und teuer

7. Ein führender Entwickler von algorithmischer Chemie

8. Medikamenten-Desgin:
Identifikation der Protein-Ziele

9. „Das Schloss“

10. Finde Moleküle, die hineinpassen

11. Finde Treffer in Millionen Schlüsseln

12. Herausforderung: Virtuelle Tests mit höherer
Genauigkeit und 21 Millionen Verbindungen

13. Metrik Anzahl
Rechen-Stunden 109927 Stunden
Rechen-Tage 4580 Tage
Using CycleCloud & Amazon Cloud
The impossible 12,55 Jahre
Rechen-Jahre run finished in...
Anzahl Liganden Ca. 21 Millionen Liganden

14. Metrik Anzahl
Rechen-Stunden 109927 Stunden
Rechen-Tage 4580 Tage
Using CycleCloud & Amazon Cloud
The impossible 12,55 Jahre
Rechen-Jahre run finished in...
Anzahl Liganden Ca. 21 Millionen Liganden
Mit CycleCloud & Amazon Cloud
Der unmögliche Rechenlauf dauerte...

15. 3 Stunden
fü 4828,85$/h
r

17. Statt einer
>20 Millionen
Infrastructure

18. Die Big Data Revolution

19. Was ist das?

20. BIG-DATA
Die Sammlung und Analyse von großen
Datenmengen, um einen Wettbewerbsvorteil
zu erlangen

21. Big Data Branchen
Netz- User
Antivirus
optimierung Demographics
Gezielte Monte Carlo Maschinen-
Werbung
Medien/Werbun
Telco
Empfehlungen
Retail Life Sciences
Simulationen
Finanz-Dienstl. Security
Soziales Produk-
daten-Analyse
g Netz/Spiele
tion
Genom Betrugs-
Traffic Analyse Usage analysis
Analyse erkennung
Bild und Video Transaktions- Ausfall-
Risiko-Analyse
Verarbeitung Analyse Vorhersage
Preis- Bild- In-game
optimierung erkennung metrics

22. Die Revolution

23. Habe Daten

24. Habe Daten
Kann speichern

25. Habe Daten
Kann speichern Kann analysieren

26. kostengünstig

27. schnell

28. n e Wer ist Ihr Kunde wirklich?
nd
Ku
Was mögen Kunden wirklich?
Was geschieht sozial mit Ihren
Produkten?
Wie verwenden Ihre Kunden Ihre
Produkte tatsächlich?

29. 29

31. Erkenntnis 1: Lassen Sie Ihr Amazon Konto zu
Hause nicht eingeloggt
Erkenntnis 2: Verwenden Sie Ihre vorhandenen
Daten für proaktive Prozesse

32. Big Data mit AWS
Storage Big Data Compute
Herausforderungen fangen bei relativ kleinen Datenmengen an
100 GB 1,000 PB

33. Big Data mit AWS
Storage Big Data Compute
Wenn Datenmengen und Datenanalysen so weit skalieren müssen, dass
Sie innovativ sein müssen mit Sammlung, Speicherung, Organisation,
Analyse und Weitergabe der Daten

34. Storage Big Data Compute
Daten haben Schwerkraft
App Daten App
http://blog.mccrory.me/2010/12/07/data-gravity-in-the-clouds/

35. Storage Big Data Compute
…und in großen Mengen Trägheit…
App App
Latenz Durch
satz
Daten
http://blog.mccrory.me/2010/12/07/data-gravity-in-the-clouds/

36. Storage Big Data Compute
…was es einfacher macht, die Anwendungen zu verschieben als die Daten
A Daten
App
pp
http://blog.mccrory.me/2010/12/07/data-gravity-in-the-clouds/

37. Warum jetzt?

38. Storage Big Data Compute
Warum jetzt?
Datensammlung und
HPC Computing -auswertung
Große Algorithmen & Modelle Bioanalyse, Bergbau, Ingenieurwesen
Websites Sensordaten
Blogs/Reviews/Emails/Bilder Wetter, Wasser, Smart Grids
Soziale Graphen Bilder/Videos
Facebook, Linked In, Kontakte Verkehr, Überwachungskameras
Application Server Logs Twitter
Websites, Spiele... 50m Tweets/Tag, 1400% Wachstum
pro Jahr

39. Storage Big Data Compute
Warum jetzt?
Datensammlung und
HPC Computing -auswertung
Große Algorithmen & Modelle Bioanalyse, Bergbau, Ingenieurwesen
Mobil verbundene Welt
Websites
Blogs/Reviews/Emails/Bilder
Sensordaten
Wetter, Wasser, Smart Grids
Soziale Graphen
(Daten einfacher zu sammeln, Bilder/Videos
Facebook, Linked In, Kontakte Verkehr, Überwachungskameras
mehr Menschen generieren Daten)
Application Server Logs Twitter
Websites, Spiele... 50m Tweets/Tag, 1400% Wachstum
pro Jahr

40. Storage Big Data Compute
Warum jetzt?
Datensammlung und
HPC Computing -auswertung
Große Algorithmen & Modelle Bioanalyse, Bergbau, Ingenieurwesen
Websites Sensordaten
Mehr Aspekte der Daten
Blogs/Reviews/Emails/Bilder
Soziale Graphen
Wetter, Wasser, Smart Grids
Bilder/Videos
(Vielfalt, Tiefe,
Facebook, Linked In, Kontakte Ort, Häufigkeit)
Verkehr, Überwachungskameras
Application Server Logs Twitter
Websites, Spiele... 50m Tweets/Tag, 1400% Wachstum
pro Jahr

41. Storage Big Data Compute
Warum jetzt?
Datensammlung und
HPC Computing -auswertung
Große Algorithmen & Modelle Bioanalyse, Bergbau, Ingenieurwesen
Websites Sensordaten
Reichhaltigkeit erhalten
Blogs/Reviews/Emails/Bilder
Soziale Graphen
Wetter, Wasser, Smart Grids
Bilder/Videos
Facebook,muss nicht mitteln,
(man Linked In, Kontakte aggregieren oder löschen)
Verkehr, Überwachungskameras
Application Server Logs Twitter
Websites, Spiele... 50m Tweets/Tag, 1400% Wachstum
pro Jahr

42. Storage Big Data Compute
Von einer Instanz…

43. Storage Big Data Compute
…zu tausenden

44. Storage Big Data Compute
…und zurück zu einer

45. 1 Instanz für 100 Stunden
=
100 Instanzen für 1 Stunde

46. Small Instance = $6

48. Aber was ist das?

49. Ein Framework
Teilt Daten auf
Führt Berechnungen aus
Sammelt die Ergebnisse zusammen

50. Sehr großes
Klick-Log
(TeraByte)

51. Viele Aktivitäten von
Hans Meier
Sehr großes
Klick-Log
(TeraByte)

52. Viele Aktivitäten von
Hans Meier
Sehr großes
Klick-Log
(TeraByte) Splitte das
Log in viele
kleine Teile

53. Verarbeitung in
einem EMR Cluster
Viele Aktivitäten von
Hans Meier
Sehr großes
Klick-Log
(TeraByte) Splitte das
Log in viele
kleine Teile

54. Verarbeitung in
einem EMR Cluster
Viele Aktivitäten von
Hans Meier
Sehr großes
Klick-Log
(TeraByte) Splitte das Aggregiere
Log in viele die
kleine Teile Ergebnisse
von allen
Knoten

55. Verarbeitung in
einem EMR Cluster
Viele Aktivitäten von
Hans Meier
Sehr großes Was
Klick-Log Hans
(TeraByte) Splitte das
Log in viele
Aggregiere
die Meier
kleine Teile Ergebnisse
von allen
Knoten
getan
hat

56. Sehr großes Was
Klick-Log Hans
(TeraByte) Erkenntnisse in einem Bruchteil der Zeit
Meier
getan
hat

57. 1 Instanz für 100 Stunden
=
100 Instanzen für 1 Stunde

58. Small Instance = $6

59. 1 Instanz für 1000 Stunden
=
1000 Instanzen für 1 Stunde

60. Small Instance = $60

61. Features, die Amazon Elastic
MapReduce nutzen:
Diese Geschäfte könnten dich auch interessieren...
Beitrags-Highlights
Automatische Ergänzung bei der Eingabe
Rechtschreib-Vorschläge
Top Suchen
Werbung
200 Elastic MapReduce Jobs pro Tag
verarbeiten 3TB Daten

66. Alles, was eine beschränkte
Ressource war
ist jetzt eine programmierbare
Ressource

67. Nicht vergessen: Schalten Sie Ihre Cloud Ressourcen aus,
wenn Sie sie nicht brauchen

68. Die Cloud ermöglicht die Sammlung von Big
Data

69. Die Cloud ermöglicht die Verarbeitung von
Big Data

70. Die Cloud ermöglicht die Nutzung von Big
Data

71. Ressourcen
• Hadoop Technik und Cases: http://www.powerof60.com/
• http://aws.amazon.com/de
• Beginnen Sie mit dem Free Tier:
http://aws.amazon.com/de/free/
• 25 US$ Startguthaben für Neukunden:
http://aws.amazon.com/de/campaigns/account/
• Twitter: @AWS_Aktuell
• Facebook:
http://www.facebook.com/awsaktuell
• Webinare: http://aws.amazon.com/de/about-aws/events/