65-mal heruntergeladen
Hochgeladen vonAWS Germany
Big Data Webinar (Deutsch)
Das Dokument behandelt das Thema Big Data und dessen Nutzung zur Generierung von Wettbewerbsvorteilen durch die Analyse großer Datenmengen in verschiedenen Branchen. Es erläutert verschiedene Dienstleistungen und Technologien von AWS, die zur Sammlung, Speicherung, Analyse und Verbreitung von Daten eingesetzt werden können. Zudem werden die Vorteile einer Cloud-basierten Infrastruktur für Big Data-Operationen hervorgehoben, einschließlich Kosteneffizienz und Skalierbarkeit.
Weitere ähnliche Inhalte
Ähnlich wie Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)
- 1. Big Data Steffen Krause TechnicalEvangelist @AWS_Aktuell skrause@amazon.de
- 2. Die Big DataRevolution
- 3.
- 4. Die Sammlung undAnalyse von großen Datenmengen, um einen Wettbewerbsvorteil zu erlangen BIG-DATA
- 5. Medien/Werbung Gezielte Werbung Bild und Video Verarbeitung Telco Netz- optimierung TrafficAnalyse Preis- optimierung Retail Empfehlungen Transaktions- Analyse Life Sciences Genom Analyse Finanz-Dienstl. Monte Carlo Simulationen Risiko-Analyse Security Antivirus Betrugs- erkennung Bild- erkennung Soziales Netz/Spiele User Demographics Usage analysis In-game metrics Produk- tion Maschinen- daten-Analyse Ausfall- Vorhersage Big Data Branchen
- 6.
- 7.
- 8. Kann speichern Kannanalysieren Habe Daten
- 9. Kann speichern Kannanalysieren Habe Daten kostengünstig & schnell
- 10. Wer ist IhrKunde wirklich? Was mögen Kunden wirklich? Was geschieht sozial mit Ihren Produkten? Wie verwenden Ihre Kunden Ihre Produkte tatsächlich?
- 11.
- 13. Erkenntnis 1: LassenSie Ihr Amazon Konto zu Hause nicht eingeloggt Erkenntnis 2: Verwenden Sie Ihre vorhandenen Daten für proaktive Prozesse
- 14.
- 15. HPC Computing Große Algorithmen& Modelle Websites Blogs/Reviews/Emails/Bilder Soziale Graphen Facebook, Linked In, Kontakte Application Server Logs Websites, Spiele... Datensammlung und -auswertung Bioanalyse, Bergbau, Ingenieurwesen Sensordaten Wetter, Wasser, Smart Grids Bilder/Videos Verkehr, Überwachungskameras Twitter 50m Tweets/Tag, 1400% Wachstum pro Jahr Warum jetzt? ComputeStorage Big Data
- 16. HPC Computing Große Algorithmen& Modelle Websites Blogs/Reviews/Emails/Bilder Soziale Graphen Facebook, Linked In, Kontakte Application Server Logs Websites, Spiele... Datensammlung und - auswertung Bioanalyse, Bergbau, Ingenieurwesen Sensordaten Wetter, Wasser, Smart Grids Bilder/Videos Verkehr, Überwachungskameras Twitter 50m Tweets/Tag, 1400% Wachstum pro Jahr Warum jetzt? ComputeStorage Big Data Mobil verbundene Welt (Daten einfacher zu sammeln, mehr Menschen generieren Daten)
- 17. HPC Computing Große Algorithmen& Modelle Websites Blogs/Reviews/Emails/Bilder Soziale Graphen Facebook, Linked In, Kontakte Application Server Logs Websites, Spiele... Datensammlung und - auswertung Bioanalyse, Bergbau, Ingenieurwesen Sensordaten Wetter, Wasser, Smart Grids Bilder/Videos Verkehr, Überwachungskameras Twitter 50m Tweets/Tag, 1400% Wachstum pro Jahr Warum jetzt? ComputeStorage Big Data Mehr Aspekte der Daten (Vielfalt, Tiefe, Ort, Häufigkeit)
- 18. HPC Computing Große Algorithmen& Modelle Websites Blogs/Reviews/Emails/Bilder Soziale Graphen Facebook, Linked In, Kontakte Application Server Logs Websites, Spiele... Datensammlung und - auswertung Bioanalyse, Bergbau, Ingenieurwesen Sensordaten Wetter, Wasser, Smart Grids Bilder/Videos Verkehr, Überwachungskameras Twitter 50m Tweets/Tag, 1400% Wachstum pro Jahr Warum jetzt? ComputeStorage Big Data Reichhaltigkeit erhalten (man muss nicht mitteln, aggregieren oder löschen)
- 19. ComputeStorage Big Data 100GB 1,000 PB Herausforderungen fangen bei relativ kleinen Datenmengen an Big Data mit AWS
- 20. Wenn Datenmengen undDatenanalysen so weit skalieren müssen, dass Sie innovativ sein müssen mit Sammlung, Speicherung, Organisation, Analyse und Weitergabe der Daten ComputeStorage Big Data Big Data mit AWS
- 21. DatenApp App http://blog.mccrory.me/2010/12/07/data-gravity-in-the-clouds/ Daten habenSchwerkraft ComputeStorage Big Data
- 22. Daten http://blog.mccrory.me/2010/12/07/data-gravity-in-the-clouds/ …und in großenMengen Trägheit… ComputeStorage Big Data
- 23. Daten http://blog.mccrory.me/2010/12/07/data-gravity-in-the-clouds/ …was es einfachermacht, die Anwendungen zu verschieben als die Daten ComputeStorage Big Data
- 24. Big Data Pipeline Sammeln| Speichern | Organisieren | Analysieren | Weitergeben
- 25. Wohin packen SieIhren Anteil? Sammlung - Laden AWS Direct Connect Dedizierte Leitung zwischen Ihrem RZ und AWS Queuing Zuverlässiges Messaging für verteilte Aufgaben Amazon Storage Gateway Gateway zwischen Ihrer Storage und AWS Storage AWS Import/Export Datentransfer auf physischen Medien von und nach AWS ComputeStorage Big Data
- 26. ComputeStorage Big Data RelationalDatabase Service Voll verwaltete Datenbank (MySQL, Oracle, MSSQL) DynamoDB NoSQL, schemafreie Datenbank mit provisioniertem Durchsatz Simple Storage Service (S3) Objektspeicher mit bis zu 5TB pro Objekt 99,999999999% Dauerhaftigkeit Wohin packen Sie Ihren Anteil?
- 27. ComputeStorage Big Data Glacier Archv-Langzeitspeicher Ab$0,01 pro GB/Month 99.999999999% Dauerhaftigkeit Wohin packen Sie Ihren Anteil?
- 28. ComputeStorage Big Data Glacier– Komplettes Lifecycle Management Daten-Import Physische Datenträger an AWS zum Laden der Daten z.B. 50TB Sensordaten in ein EBS Volumes mit einem Gluster Filesystem Berechnung & Visualisierung HPC & EMR Cluster Jobs auf vielen tausend Cores z.B. 200TB Visualisierungsdaten generiert von der Clusterverarbeitung Langzeitarchiv Nach Abschluss der Analyse werden die Daten ins Glacier Archiv statt auf Tapes gespeichert Kosteneffizient im Vergleich mit Tape, Zugriffszeit 3-5 Stunden wenn Daten benötigt werden
- 29. ComputeStorage Big Data ScalePrice Performance Wie schnell müssen Sie Daten lesen können? Einstellige Millisekunden 10 -100te Millisekunden <5 Stunden DynamoDB Skalierbare Anwendungen Provisionierter Durchsatz Flexible Konsistenzmodelle S3 Jedes Objekt, jede App 99,999999999% Dauerhaftigkeit Objekte bis 5TB Größe Glacier Media & Asset Archiv Sehr geringe Kosten Dauerhaftigkeit wie S3
- 30. ComputeStorage Big Data ScalePrice Performance Verarbeitung in jeder Größe Unbegrenzte Datenmengen
- 31. ComputeStorage Big Data ScalePrice Performance Bezahlung nach Verbrauch Provisioned IOPS Provisionierte Lese/Schreibperformance pro DynamoDB Tabelle/EBS Volume Bezahlung für provisionierte Kapazität, unabhängig von der Nutzung Genutzter Speicherplatz Bezahlung nach gespeichertem Volumen & Lese/Schreibvorgänge Keine Kapazitätsplanung erforderlich für unbegrenzten Speicherplatz
- 32. ComputeStorage Big Data „BigData“ ändert die Dynamik von Berechnung und Datenweitergabe Sammlung ZusammenarbeitBerechnung Wie beschaffe ich die Daten? Wohin packe ich sie? Welche Rechenleistung kann ich anwenden? Wie arbeite ich mit anderen zusammen?
- 33. ComputeStorage Big Data DirectConnect Import/Export S3 DynamoDB EC2 GPUs Elastic Map Reduce Cloud Formation Simple Workflow S3 „Big Data“ ändert die Dynamik von Berechnung und Datenweitergabe Sammlung ZusammenarbeitBerechnung Wie beschaffe ich die Daten? Wohin packe ich sie? Welche Rechenleistung kann ich anwenden? Wie arbeite ich mit anderen zusammen?
- 35. Aber was istdas?
- 36. Ein Framework Teilt Datenauf Führt Berechnungen aus Sammelt die Ergebnisse zusammen
- 37.
- 38. Sehr großes Klick-Log (TeraByte) Viele Aktivitätenvon Hans Meier
- 39. Sehr großes Klick-Log (TeraByte) Viele Aktivitätenvon Hans Meier Splitte das Log in viele kleine Teile
- 40. Sehr großes Klick-Log (TeraByte) Verarbeitung in einemEMR Cluster Viele Aktivitäten von Hans Meier Splitte das Log in viele kleine Teile
- 41. Sehr großes Klick-Log (TeraByte) Aggregiere die Ergebnisse vonallen Knoten Verarbeitung in einem EMR Cluster Viele Aktivitäten von Hans Meier Splitte das Log in viele kleine Teile
- 42. Sehr großes Klick-Log (TeraByte) Was Hans Meier getan hat Aggregiere die Ergebnisse von allen Knoten Verarbeitungin einem EMR Cluster Viele Aktivitäten von Hans Meier Splitte das Log in viele kleine Teile
- 43. Sehr großes Klick-Log (TeraByte) Erkenntnissein einem Bruchteil der Zeit Was Hans Meier getan hat
- 44.
- 45. ComputeStorage Big Data ElasticMapReduce Verwalteter, elastischer Hadoop Cluster Integration mit S3 & DynamoDB Nutzt Hive & Pig Analytics Scripts Integration mit EC2 Optionen wie Spot Instanzen Hadoop-as-a-Service – Elastic MapReduce
- 46. Feature Details Skalierbar VerwendenSie so viele Hadoop Compute Instanzen wie Sie wollen. Ändern Sie die Anzahl der Instanzen während der Job Flow läuft Integriert mit anderen Diensten Nahtlose Integration mit S3 als Quelle oder Ausgabe Integration mit DynamoDB Umfassend Unterstützt Hive und Pig für Definition der Analysen, und komplexe Jobs in Cascading, Java, Ruby, Perl, Python, PHP, R, oder C++ Kosteneffizient Unterstützt Spot Instanzen Monitoring Überwachung der Job Flows aus der AWS Konsole Elastic MapReduce Verwalteter, elastischer Hadoop Cluster Integration mit S3 & DynamoDB Nutzt Hive & Pig Analytics Scripts Integration mit EC2 Optionen wie Spot Instanzen
- 47.
- 48.
- 49. …und zurück zueiner ComputeStorage Big Data
- 50. 1 Instanz für100 Stunden = 100 Instanzen für 1 Stunde
- 51.
- 52. 1 Instanz für1000 Stunden = 1000 Instanzen für 1 Stunde
- 53.
- 54.
- 55.
- 56.
- 57.
- 58.
- 59. Elastic MapReduce Code S3/HDFS Via JDBC, Pig,Hive S3, DynamoDB, Redshift Elastic cluster Eingabedaten Name Node Abfragen + BI
- 60. Elastic MapReduce Code Name Node Ausgabe Eingabedaten Abfragen + BI ViaJDBC, Pig, Hive S3, DynamoDB, Redshift Elastic cluster S3/HDFS
- 61.
- 62. Nicht vergessen: SchaltenSie Ihre Cloud Ressourcen aus, wenn Sie sie nicht brauchen
- 63. S3 DYNAMODB EMR EMRREDSHIFT DYNAMODB DATA PIPELINE Integration
- 64. create external tableitems_db (id string, votes bigint, views bigint) stored by 'org.apache.hadoop.hive.dynamodb.DynamoDBStorageHandler' tblproperties ("dynamodb.table.name" = "items", "dynamodb.column.mapping" = "id:id,votes:votes,views:views"); Integration DynamoDB
- 65. select id, likes,views from items_db order by views desc; Direkte Abfrage
- 66. CREATE EXTERNAL TABLEorders_s3_new_export ( order_id string, customer_id string, order_date int, total double ) PARTITIONED BY (year string, month string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LOCATION 's3://export_bucket'; INSERT OVERWRITE TABLE orders_s3_new_export PARTITION (year='2012', month='01') SELECT* from orders_ddb_2012_01; Integration S3
- 67.
- 68. Data Architecture Data Analyst RawData Get Data Join via Facebook Add a Skill Page Invite Friends Web Servers Amazon S3 User Action Trace Events EMR Hive Scripts Process Content • Process log files with regular expressions to parse out the info we need. • Processes cookies into useful searchable data such as Session, UserId, API Security token. • Filters surplus info like internal varnish logging. Amazon S3 Aggregated Data Raw Events Internal Web Excel Tableau Amazon Redshift
- 69. Features, die AmazonElastic MapReduce nutzen: Diese Geschäfte könnten dich auch interessieren... Beitrags-Highlights Automatische Ergänzung bei der Eingabe Rechtschreib-Vorschläge Top Suchen Werbung 200 Elastic MapReduce Jobs pro Tag verarbeiten 3TB Daten
- 74. Alles, was einebeschränkte Ressource war ist jetzt eine programmierbare Ressource
- 75. Die Cloud ermöglichtdie Sammlung von Big Data
- 76. Die Cloud ermöglichtdie Verarbeitung von Big Data
- 77. Die Cloud ermöglichtdie Nutzung von Big Data
- 78. • Hadoop Technikund Cases: http://www.powerof60.com/ • http://aws.amazon.com/de • Beginnen Sie mit dem Free Tier: http://aws.amazon.com/de/free/ • 25 US$ Startguthaben für Neukunden: http://aws.amazon.com/de/campaigns/account/ • Twitter: @AWS_Aktuell • Facebook: http://www.facebook.com/awsaktuell • Webinare: http://aws.amazon.com/de/about-aws/events/ Ressourcen