Rbu amanox big_data_intro_infrastruktur

301 Aufrufe

Veröffentlicht am

0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
301
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
4
Aktionen
Geteilt
0
Downloads
7
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Rbu amanox big_data_intro_infrastruktur

  1. 1. BigData-Schlüsselerfolgsfaktoren aus der Praxis Anforderungen und Alternativen Berner Fachhochschule, Informatik, Mittwoch, 1.7.2015
  2. 2. Agenda Big Data After-Work Seminar @BFH Zeit Thema Referent 17.30 Begrüssung Dr. Arno Schmidhauser, BFH 17.35 Big Data – Infrastruktur und Software- Stacks René Burgener, amanox solutions AG 18.00 BigData – Instrumente, Werkzeuge, Frameworks und konkrete Use-Cases Dr. Daniel Fasel, Scigility GmbH 18.50 BigData PaaS – Automatisierung & Orchestration Frameworks Matthias Imsand, amanox solutions AG 19.20 Wrap-Up – Zusammenfassung und Take- away’s Urs Zumstein, amanox solutions AG 19.30 Abschluss der Veranstaltung – individuelles Networking Teilnehmer Inhalt
  3. 3. BigData-Infrastruktur und Software-Stacks Anforderungen und Alternativen Berner Fachhochschule, Informatik, Mittwoch, 1.7.2015 Senior Consultant René Burgener
  4. 4. Unsere Herausforderung – digitale Welt 2020
  5. 5. Big Data- Infrastruktur und Software-Stacks Inhalt • Big Data – Herausforderungen und Dimension Die digitale Transformation unseres Alltags 60 Sekunden im Internet Zeitalter Die Welt im 2020 (IoT - Internet-of-Things) • Big Data – Die Entstehung der Technologien & Instrumente • Big Data – Anforderungen an die Infrastruktur • Big Data – Hadoop Distributionen im Überblick • Big Data – Take away’s
  6. 6. Unser vernetzter Alltag Quelle: http://img.geo.de/div/image/78762/big-data-gross.jpg
  7. 7. 60 Sekunden im Sozial Media Zeitalter
  8. 8. Ausblick auf zukünftige Herausforderungen Heute
  9. 9. Wie gross wird Big Data wirklich?
  10. 10. Big Data Technologien sorgt dafür, dass die Welt sich dreht - Heute als auch Morgen
  11. 11. Big Data Entstehung der Technologien & Instrumente Paradigmenwechsel, Prinzipien, Publikationen, Technologien
  12. 12. Die Vorreiter der ersten Stunde • Google publizierte 2004 die Referenzarchitektur für MapReduce zusammen mit dem Google File System (ein verteiltes Datei-System).  MapReduce war der Pate für die Entwicklung von Hadoop  Das Google File System war der Pate für das Hadoop Distributed File System (HDFS) • Dough Cutting entwickelte Hadoop – einfache MapReduce Implementation für Unternehmen • Yahoo!: Entwickelte Hadoop weiter und übergab das Resultat an das Apache Open Source Project • Hadoop ist heute der weltweit verbreiteste Technologie Stack für Big Data Projekte • Für Hadoop gibt es verschiedenen Distributionen mit unterschiedlich verfügbarem Support und verschieden zusammengesetzten Tools  Apache Hadoop Project Organisation  HortonWorks  Cloudera (wo Dough Cutting als Chef-Architekt arbeitet)
  13. 13. Die 4 V’s von Big Data Volumen Vielfalt (Variety) Ungenauigkeit (Veracity) Geschwindigkeit (Velocity) Datenspeicherungsvolumen Datenbewegung (z.B. Streaming) Daten in vielen Formen Datenunschärfe
  14. 14. Die 4 V’s von Big Data
  15. 15. Big Data: Paradigmawechsel Traditionelles Vorgehen Big Data Vorgehen Gesamte Informationsmenge Gesamter Datenbestand wird analysiert Analysierter Informations- Ausschnitt Analyse von kleinen Data-Subsets Analyse des gesamten Datenbestandes
  16. 16. Big Data: Paradigmawechsel 2 Traditionelles Vorgehen Big Data Vorgehen Hypothese Start mit einer Hypothese und Prüfung gegen die vorhandenen Daten Erkunde alle vorhandenen Daten und erkenne die Korrelationen ?   Fragestellung Antwort Daten  Daten Exloration KorrelationErkenntnis
  17. 17. Die Vielfalt der Daten (Informationen) Kunde Name Vorname Kundennummer Ort Artikel Bezeichnung EAN Preis MwSt KundenNr EAN Netto MwSt Brutto Datum 98273891 CH28309810 12,21 8% 24,05 19.04.15 83691817 CH94839928 81,77 8% 97,31 22.04.15 63879287 CH87687628 2,31 7% 2,47 29.04.15 Relationale DB - Attribute - Tupel SQL Query: SELECT SUM(BRUTTO) WHERE KUNDENNR = 123456789 Relationale DB Parallelverarbeitung
  18. 18. Beispiel: Erkennung von Kreditkartenmissbrauch Visa hat ca. 2 Mrd. Kreditkarten weltweit Kreditkartenunternehmen erstellen ein Muster aus den Zahlungsdaten Werden einige Tage später Einkäufe im Reiseland getätigt, liegt evtl. ein Missbrauch vor! Durch Big Data Technologie hat sich die Dauer der Analyse von 45 Min. auf 4 Sek. verkürzt Quelle: Bild der Wissenschaft, Ulrich Schmitz
  19. 19. Big Data Anforderungen an die Infrastruktur Analogie der Big Data und der Web-Scale Technologien
  20. 20. Die Infrastrukturanforderungen POWERzu erschwinglichem Preis • Rechenpower & Datenspeicherkapazität • Rechner (Verarbeitungsgeschwindigkeit)  1 Rechner = sequentiell  Mehrere Rechner = parallel  Tausende Rechner = Skalierbarkeit (Clustering) • Storage (Speichervolumen)  Schreib- und Lesegeschwindigkeit  Speicherkapazität vs. Baugrösse (Abmessungen)  Verdichtung  Kosten pro Speichereinheit  Agile, dynamische Skalierbarkeit • Informations-Korrelation  Abhängig vom raschen Austausch der Informationen zwischen Speicher und Rechner  Idealerweise besteht ein direkter Austausch
  21. 21. Die richtige Antwort ist hyperkonvergente Infrastruktur
  22. 22. Infrastruktur Gemeinsamkeiten Hyperkonvergenter Technologie Stack (z.B. NUTANIX) Hadoop Big Data Open Source Technologie Stack Commodity Hardware File SystemMap Reduce Architecture x86 CPU x86 CPU parallel Computing store explosive Data NDFSCluster Cluster virtual Infrastructure OSS virtual Machine Commodity Storage
  23. 23. Vorteile hyperkonvergente Infrastruktur Big Data Desktop Virtualisierung Server Virtualisierung Converged Software defined massively scalable Server Flash Hybrid
  24. 24. Big Data Hadoop Distributionen Open Source Projekt Apache Hadoop; die wichtigsten Distributionen
  25. 25. Big Data: Hadoop Software Distributionen
  26. 26. Big Data: Take aways Grundsätzlicher Paradigmawechsel bei der Technologie INFRASTRUKTUR STACK Herausforderungen mit Web-Scale Technologien meistern Grundprinzipien • agil statt statisch • umfassend statt selektiv • explorativ statt hypothetisch • parallel statt sequentiell • offen statt proprietär • einfach statt komplex • automatisch statt manuell • virtuell statt physikalisch Software Defined Everything!
  27. 27. Big Data – Einführung und Infrastruktur Danke für Ihr Interesse
  28. 28. Big Data Wrap-Up und Abschluss Urs Zumstein, Senior Consultant, amanox solutions AG
  29. 29. BigData / Enterprise Lösungen Big Data Applikationen • Strategie «schema on read» eröffnet neue Vorgehensweisen, mehr Flexibilität für während der Produktelaufzeit veränderte Bedürfnisse • BigData Lösungen / Public Clouds • BigData Private Cloud Hadoop als «Middleware» • Hadoop wird für verschiedene BigData Vorhaben eingesetzt • Hadoop entwickelt sich als Standard Plattform • Integration auf Enterprise Plattform Nutanix Plattform Eine Lösung für verschiedene Workload • Hadoop / «BigData Lake» • Virtual Desktop Infrastructures (VDI) • Server Virtualisierung (Exchange, DB, Sharepoint, ..) • Software Defined Networks (SDN) • Ideale Basis für Orchestration and Automation (nur zwei Typen API im RZ) Dienstleistungen • BigData Analytic Plattform (Plan, Build, Run) • Technisches Consulting • DevOps und Engineering (Plan, Build, Run) • Performance Care Services
  30. 30. Unsere Vision Cloud Design Manufacture ICT Automation and Standardization BigData Infrastructure Expertise Application Performance Management (APM) Wir unterstützen unsere Kunden bei der Standardisierung und Automatisierung Ihrer ICT Services. Cloud Services CPU Mem Software Management Stack Software Defined Network App App App
  31. 31. Big Data – Veranstaltung Die Grenzen der digitalen Transformation https://m.youtube.com/watch?v=N8w6COfheoo

×