Arjan Burger
Einführung Big Data für Unternehmen
https://eduvision.de / .at / .ch
www.eduvision.de / .at. / .ch
Programm
• Was sind Big Data?
• Zahlen und Fakten
• Spezialisierungen innerhalb Big Data
• Branchen
• Analyse-Techniken
• Infrastruktur & Tools
www.eduvision.de / .at. / .ch
Ausgangspunkt
„Big Data” ist für Sie interessant, wenn…
•…Sie über viele Daten verfügen
•…Sie daraus einen Mehrwert generieren möchten
•…Sie bereits sind Umzudenken und -strukturieren
www.eduvision.de / .at. / .ch
Big Data Anwendungen
• Die Kundenkarte
• Logistik-Tracking
• Personalisierte Webseiten
• Wissenschaftliche Aufgaben
www.eduvision.de / .at. / .ch
Merkmale Big Data
Die 5 V’s:
– Volume
– Variety
– Velocity
– Veracity
– Value
www.eduvision.de / .at. / .ch
Volume
• Vieeeeeeeeeel Daten
• Abhängig von Organisation
• Neue Technologien sorgen für mehr
Möglichkeiten
www.eduvision.de / .at. / .ch
Variety
• Verschiedenartigkeit der Datan
• Erfassung
– Strukturiert
– Unstrukturiert
– Halb-strukturiert
• Mehrere Quellen
www.eduvision.de / .at. / .ch
Velocity
• „Geschwindigkeit“ der Daten
– Erfassung neuer Daten
– Analytische Verarbeitung: (Near)Realtime?
www.eduvision.de / .at. / .ch
Veracity
• Glaubwürdigkeit
• Zuverlässigkeit
• Genauigkeit durch größeres Datenvolumen
erhöht
– Beispiel: Verbesserung von Rechtschreibfehlern
in Google
www.eduvision.de / .at. / .ch
Value
• Welcher (Mehr)Wert kann aus den Daten
gezogen werden?
• Abwägung Kosten - Nutzen
www.eduvision.de / .at. / .ch
Jahresumsatz Big Data-Lösungen in Deutschland
www.eduvision.de / .at. / .ch
Branchen
• Finanzdienstleistung
• Gesundheitswesen
• Mobilität und Infrastruktur
• Öffentliche Behörden
• Ihre Branche?
www.eduvision.de / .at. / .ch
IT-Infrastruktur
www.eduvision.de / .at. / .ch
Datenbanken
(Verschiedene Quellen)
Data Collector / Data Transformator
oder
Data
Lake
Data
Warehouse
www.eduvision.de / .at. / .ch
IT-Infrastruktur
• Auswahl der Datenbank(en)
• Verbinden der Datenbanken
• Data Warehouse
• Data Lake
www.eduvision.de / .at. / .ch
Data Warehouse
• Sammelt Daten aus verschiedenen Quellen
und fügt sie zu neuer Struktur zusammen
• Strukturierte Daten
• Grundsätzlich neue Database
www.eduvision.de / .at. / .ch
Data Lake
• So viel wie möglich: Originaldaten aus
Originalquelle
• Nicht transformiert (und oft unstrukturiert)
www.eduvision.de / .at. / .ch
Spezialisierungen
www.eduvision.de / .at. / .ch
Spezialisierungen
Data
Mining
Predictive
Analytics
www.eduvision.de / .at. / .ch
Data Mining
• “Lassen Sie die Daten arbeiten!”
• Suche nach statistische Korrelationen,
Mustern und Beziehungen in den Daten,
mithilfe von
– Algorithmen
– Entscheidungsbäumen
– Neuralen Netze
www.eduvision.de / .at. / .ch
Entscheidungsbaum
www.eduvision.de / .at. / .ch
Predictive Analytics
• Verhaltensmuster analysieren und damit:
• Verhalten vorhersagen
– (z.B. Amazon Kaufempfehlungen)
• “Data-driven” Entscheidungen
• Vorhersagemodelle entwickeln
www.eduvision.de / .at. / .ch
Planung im Unternehmen
www.eduvision.de / .at. / .ch
Planung
• Bestandsaufnahme
• Ziel definieren
• Rollen verteilen & Erwartungen definieren
• Managementstrukturen definieren
• IT-Infrastruktur schaffen
• Loslegen!
www.eduvision.de / .at. / .ch
Strategie: Bestandsaufnahme
• Welche Daten sind verfügbar?
• Welche Art von Daten stehen zur Verfügung?
• Wer ist der Eigentümer dieser Daten?
• Wie sind die Daten verfügbar (online/offline)?
www.eduvision.de / .at. / .ch
Ziele definieren
• Was versprechen Sie sich von Big Data?
• Welcher Mehrwert soll generiert werden?
z.B.
– Umsatzsteigerung
- Optimierung der Betriebsprozesse
– Kostenreduzierung
– Andere Ziele
www.eduvision.de / .at. / .ch
Managementstrukturen
• Verantwortlichkeit
• Zeitraum
• Monitoring
• Budget
• Intern vs. Cloud
www.eduvision.de / .at. / .ch
Konkrete IT-Lösungen
www.eduvision.de / .at. / .ch
Konkrete IT-Lösungen
• IT ist der Motor von Big Data
• Cloud VS. Non-Cloud
• SQL VS. NoSQL
• Rechenleistung (einkaufen)
• Architektur
www.eduvision.de / .at. / .ch
NoSQL
• Unstrukturiert
• Konzentriert auf große Mengen Daten
• “No-schema”-Datenbanken
• Nicht-traditionelle Datenbanken
• MongoDB
• Cassandra
• Elastic (Elasticsearch)
• Hbase (gebouwd op Hadoop)
www.eduvision.de / .at. / .ch
Hadoop / Mapreduce
• Kann großes Volumen an Daten speicheren
und verarbeiten (MapReduce)
• Sehr robust (erkennt automatisch Fehler und
versucht diese zu beheben)
„Hadoop bewegt nicht die Daten,
sondern den Prozess“
www.eduvision.de / .at. / .ch
Und jetzt?
• Bewerten Sie die Anforderungen Ihrer
Organisation
• Eignen Sie sich das nötige Wissen an
• Beginnen Sie mit einem kleinen Projekt
www.eduvision.de / .at. / .ch
Big Data Academy
• Foundation
• Big Data Manager
• Big Data Analyst
• Big Data Programmer
• Big Data Architect
Mehr Info? www.eduvision.de / .at / . ch
www.eduvision.de / .at. / .ch
Fragen?
Bitte kontaktieren Sie uns!
Big Data-Beratung: Heiko Knierim
+49 (0)211 2370 6572 +43 (0) 720 881 905
info@eduvision.de info@eduvision.at
+41 (0) 435 081 491
info@eduvision.ch

Webinar big data für unternehmen

  • 1.
    Arjan Burger Einführung BigData für Unternehmen https://eduvision.de / .at / .ch
  • 2.
    www.eduvision.de / .at./ .ch Programm • Was sind Big Data? • Zahlen und Fakten • Spezialisierungen innerhalb Big Data • Branchen • Analyse-Techniken • Infrastruktur & Tools
  • 3.
    www.eduvision.de / .at./ .ch Ausgangspunkt „Big Data” ist für Sie interessant, wenn… •…Sie über viele Daten verfügen •…Sie daraus einen Mehrwert generieren möchten •…Sie bereits sind Umzudenken und -strukturieren
  • 4.
    www.eduvision.de / .at./ .ch Big Data Anwendungen • Die Kundenkarte • Logistik-Tracking • Personalisierte Webseiten • Wissenschaftliche Aufgaben
  • 5.
    www.eduvision.de / .at./ .ch Merkmale Big Data Die 5 V’s: – Volume – Variety – Velocity – Veracity – Value
  • 6.
    www.eduvision.de / .at./ .ch Volume • Vieeeeeeeeeel Daten • Abhängig von Organisation • Neue Technologien sorgen für mehr Möglichkeiten
  • 7.
    www.eduvision.de / .at./ .ch Variety • Verschiedenartigkeit der Datan • Erfassung – Strukturiert – Unstrukturiert – Halb-strukturiert • Mehrere Quellen
  • 8.
    www.eduvision.de / .at./ .ch Velocity • „Geschwindigkeit“ der Daten – Erfassung neuer Daten – Analytische Verarbeitung: (Near)Realtime?
  • 9.
    www.eduvision.de / .at./ .ch Veracity • Glaubwürdigkeit • Zuverlässigkeit • Genauigkeit durch größeres Datenvolumen erhöht – Beispiel: Verbesserung von Rechtschreibfehlern in Google
  • 10.
    www.eduvision.de / .at./ .ch Value • Welcher (Mehr)Wert kann aus den Daten gezogen werden? • Abwägung Kosten - Nutzen
  • 11.
    www.eduvision.de / .at./ .ch Jahresumsatz Big Data-Lösungen in Deutschland
  • 12.
    www.eduvision.de / .at./ .ch Branchen • Finanzdienstleistung • Gesundheitswesen • Mobilität und Infrastruktur • Öffentliche Behörden • Ihre Branche?
  • 13.
    www.eduvision.de / .at./ .ch IT-Infrastruktur
  • 14.
    www.eduvision.de / .at./ .ch Datenbanken (Verschiedene Quellen) Data Collector / Data Transformator oder Data Lake Data Warehouse
  • 15.
    www.eduvision.de / .at./ .ch IT-Infrastruktur • Auswahl der Datenbank(en) • Verbinden der Datenbanken • Data Warehouse • Data Lake
  • 16.
    www.eduvision.de / .at./ .ch Data Warehouse • Sammelt Daten aus verschiedenen Quellen und fügt sie zu neuer Struktur zusammen • Strukturierte Daten • Grundsätzlich neue Database
  • 17.
    www.eduvision.de / .at./ .ch Data Lake • So viel wie möglich: Originaldaten aus Originalquelle • Nicht transformiert (und oft unstrukturiert)
  • 18.
    www.eduvision.de / .at./ .ch Spezialisierungen
  • 19.
    www.eduvision.de / .at./ .ch Spezialisierungen Data Mining Predictive Analytics
  • 20.
    www.eduvision.de / .at./ .ch Data Mining • “Lassen Sie die Daten arbeiten!” • Suche nach statistische Korrelationen, Mustern und Beziehungen in den Daten, mithilfe von – Algorithmen – Entscheidungsbäumen – Neuralen Netze
  • 21.
    www.eduvision.de / .at./ .ch Entscheidungsbaum
  • 22.
    www.eduvision.de / .at./ .ch Predictive Analytics • Verhaltensmuster analysieren und damit: • Verhalten vorhersagen – (z.B. Amazon Kaufempfehlungen) • “Data-driven” Entscheidungen • Vorhersagemodelle entwickeln
  • 23.
    www.eduvision.de / .at./ .ch Planung im Unternehmen
  • 24.
    www.eduvision.de / .at./ .ch Planung • Bestandsaufnahme • Ziel definieren • Rollen verteilen & Erwartungen definieren • Managementstrukturen definieren • IT-Infrastruktur schaffen • Loslegen!
  • 25.
    www.eduvision.de / .at./ .ch Strategie: Bestandsaufnahme • Welche Daten sind verfügbar? • Welche Art von Daten stehen zur Verfügung? • Wer ist der Eigentümer dieser Daten? • Wie sind die Daten verfügbar (online/offline)?
  • 26.
    www.eduvision.de / .at./ .ch Ziele definieren • Was versprechen Sie sich von Big Data? • Welcher Mehrwert soll generiert werden? z.B. – Umsatzsteigerung - Optimierung der Betriebsprozesse – Kostenreduzierung – Andere Ziele
  • 27.
    www.eduvision.de / .at./ .ch Managementstrukturen • Verantwortlichkeit • Zeitraum • Monitoring • Budget • Intern vs. Cloud
  • 28.
    www.eduvision.de / .at./ .ch Konkrete IT-Lösungen
  • 29.
    www.eduvision.de / .at./ .ch Konkrete IT-Lösungen • IT ist der Motor von Big Data • Cloud VS. Non-Cloud • SQL VS. NoSQL • Rechenleistung (einkaufen) • Architektur
  • 30.
    www.eduvision.de / .at./ .ch NoSQL • Unstrukturiert • Konzentriert auf große Mengen Daten • “No-schema”-Datenbanken • Nicht-traditionelle Datenbanken • MongoDB • Cassandra • Elastic (Elasticsearch) • Hbase (gebouwd op Hadoop)
  • 31.
    www.eduvision.de / .at./ .ch Hadoop / Mapreduce • Kann großes Volumen an Daten speicheren und verarbeiten (MapReduce) • Sehr robust (erkennt automatisch Fehler und versucht diese zu beheben) „Hadoop bewegt nicht die Daten, sondern den Prozess“
  • 32.
    www.eduvision.de / .at./ .ch Und jetzt? • Bewerten Sie die Anforderungen Ihrer Organisation • Eignen Sie sich das nötige Wissen an • Beginnen Sie mit einem kleinen Projekt
  • 33.
    www.eduvision.de / .at./ .ch Big Data Academy • Foundation • Big Data Manager • Big Data Analyst • Big Data Programmer • Big Data Architect Mehr Info? www.eduvision.de / .at / . ch
  • 34.
    www.eduvision.de / .at./ .ch Fragen? Bitte kontaktieren Sie uns! Big Data-Beratung: Heiko Knierim +49 (0)211 2370 6572 +43 (0) 720 881 905 info@eduvision.de info@eduvision.at +41 (0) 435 081 491 info@eduvision.ch