Sowohl die Technologie Hadoop als auch das Konzept Data Lake sind erst seit kur­zer Zeit im Enterprise-Kontext im Einsatz. Entsprechend fällt es Unternehmen häu­fig schwer, zwischen medialer Überhöhung und tatsächlich realisierbaren Mehrwert zu unterscheiden. Ob es Unternehmen gelingt, sich die Vorteile zunutze zu machen, untersucht diese Studie zum Stand und zur zukünftigen Entwicklung von Big Data und dessen Anwendungsfälle in Unternehmen. Mit weltweit über 380 Teilnehmern bei einer breit gefächerten Branchenverteilung gehört die vorliegende Studie „Hadoop und Data Lakes“ zu den größten Untersuchungen, die sich speziell den Herausforderungen bei der Datenanalyse mit Hadoop widmen.

1. 1© Cloudera, Inc. All rights reserved.
BARC Studie Webinar:
Ausgereifte Analysen mit
Apache Hadoop
Wim Stoop
Senior PMM, Cloudera
@TheWimster
Timm Grosser
VP BI Consulting, BARC
@timmgrosser

2. Ergebnisse der BARC Studie
Hadoop und Data Lakes 2016
Webinar, 13.12.2016
Timm Grosser, VP Head of BI Consulting

3. Über die CXP Group
32016

4. BARC: Expertise für datengetriebene Unternehmen
52016

5. Warum diskutieren wir Hadoop?
13.12.2016 © BARC 2016 6
Management & Fachbereiche
• Der Wert und Nutzen von Daten
steigt
• Gestiegene Erwartungshaltung im
Management und Fachbereich
• Optimierung und Innovation
IT
• Re-Definition der IT – IT als
Business Partner oder technischer
Enabler?
• IT-Kostendruck und Service-
Qualität (Optimierung der
bestehenden
Datenmanagementaufgaben)
Daten & Analyse
• Mehr und umfangreichere Analysen
sind machbar
• Mehr Daten sind verfügbar
• Abdeckung verschiedener Analyse-
Disziplinen: Klassische BI –
Explorativ – Operativ
Klassische BI Umgebungen stoßen an Ihre Grenzen.
Heutige Anforderungen erfordern teils neue Technologien, Skills und Prozesse.

6. Ist Hadoop die Lösung?
13.12.2016 © BARC 2016 7
Bildquelle: http://www.gobraithwaite.com/blog/wp-content/
uploads/2011/07/Blog-Brand-Evangelist.jpg
Höret und
staunet
Thesen, die es zu hinterfragen gilt:
• ist kostengünstig
• ist flexibel, schnell und einfach in der Implementierung
• bietet umfangreiche Unterstützung für unterschiedlich
strukturierte Daten
• liefert funktionale Vorteile ggü. Werkzeugen, die in der
klassischen BI Fabrik eingesetzt werden
• skaliert einfach und schnell entlang Daten und
Funktionen auf Basis einer parallelen
Datenverarbeitung
• ist die präferierte Technologie zum Aufbau des Data
Lakes
• kann gleichzeitig für Analysen und auch online/real-time
Anwendungen verwendet werden

7. Was ist Apache Hadoop?
13.12.2016 © BARC 2016 8
HDFS2 (Redundant, Reliable Storage)
YARN (Cluster Resource Management)
BATCH
(MapReduce)
INTERACTIVE
(Tez)
STREAMING
(Storm, S4,…)
GRAPH
(Giraph)
IN-MEMORY
(Spark)
HPC MPI
(OpenMPI)
ONLINE
(HBase)
OTHER
(Search)
(Weave…)
“Hadoop is an open-source software framework for storing data and running
applications on clusters of commodity hardware. It provides massive storage for any
kind of data, enormous processing power and the ability to handle virtually limitless
concurrent tasks or jobs.”

8. 13.12.2016 © BARC 2016 9
Was erwarten wir von Hadoop?
Hilfe, wo Data Warehouse Landschaften an die
Grenzen stoßen.

9. Datenkategorien und ihre Merkmale
13.12.2016 © BARC 2016 10
Quelldaten
Kategorie
Qualität Komplexität Interpretierbarkeit Störgeräusch
Transaktionale
Daten
Maschinen-
generiert
Mensch-
generiert
Data Warehouse Prozessaffinität
Big Data Prozessaffinität

10. Mind shift durch Big Data
Analyseprozess, Datenpersistenz und Datenmenge
11
13.12.2016
13.12.2016 © BARC 2016

11. Mind shift durch Big Data
Analyseprozess, Datenpersistenz und Datenmenge
12
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Data Warehousing Prozess
13.12.2016
13.12.2016 © BARC 2016

12. Mind shift durch Big Data
Analyseprozess, Datenpersistenz und Datenmenge
13
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Data Warehousing Prozess
Erst prüfen, dann
sammeln
13.12.2016
13.12.2016 © BARC 2016

13. Mind shift durch Big Data
Analyseprozess, Datenpersistenz und Datenmenge
14
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Data Warehousing Prozess Big Data Prozess
Erst prüfen, dann
sammeln
13.12.2016
13.12.2016 © BARC 2016

14. Mind shift durch Big Data
Analyseprozess, Datenpersistenz und Datenmenge
15
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Data Warehousing Prozess Big Data Prozess
Erst prüfen, dann
sammeln
Erst (alles) sammeln,
dann prüfen
Sicheres Ergebnis
Unsicheres Ergebnis
(„fast fail“)
13.12.2016
13.12.2016 © BARC 2016

15. Mind shift durch Big Data
Analyseprozess, Datenpersistenz und Datenmenge
16
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Datenaufbereitung
Datenanalyse
Visualisierung
Analytik
Datenbereitstellung
Datenspeicherung
Data Warehousing Prozess Big Data Prozess
Erst prüfen, dann
sammeln
Erst (alles) sammeln,
dann prüfen
Sicheres Ergebnis
Unsicheres Ergebnis
(„fast fail“)
Reglementierte,
verifizierende Analyse
Explorative Analyse auf
alle Daten
13.12.2016
13.12.2016 © BARC 2016

16. Advanced-Analytics-Projekt-Zyklus:
Von der Hypothese zur Operationalisierung
172016
Abbruch der
Untersuchung
Einmalige
Erkenntnis-Anwendung
Operationalisierung
(Integration in
operative Prozesse)
Projektauftrag
Aufgabenverständnis
Ergebnisevaluation /
Gütebewertung
Fortlaufende
Bewertung
der Güte des Modells
Modellierung &
Modellvalidierung
Datenverständnis,
Selektion, Integration &
Aufbereitung
60%
20%
10%
5%
5%

17. 13.12.2016 © BARC 2016 18
Ergebnisse der BARC Studie
“Hadoop und Data Lakes 2016”

18. Der BARC Survey “Hadoop und Data Lakes”
Über
380
Teilnehmer
Breite Abdeckung verschiedener Branchen und Unternehmensgrößen
Anwenderumfrage zum Status Quo und
Fortschritt von Hadoop
Relevanz von Hadoop
und Data Lakes
Nutzen und
Herausforderungen
Einsatzszenarien
Status Quo von Hadoop und
Data Lakes
Globale
Befragung
Auflage
2.
Bis 250
Mitarbeiter
250 – 2,500
Mitarbeiter
Mehr als 2,500
Mitarbeiter
23% 33% 45%
ServicesIndustrie
Banksektor
IT
Handel
Öffentlicher
Sektor
Sonstige
24% 22% 16%
14%
9%
6%
9%

19. 7 Erkenntnisse aus der Studie
1. Hadoop - Trendtechnologie mit hohem Potential
2016 21

20. Die Nutzung von Hadoop hängt vom Anwendungsfall
ab und wird nicht durch die Unternehmensgröße definiert
13.12.2016 © BARC 2016 22
Quelle: BARC Studie Hadoop und Data Lakes 2016

21. Die Nutzung von Hadoop hängt vom Anwendungsfall
ab und wird nicht durch die Unternehmensgröße definiert
Die Studie zeigt zudem, das der Einsatz
von Hadoop zudem unabhängig ist von:
• Datenvolumen
• Datenaktualität
• Datentypen
13.12.2016 © BARC 2016 23
Quelle: BARC Studie Hadoop und Data Lakes 2016

22. Nach wie vor breites Einsatzfeld von Hadoop –
in Hadoop steckt mehr als in einem Dateiablagesystem
13.12.2016 © BARC 2016 24
Quelle: BARC Studie Hadoop und Data Lakes 2016

23. Nach wie vor breites Einsatzfeld von Hadoop –
in Hadoop steckt mehr als in einem Dateiablagesystem
13.12.2016 © BARC 2016 25
Quelle: BARC Studie Hadoop und Data Lakes 2016

24. Nach wie vor breites Einsatzfeld von Hadoop –
in Hadoop steckt mehr als in einem Dateiablagesystem
13.12.2016 © BARC 2016 26
Quelle: BARC Studie Hadoop und Data Lakes 2016

25. 7 Erkenntnisse aus der Studie
1. Hadoop - Trendtechnologie mit hohem Potential
2. BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte
2016 27

26. BI Competence Center und Data-Science-Team
treiben Hadoop-Initiativen
13.12.2016 © BARC 2016 28
Quelle: BARC Studie Hadoop und Data Lakes

27. BI Competence Center und Data-Science-Team
treiben Hadoop-Initiativen
13.12.2016 © BARC 2016 29
Quelle: BARC Studie Hadoop und Data Lakes

28. BI Competence Center und Data-Science-Team
treiben Hadoop-Initiativen
13.12.2016 © BARC 2016 30
Quelle: BARC Studie Hadoop und Data Lakes
52%
41%
25%
25%
7%
IT-Abteilung
BI-Organisation
Fachbereich
Management
Sonstige
BARC Survey „Hadoop 2015“, n=178

29. 7 Erkenntnisse aus der Studie
1. Hadoop - Trendtechnologie mit hohem Potential
2. BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte
3. Umsetzung erfolgt hauptsächlich durch kommerzielle Werkzeuge und Hadoop-
Distributionen
2016 31

30. Kommerzielle Software und Hadoop-Distributionen im eigenen Haus sind die erste
Wahl zur Umsetzung
13.12.2016 © BARC 2016 32
Quelle: BARC Studie Hadoop und Data Lakes
Hadoop
Nicht
anwendbar
Kommerzielle
Produkte

31. Kommerzielle Software und Hadoop-Distributionen im eigenen Haus sind die erste
Wahl zur Umsetzung
13.12.2016 © BARC 2016 33
Quelle: BARC Studie Hadoop und Data Lakes
Hadoop
Nicht
anwendbar
Kommerzielle
Produkte

32. Kosteneffizienz, funktionale Leistungs-/Innovationskraft und
Betreibbarkeit sind mit Hauptgründe für den Einsatz von Apache Hadoop
13.12.2016 © BARC 2016 34
Quelle: BARC Studie Hadoop und Data Lakes
Dies gilt allerdings nicht grundsätzlich für alle untersuchten Werkzeugklassen

33. Kosteneffizienz, funktionale Leistungs-/Innovationskraft und
Betreibbarkeit sind mit Hauptgründe für den Einsatz von Apache Hadoop
13.12.2016 © BARC 2016 35
Quelle: BARC Studie Hadoop und Data Lakes
Dies gilt allerdings nicht grundsätzlich für alle untersuchten Werkzeugklassen

34. 7 Erkenntnisse aus der Studie
1. Hadoop - Trendtechnologie mit hohem Potential
2. BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte
3. Umsetzung erfolgt hauptsächlich durch kommerzielle Werkzeuge und Hadoop-
Distributionen
4. Klarer Fall für Hadoop: Customer Intelligence und Predictive Analytics
2016 36

35. Customer Intelligence und Predictive Analytics sind die
am häufigsten umgesetzten Hadoop-Projekte
13.12.2016 © BARC 2016 37
Quelle: BARC Studie Hadoop und Data Lakes

36. Customer Intelligence und Predictive Analytics sind die
am häufigsten umgesetzten Hadoop-Projekte
13.12.2016 © BARC 2016 38
Quelle: BARC Studie Hadoop und Data Lakes

37. Customer Intelligence und Predictive Analytics sind die
am häufigsten umgesetzten Hadoop-Projekte
13.12.2016 © BARC 2016 39
Quelle: BARC Studie Hadoop und Data Lakes
71%
68%
44%
42%
40%
31%
27%
27%
26%
21%
9%
7%
1%
Analyse
Predictive Analytics
Data Integration & Quality
Dashboarding und Reporting
Datenspeicherung
Machine Learning
Search & Discovery
Archivierung
Sandboxing
Streaming
Master Data Management
Dokumentenmanagement
Sonstige
Kernkomponenten in Hadoop Use Cases,
n=242

38. 7 Erkenntnisse aus der Studie
1. Hadoop - Trendtechnologie mit hohem Potential
2. BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte
3. Umsetzung erfolgt hauptsächlich durch kommerzielle Werkzeuge und Hadoop-
Distributionen
4. Klarer Fall für Hadoop: Customer Intelligence und Predictive Analytics
5. Großer analytischer Nutzen durch Hadoop
2016 40

39. 59%
53%
47%
43%
33%
33%
27%
26%
26%
25%
20%
19%
18%
6%
2%
Analyse von Daten aus heterogenen, divergenten Datenquellen ermöglichen/verbessern
Kundenverhalten vorhersagen, Kundenbindung verbessern
Steigerung der Flexibilität im Umgang mit Daten und in der fortgeschrittenen Analyse
Erhöhung der Wettbewerbsfähigkeit
Mehr/zusätzliche Daten kosteneffizient speichern und analysieren
Verbesserung der Reaktionsgeschwindigkeit auf aktuelles Marktgeschehen
Produkt- und Vertriebserfolg vorhersagen
Betrug oder finanzielle Risiken vorhersagen
Monitoring von Maschinen/Geräte und proaktive Wartung ermöglichen
Sentiment/Stimmungs- und Trendanalysen
Erhöhung des Umsatzes
Monitoring und Optimierung von IT-Systemen und IT-Sicherheitsrisiken
Effizienz operativer Prozesse erhöhen
Wir können derzeit den fachlich-inhaltlichen Nutzen einer Hadoop-Initiative nicht bestimmen
Sonstige
Wichtigste Mehrwerte durch Hadoop: bessere Analyse auf heterogenen Daten,
besseres Kundenverständnis und -bindung sowie Steigerung der Flexibilität
13.12.2016 © BARC 2016 41
Quelle: BARC Studie Hadoop und Data Lakes, n=144

40. 59%
53%
47%
43%
33%
33%
27%
26%
26%
25%
20%
19%
18%
6%
2%
Analyse von Daten aus heterogenen, divergenten Datenquellen ermöglichen/verbessern
Kundenverhalten vorhersagen, Kundenbindung verbessern
Steigerung der Flexibilität im Umgang mit Daten und in der fortgeschrittenen Analyse
Erhöhung der Wettbewerbsfähigkeit
Mehr/zusätzliche Daten kosteneffizient speichern und analysieren
Verbesserung der Reaktionsgeschwindigkeit auf aktuelles Marktgeschehen
Produkt- und Vertriebserfolg vorhersagen
Betrug oder finanzielle Risiken vorhersagen
Monitoring von Maschinen/Geräte und proaktive Wartung ermöglichen
Sentiment/Stimmungs- und Trendanalysen
Erhöhung des Umsatzes
Monitoring und Optimierung von IT-Systemen und IT-Sicherheitsrisiken
Effizienz operativer Prozesse erhöhen
Wir können derzeit den fachlich-inhaltlichen Nutzen einer Hadoop-Initiative nicht bestimmen
Sonstige
Wichtigste Mehrwerte durch Hadoop: bessere Analyse auf heterogenen Daten,
besseres Kundenverständnis und -bindung sowie Steigerung der Flexibilität
13.12.2016 © BARC 2016 42
Quelle: BARC Studie Hadoop und Data Lakes, n=144

41. 59%
53%
47%
43%
33%
33%
27%
26%
26%
25%
20%
19%
18%
6%
2%
Analyse von Daten aus heterogenen, divergenten Datenquellen ermöglichen/verbessern
Kundenverhalten vorhersagen, Kundenbindung verbessern
Steigerung der Flexibilität im Umgang mit Daten und in der fortgeschrittenen Analyse
Erhöhung der Wettbewerbsfähigkeit
Mehr/zusätzliche Daten kosteneffizient speichern und analysieren
Verbesserung der Reaktionsgeschwindigkeit auf aktuelles Marktgeschehen
Produkt- und Vertriebserfolg vorhersagen
Betrug oder finanzielle Risiken vorhersagen
Monitoring von Maschinen/Geräte und proaktive Wartung ermöglichen
Sentiment/Stimmungs- und Trendanalysen
Erhöhung des Umsatzes
Monitoring und Optimierung von IT-Systemen und IT-Sicherheitsrisiken
Effizienz operativer Prozesse erhöhen
Wir können derzeit den fachlich-inhaltlichen Nutzen einer Hadoop-Initiative nicht bestimmen
Sonstige
Wichtigste Mehrwerte durch Hadoop: bessere Analyse auf heterogenen Daten,
besseres Kundenverständnis und -bindung sowie Steigerung der Flexibilität
13.12.2016 © BARC 2016 43
Quelle: BARC Studie Hadoop und Data Lakes, n=144

42. 7 Erkenntnisse aus der Studie
1. Hadoop - Trendtechnologie mit hohem Potential
2. BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte
3. Umsetzung erfolgt hauptsächlich durch kommerzielle Werkzeuge und Hadoop-
Distributionen
4. Klarer Fall für Hadoop: Customer Intelligence und Predictive Analytics
5. Großer analytischer Nutzen durch Hadoop
6. Hadoop ermöglicht Anwendungsfälle, die bisher nicht umgesetzt werden konnten
2016 44

43. Anwender sehen Hadoop vor allem als (potentielle) Technologie
zur Umsetzung neuartiger Anwendungsfälle
13.12.2016 © BARC 2016 45
Quelle: BARC Hadoop und Data Lakes

44. Anwender sehen Hadoop vor allem als (potentielle) Technologie
zur Umsetzung neuartiger Anwendungsfälle
13.12.2016 © BARC 2016 46
Quelle: BARC Hadoop und Data Lakes

45. 7 Erkenntnisse aus der Studie
1. Hadoop - Trendtechnologie mit hohem Potential
2. BICC und Data Science Teams treiben Hadoop und Data-Lake-Projekte
3. Umsetzung erfolgt hauptsächlich durch kommerzielle Werkzeuge und Hadoop-
Distributionen
4. Klarer Fall für Hadoop: Customer Intelligence und Predictive Analytics
5. Großer analytischer Nutzen durch Hadoop
6. Hadoop ermöglicht Anwendungsfälle, die bisher nicht umgesetzt werden konnten
7. Die größten Herausforderungen sind fehlendes Know-how und Unsicherheit bei der
Nutzung
2016 47

46. 54%
50%
41%
33%
27%
27%
22%
21%
19%
16%
14%
4%
3%
Fehlendes fachliches Know-how im Unternehmen
Fehlendes Know-how beim Aufbau und Betrieb einer Big-Data-Architektur
Fehlendes Know-how Hadoop richtig einsetzen und nutzen zu können
Fehlende überzeugende Einsatzszenarien
Nutzen von Hadoop-Initiative ist nicht klar, kann nicht klar
Fehlende Sponsoren/Unterstützung aus der Führungsebene
Bedenken im Hinblick auf Datenschutz oder Datensicherheit
Kosten für die Implementierung einer neuen Technologie zu hoch
Fehlende oder mangelnde Reife der Komponenten des Ökosystems
Benutzerfreundlichkeit
Kosten für die Schulung und Entwicklung zu hoch
Es gibt keine Probleme beim Einsatz von Hadoop
Sonstige
Größte Herausforderungen sind fehlendes Know-how
und Unsicherheit in der Nutzung
13.12.2016 © BARC 2016 48
Quelle: BARC Hadoop und Data Lakes, n=379

47. 54%
50%
41%
33%
27%
27%
22%
21%
19%
16%
14%
4%
3%
Fehlendes fachliches Know-how im Unternehmen
Fehlendes Know-how beim Aufbau und Betrieb einer Big-Data-Architektur
Fehlendes Know-how Hadoop richtig einsetzen und nutzen zu können
Fehlende überzeugende Einsatzszenarien
Nutzen von Hadoop-Initiative ist nicht klar, kann nicht klar
Fehlende Sponsoren/Unterstützung aus der Führungsebene
Bedenken im Hinblick auf Datenschutz oder Datensicherheit
Kosten für die Implementierung einer neuen Technologie zu hoch
Fehlende oder mangelnde Reife der Komponenten des Ökosystems
Benutzerfreundlichkeit
Kosten für die Schulung und Entwicklung zu hoch
Es gibt keine Probleme beim Einsatz von Hadoop
Sonstige
Größte Herausforderungen sind fehlendes Know-how
und Unsicherheit in der Nutzung
13.12.2016 © BARC 2016 49
Quelle: BARC Hadoop und Data Lakes, n=379
50% in DACH

48. Ausgewählte Hadoop-Thesen auf dem Prüfstand
13.12.2016 © BARC 2016 50
…ist kostengünstig
Umfrageergebnis: trifft im Grunde zu, auch wenn es nicht zu den Hauptnutzen von Hadoop zählt
Analyst: kann, muss aber nicht. Viele denken in erster Linie an Lizenzkosten. Kosten für Implementierung, Hardware und
Betrieb sind mit zu berücksichtigen.
…ist flexibel, einfach und schnell in der Implementierung
Umfrageergebnis: Umsetzungseffizienz ist ein Grund für die Wahl kommerzieller Werkzeuge bzw. Hadoop Distributionen
Analyst: der Flexibilität durch Individualprogrammierung steht die mangelnde, inhärente Plattformunterstützung gegenüber.
Anwendbarkeit ist abhängig von dem verfügbaren Wissen, bspw. rund um MPP.
…unterstützt unterschiedlich strukturierte Daten
Umfrageergebnis: wird in dieser und auch vorherigen Umfragen bestätigt
Analyst: ja, im Sinne eines Dateisystems zur Speicherung unterschiedlicher Formate. Das Schema kommt mit der
Anwendung.
…liefert funktionale Vorteile ggü. Werkzeugen, die in der klassischen BI Fabrik eingesetzt werden
Umfrageergebnis: hervorzuhebende funktionale Vorteile von Hadoop werden nicht gesehen, aber auch keine Nachteile.
Analyst: hier steht die Individualprogrammierung der Standardanwendungssoftware gegenüber. Je nachdem wie die Skills
gesetzt sind ist mal der eine, mal der andere Ansatz besser.

49. Hadoop-Thesen auf dem Prüfstand
13.12.2016 © BARC 2016 51
…Hadoop skaliert einfach und schnell mit wachsenden Datenvolumina und Workloads in parallelen Umgebungen
Umfrageergebnis: Skalierbarkeit wird nicht als expliziter Vorteil von Hadoop genannt
Analyst: grundsätzlich ja, auf der einen Seite bietet Hadoop viel Flexibilität durch die Freiheiten in der Programmierung. Auf
der anderen Seite stehen die Vorteile der Standardanwendungssoftware. Eine gewisse Grundausstattung unabhängig von
den tatsächlichen Anforderungen sollte gewährleistet sein.
…ist die präferierte Technologie zum Aufbau des Data Lakes
Umfrageergebnis: Teilnehmer sehen Hadoop als eine von mehreren möglichen Technologien zur Umsetzung
Analyst: für den Aufbau eines Data Lakes gibt es keinen klaren Leitfaden. Vor allem sind heute in der Gestaltung eines Data
Lakes noch Fragen offen zum Metadaten Management, zu Anforderungen an virtuelle/logische Data Lake, u.w. Pauschal
kann daher Hadoop nicht als „präferierte“ Technologie genannt werden.
…kann gleichzeitig für Analysen und auch online/real-time Anwendungen verwendet werden
Umfrageergebnis: die Nutzung von Hadoop für eine online/real-time Verarbeitung scheint eher vereinzelt aufzutreten
Analyst: grundsätzlich ja. Analytik und transaktionale Anwendungen benötigen unterschiedliche Designs, Komponenten und
Systemkonfigurationen

50. Wahrnehmung von Hadoop im D(ACH)-Markt
• Der Hype scheint abgeflaut, die Nutzung von Hadoop ist ernüchternd.
• Verfügbare Hadoop-Distributionen haben bereits eine hohe Reife bzw.
entwickeln sich schnell weiter hin zu Unternehmens-Anwendungen.
• Hadoop wird damit als natürlicher Baustein zum Aufbau analytischer
Infrastrukturen diskutiert.
• Es muss noch viel Schulung zum Know-how-Aufbau betrieben werden.
• Hadoop fehlt es derzeit noch an Anwendbarkeit.
• Allerdings wächst täglich die Zahl an Werkzeugen, die helfen Hadoop zu nutzen
(anzuwenden), bzw. die Hadoop um (analytische) Funktionen erweitern.
13.12.2016 © BARC 2016 52

51. Kontakt
532016

52. 54© Cloudera, Inc. All rights reserved.
Data Drives Business

53. 55© Cloudera, Inc. All rights reserved.
Our relationship with data
is changing

54. 56© Cloudera, Inc. All rights reserved.
The digital universe is expanding
Source: IDC Digital Universe Study, IDC IoT Forecast

55. 57© Cloudera, Inc. All rights reserved.
The digital universe is expanding
Source: IDC Digital Universe Study, IDC IoT Forecast
44zb
4.4zb

56. 58© Cloudera, Inc. All rights reserved.
The digital universe is expanding
Source: IDC Digital Universe Study, IDC IoT Forecast
44zb
4.4zb
Unstructured
90%

57. 59© Cloudera, Inc. All rights reserved.
The digital universe is expanding
Source: IDC Digital Universe Study, IDC IoT Forecast
44zb
4.4zb
Unstructured
90%
Data
100%0% 25%
Valuable

58. 60© Cloudera, Inc. All rights reserved.
The digital universe is expanding
Source: IDC Digital Universe Study, IDC IoT Forecast
44zb
4.4zb
Unstructured
90%
Data
100%0% 25%
Valuable
7 billion 30 billion

59. 61© Cloudera, Inc. All rights reserved.
The digital universe is expanding
Source: IDC Digital Universe Study, IDC IoT Forecast
44zb
4.4zb
Unstructured
90%
Data
100%0% 25%
Valuable
7 billion 30 billion

60. 62© Cloudera, Inc. All rights reserved.
The great value of data
Destroying human trafficking
Fighting child sexual
exploitation
Working to cure cancer
Saving lives by detecting sepsis
Improve pain management for
premature babies
Managing Orion space craft as it
orbits the Earth
People Lives Science

61. 63© Cloudera, Inc. All rights reserved.
“It will soon be technically
feasible & affordable to
record & store everything…”
— New York Times
“Digital technologies will, in
the near future, accomplish
many tasks once considered
uniquely human.”
— Second Machine Age
Data is abundant,
diverse & shared freely
As is how we store,
process and analyze it
Streaming Machine Learning BI
ETL Modeling

62. 64© Cloudera, Inc. All rights reserved.
We want to enable you to…..
Query more dimensions
of more data points
from more sources
to make better predictions
and make them quicker

63. 65© Cloudera, Inc. All rights reserved.
Thinking about the future
Source: IDC Nordic CxO Survey

64. 66© Cloudera, Inc. All rights reserved.
Thinking about the future
40%
Decisions
37%
Biz dev
36%
Customer analysis
34%
Predictive analysis
33%
Process optimisation
Source: IDC Nordic CxO Survey

65. 67© Cloudera, Inc. All rights reserved.
Boardroom thinking
DRIVE CUSTOMER
INSIGHTS
IMPROVE PRODUCT &
SERVICES EFFICIENCY LOWER BUSINESS RISK

66. 68© Cloudera, Inc. All rights reserved.
Boardroom thinking
DRIVE CUSTOMER
INSIGHTS
IMPROVE PRODUCT &
SERVICES EFFICIENCY LOWER BUSINESS RISK
MODERNIZE ARCHITECTURE

67. 69© Cloudera, Inc. All rights reserved.
Apache Hadoop for new ways of working with data
Extreme performance and
efficiency
Analytic agility

68. 70© Cloudera, Inc. All rights reserved.
Benefits of Hadoop
Cost-effective Scalable Flexible

69. 71© Cloudera, Inc. All rights reserved.
The journey requires some
thought.

70. 72© Cloudera, Inc. All rights reserved.
Get the right architecture.
Assemble the right team.
Adopt an agile approach.

71. 73© Cloudera, Inc. All rights reserved.
Adopt an Agile Approach
Successful projects start small, fail often, and iterate to success
1. Get data you already have, or create
new data.
2. Explore and analyze, quickly.
3. Deploy your application.
…and repeat
Add:
new data sources, more
users, more use cases,
more complex analytics,
go real-time
Collect, Create,
Manage
unlimited data
Explore, Analyze
data in many ways
Operationalize
insights to drive action

72. 74© Cloudera, Inc. All rights reserved.
Thank you
Wim Stoop
Senior PMM, Cloudera
@TheWimster
Timm Grosser
VP BI Consulting, BARC
@timmgrosser