www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Verborgene Datenschätze heben
Mit Hu...
Log Management
und Big Data
Analytics save
the World
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Agenda
 Big Data
 Log Management
...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Wir über uns
Johannes Feulner
Geschä...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
DATA
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Big Data – Die Herausforderung
Daten...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Strukturierte vs. unstrukturierte Da...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Log Management
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Grundanforderungen im Log Management...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Wie baue ich eine Big Data Plattform...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Die Herausforderung: Auswahl der ric...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Unsere Sichtweise …
Log Management i...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Success Story
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Problem
 Mail-Empfänger
 Spam und ...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Lösung
 Versender signiert E-Mails
...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Eckdaten
 Dezentrale Absender-Authe...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Historie
 Klassischer Start mit ein...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Big Data Plattform
aufbauen
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Revolution
Migration auf Hadoop
 Cl...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
… so what about ?
Then there came ne...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Neue Fragen? Einfach ausprobieren!
M...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Tutorial
Lessons Learned
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Evolution
Migration to Hunk
 Hunk =...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
„Das sind Abertausende, wenn nicht
M...
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Johannes Feulner
Geschäftsführer
joh...
Nächste SlideShare
Wird geladen in …5
×

Getting business-relevant insights from machine data with Splunk and Hadoop

450 Aufrufe

Veröffentlicht am

In jedem Unternehmen fallen in rapide steigendem Umfang Daten auf operativen IT-Systemen an. Bisher wird nur ein kleiner Teil dieser Maschinendaten zu Auswertungen herangezogen. Die klassische Business Intelligence stößt aber bei den wachsenden Datenmengen an ihre Grenzen und ist nicht auf die Bearbeitung unstrukturierte Daten ausgerichtet.

Mit modernen Werkzeugen kann jetzt jedes Unternehmen seine Datenschätze erschließen, auswerten und effektiv für die Weiterentwicklung ihres Geschäfts nutzen. Der Vortrag wird an einem konkreten Use Case aufzeigen, wie modernes Log Management mit Splunk und Hadoop aus dem Rohstoff Maschinendaten geldwerten Nutzen zieht.

Veröffentlicht in: Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
450
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
3
Aktionen
Geteilt
0
Downloads
11
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Getting business-relevant insights from machine data with Splunk and Hadoop

  1. 1. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  2. 2. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Verborgene Datenschätze heben Mit Hunk und Hadoop von Maschinendaten zu geschäftsrelevanten Einsichten Big Data User Group Stuttgart, 27.02.2014 Johannes Feulner, Geschäftsführer fun communications GmbH
  3. 3. Log Management und Big Data Analytics save the World
  4. 4. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Agenda  Big Data  Log Management  Success Story  Creating a Big Data Platform
  5. 5. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Wir über uns Johannes Feulner Geschäftsführer, Gesellschafter Mitgesellschafter 35 MitarbeiterGründung Firmensitz
  6. 6. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! DATA
  7. 7. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Big Data – Die Herausforderung Datenvielfalt Datenmenge Herkömmliche Werkzeuge Erwartete Antwortzeit Genau hier setzen wir an!
  8. 8. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Strukturierte vs. unstrukturierte Daten Quelle: http://www.yalescientific.org/2012/03/hadapt-yale-startup/
  9. 9. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Log Management
  10. 10. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Grundanforderungen im Log Management Sammeln Zentrale Speicherung Langzeit- speicherung SucheAnalyse Reporting Skalierbarkeit
  11. 11. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Wie baue ich eine Big Data Plattform? Ingestion Wo sind meine Datenquellen? Wie kann ich darauf zugreifen? Persistenz Müssen historische Daten verfügbar sein? Gibt es durch- laufende Daten? Rechte/Rollen Welcher Nutzer darf welche Daten sehen? Monitoring/Alerting Wie werden Erkenntnisse in bestehende Betriebsabläufe integriert? Compliance Welche Audits müssen revisionssicher unterstützt werden? Analytics Welche Tools sollen integriert werden? Reaktionszeit Wie schnell müssen Auswertungen erfolgen? Batch oder Echtzeit? Technologie Welche Technologien decken meine Anforderungen am besten? Datenschutz Wo sind schutzwürdige Daten zu anonymisieren oder pseudonymisieren?
  12. 12. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Die Herausforderung: Auswahl der richtigen Werkzeuge HP ArcSight Logger LogLogic
  13. 13. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Unsere Sichtweise … Log Management ist der zentrale Enabler mit Mehrwert für viele Bereiche im Unternehmen.
  14. 14. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Success Story
  15. 15. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Problem  Mail-Empfänger  Spam und Phishing-Mails auf den ersten Blick erkennen  Mail-Versender  Mails sollen Posteingang erreichen  Vertrauen des Kunden  Kennzahlen über Mail-Empfang
  16. 16. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Lösung  Versender signiert E-Mails  E-Mail Provider prüft Signatur  E-Mail Provider kennzeichnet vertrauenswürdige Mail  Zentrale Plattform zur Auswertung und Abrechnung
  17. 17. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Eckdaten  Dezentrale Absender-Authentifizierung und Integritätsprüfung  Zentrale Analyse der „Logo-Events“ aller beteiligten Provider  Mehr als 2 Mrd. Logo-Events monatlich; Tendenz stark wachsend  15 zentrale Server  4 Mail-Provider -> Reporting  Dutzende Newsletter-Versender -> Reporting
  18. 18. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Historie  Klassischer Start mit einer Oracle-basierten Lösung  Bis 150 Mio. Logo-Events pro Monat  Berechnungszeit pro Tagesreport: > 24 h
  19. 19. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Big Data Plattform aufbauen
  20. 20. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Revolution Migration auf Hadoop  Cluster aus 7 Rechnern, 1 Master Node, 6 Slave Nodes  Mehrere Hive- und MapReduce-Skripte (Python)  Import der verdichteten Daten in Oracle DB  2 Mrd. Logo-Events pro Monat  Berechnungszeit pro Tagesreport: 3 h
  21. 21. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! … so what about ? Then there came new questions …
  22. 22. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  23. 23. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  24. 24. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  25. 25. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  26. 26. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  27. 27. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  28. 28. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  29. 29. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  30. 30. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  31. 31. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  32. 32. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  33. 33. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  34. 34. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  35. 35. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  36. 36. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Neue Fragen? Einfach ausprobieren! Mail-Öffnungsstatistik nach Domains earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" cid = "*" | rename cid as tdcheckid |join tdcheckid [search tdcheckid="*" earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" ] | chart count as total by tddomain Mittlere Öffnungszeiten source = "*tdlogos*" | transaction cid keepevicted="true" maxspan="20m" | stats avg(duration)
  37. 37. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Tutorial Lessons Learned
  38. 38. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Evolution Migration to Hunk  Hunk = Analytics for Data on Hadoop  Customizing instead of Programmierung  Implementing 5 times faster  Free exploration, asking new questions  Graphic Reports out of the box  Roles and User Management out of the box  Time to calculate the daily reports: 3 h
  39. 39. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! „Das sind Abertausende, wenn nicht Millionen Textzeilen. Aber ich muss sie nicht alle persönlich durchsehen … Ich habe eine … Software, die jeder gratis im Internet bekommt. Damit kann ich auch große Daten- mengen verwalten“ (sagt Piero Manzano p. 496 f. und rettet die Welt) http://www.fun.de/splunk
  40. 40. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Johannes Feulner Geschäftsführer johannes.feulner@fun.de +49 721 96448-0 www.fun.de

×