SlideShare ist ein Scribd-Unternehmen logo
1 von 40
Downloaden Sie, um offline zu lesen
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Verborgene Datenschätze heben
Mit Hunk und Hadoop von Maschinendaten zu
geschäftsrelevanten Einsichten
Big Data User Group
Stuttgart, 27.02.2014
Johannes Feulner, Geschäftsführer
fun communications GmbH
Log Management
und Big Data
Analytics save
the World
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Agenda
 Big Data
 Log Management
 Success Story
 Creating a Big Data Platform
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Wir über uns
Johannes Feulner
Geschäftsführer, Gesellschafter
Mitgesellschafter 35 MitarbeiterGründung Firmensitz
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
DATA
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Big Data – Die Herausforderung
Datenvielfalt Datenmenge
Herkömmliche Werkzeuge
Erwartete Antwortzeit
Genau hier setzen
wir an!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Strukturierte vs. unstrukturierte Daten
Quelle: http://www.yalescientific.org/2012/03/hadapt-yale-startup/
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Log Management
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Grundanforderungen im Log Management
Sammeln
Zentrale
Speicherung
Langzeit-
speicherung
SucheAnalyse
Reporting
Skalierbarkeit
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Wie baue ich eine Big Data Plattform?
Ingestion
Wo sind meine
Datenquellen?
Wie kann ich darauf
zugreifen?
Persistenz
Müssen historische
Daten verfügbar
sein?
Gibt es durch-
laufende Daten?
Rechte/Rollen
Welcher Nutzer darf
welche Daten
sehen?
Monitoring/Alerting
Wie werden
Erkenntnisse in
bestehende
Betriebsabläufe
integriert?
Compliance
Welche Audits
müssen
revisionssicher
unterstützt werden?
Analytics
Welche Tools sollen
integriert werden?
Reaktionszeit
Wie schnell müssen
Auswertungen
erfolgen? Batch
oder Echtzeit?
Technologie
Welche
Technologien
decken meine
Anforderungen am
besten?
Datenschutz
Wo sind
schutzwürdige
Daten zu
anonymisieren oder
pseudonymisieren?
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Die Herausforderung: Auswahl der richtigen Werkzeuge
HP ArcSight Logger
LogLogic
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Unsere Sichtweise …
Log Management ist der zentrale Enabler mit Mehrwert für
viele Bereiche im Unternehmen.
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Success Story
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Problem
 Mail-Empfänger
 Spam und Phishing-Mails auf den ersten Blick
erkennen
 Mail-Versender
 Mails sollen Posteingang erreichen
 Vertrauen des Kunden
 Kennzahlen über Mail-Empfang
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Lösung
 Versender signiert E-Mails
 E-Mail Provider prüft Signatur
 E-Mail Provider kennzeichnet
vertrauenswürdige Mail
 Zentrale Plattform zur
Auswertung und Abrechnung
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Eckdaten
 Dezentrale Absender-Authentifizierung und
Integritätsprüfung
 Zentrale Analyse der „Logo-Events“ aller beteiligten Provider
 Mehr als 2 Mrd. Logo-Events monatlich; Tendenz stark
wachsend
 15 zentrale Server
 4 Mail-Provider -> Reporting
 Dutzende Newsletter-Versender -> Reporting
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Historie
 Klassischer Start mit einer Oracle-basierten Lösung
 Bis 150 Mio. Logo-Events pro Monat
 Berechnungszeit pro Tagesreport: > 24 h
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Big Data Plattform
aufbauen
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Revolution
Migration auf Hadoop
 Cluster aus 7 Rechnern, 1 Master Node, 6 Slave Nodes
 Mehrere Hive- und MapReduce-Skripte (Python)
 Import der verdichteten Daten in Oracle DB
 2 Mrd. Logo-Events pro Monat
 Berechnungszeit pro Tagesreport: 3 h
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
… so what about ?
Then there came new questions …
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Neue Fragen? Einfach ausprobieren!
Mail-Öffnungsstatistik nach Domains
earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" cid
= "*" | rename cid as tdcheckid |join tdcheckid
[search tdcheckid="*" earliest="1/1/2012:0:0:0"
latest="1/2/2012:0:0:0" ] | chart count as total by
tddomain
Mittlere Öffnungszeiten
source = "*tdlogos*" | transaction cid keepevicted="true"
maxspan="20m" | stats avg(duration)
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Tutorial
Lessons Learned
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Evolution
Migration to Hunk
 Hunk = Analytics for Data on Hadoop
 Customizing instead of Programmierung
 Implementing 5 times faster
 Free exploration, asking new questions
 Graphic Reports out of the box
 Roles and User Management out of the box
 Time to calculate the daily reports: 3 h
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
„Das sind Abertausende, wenn nicht
Millionen Textzeilen. Aber ich muss
sie nicht alle persönlich durchsehen
… Ich habe eine … Software, die
jeder gratis im Internet bekommt.
Damit kann ich auch große Daten-
mengen verwalten“
(sagt Piero Manzano p. 496 f. und rettet die Welt)
http://www.fun.de/splunk
www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
Johannes Feulner
Geschäftsführer
johannes.feulner@fun.de
+49 721 96448-0
www.fun.de

Weitere ähnliche Inhalte

Andere mochten auch

Mobile you follow the customer
Mobile you follow the customerMobile you follow the customer
Mobile you follow the customerBoris Janek
 
Evaluierungsraum erstellen
Evaluierungsraum erstellenEvaluierungsraum erstellen
Evaluierungsraum erstellenaquarana
 
Dialog Marketing ins ❤ Ihrer Kunden.
Dialog Marketing ins ❤ Ihrer Kunden.Dialog Marketing ins ❤ Ihrer Kunden.
Dialog Marketing ins ❤ Ihrer Kunden.Ralf Weissbaum
 
Herz
HerzHerz
Herzhaber
 
Elternabend
ElternabendElternabend
Elternabend1aW
 
Biohacking - Warum einen Computer im Arm?
Biohacking  - Warum einen Computer im Arm?Biohacking  - Warum einen Computer im Arm?
Biohacking - Warum einen Computer im Arm?Petr Kirpeit
 
LoKO kick off
LoKO kick offLoKO kick off
LoKO kick offqreamteam
 
OPG Christ
OPG ChristOPG Christ
OPG Christopg456
 
SchüLerinfo 01 2009 1
SchüLerinfo 01 2009 1SchüLerinfo 01 2009 1
SchüLerinfo 01 2009 1ChristofG
 
Fingerboard Magazine001
Fingerboard Magazine001Fingerboard Magazine001
Fingerboard Magazine001guest0f2d99
 
Kann ERP auch Shop? Odoo v8 - ein neuer Ansatz
Kann ERP auch Shop? Odoo v8 - ein neuer AnsatzKann ERP auch Shop? Odoo v8 - ein neuer Ansatz
Kann ERP auch Shop? Odoo v8 - ein neuer AnsatzinitOS GmbH
 
Swiss Halley Geschäftspräsentation
Swiss Halley GeschäftspräsentationSwiss Halley Geschäftspräsentation
Swiss Halley GeschäftspräsentationSwissHalleyOfficial
 
Spaß mit Deutsch!
Spaß mit Deutsch!Spaß mit Deutsch!
Spaß mit Deutsch!Frau Fox
 

Andere mochten auch (18)

Mobile you follow the customer
Mobile you follow the customerMobile you follow the customer
Mobile you follow the customer
 
Dirk Spannaus
Dirk SpannausDirk Spannaus
Dirk Spannaus
 
Informatica y tecnologia
Informatica y tecnologiaInformatica y tecnologia
Informatica y tecnologia
 
Evaluierungsraum erstellen
Evaluierungsraum erstellenEvaluierungsraum erstellen
Evaluierungsraum erstellen
 
Dialog Marketing ins ❤ Ihrer Kunden.
Dialog Marketing ins ❤ Ihrer Kunden.Dialog Marketing ins ❤ Ihrer Kunden.
Dialog Marketing ins ❤ Ihrer Kunden.
 
Herz
HerzHerz
Herz
 
Binder1
Binder1Binder1
Binder1
 
Arte ingles
Arte   inglesArte   ingles
Arte ingles
 
Elternabend
ElternabendElternabend
Elternabend
 
Biohacking - Warum einen Computer im Arm?
Biohacking  - Warum einen Computer im Arm?Biohacking  - Warum einen Computer im Arm?
Biohacking - Warum einen Computer im Arm?
 
LoKO kick off
LoKO kick offLoKO kick off
LoKO kick off
 
OPG Christ
OPG ChristOPG Christ
OPG Christ
 
SchüLerinfo 01 2009 1
SchüLerinfo 01 2009 1SchüLerinfo 01 2009 1
SchüLerinfo 01 2009 1
 
Fingerboard Magazine001
Fingerboard Magazine001Fingerboard Magazine001
Fingerboard Magazine001
 
Kann ERP auch Shop? Odoo v8 - ein neuer Ansatz
Kann ERP auch Shop? Odoo v8 - ein neuer AnsatzKann ERP auch Shop? Odoo v8 - ein neuer Ansatz
Kann ERP auch Shop? Odoo v8 - ein neuer Ansatz
 
DAB E sybox - Fornid
DAB E sybox - FornidDAB E sybox - Fornid
DAB E sybox - Fornid
 
Swiss Halley Geschäftspräsentation
Swiss Halley GeschäftspräsentationSwiss Halley Geschäftspräsentation
Swiss Halley Geschäftspräsentation
 
Spaß mit Deutsch!
Spaß mit Deutsch!Spaß mit Deutsch!
Spaß mit Deutsch!
 

Ähnlich wie Getting business-relevant insights from machine data with Splunk and Hadoop

2013 Vortrag BIG DATA Uli Coenen
2013 Vortrag BIG DATA Uli Coenen2013 Vortrag BIG DATA Uli Coenen
2013 Vortrag BIG DATA Uli CoenenUlrich Coenen
 
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-EndDotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-EndOlivia Klose
 
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Praxistage
 
Roger basler meetup_21082018_work-smarter-not-harder_handout
Roger basler meetup_21082018_work-smarter-not-harder_handoutRoger basler meetup_21082018_work-smarter-not-harder_handout
Roger basler meetup_21082018_work-smarter-not-harder_handoutDigicomp Academy AG
 
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013Michael Kirst-Neshva
 
Kundenbindung ohne SPAM
Kundenbindung ohne SPAMKundenbindung ohne SPAM
Kundenbindung ohne SPAMJörg Rensmann
 
Unternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und InformationsmanagementUnternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und InformationsmanagementNicki Borell
 
GraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4j
GraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4jGraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4j
GraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4jNeo4j
 
DE- Module 2 - Improving your business model using your own data
DE- Module 2 - Improving your business model using your own dataDE- Module 2 - Improving your business model using your own data
DE- Module 2 - Improving your business model using your own datacaniceconsulting
 
Digitale Transformation in der Finanzbranche
Digitale Transformation in der FinanzbrancheDigitale Transformation in der Finanzbranche
Digitale Transformation in der FinanzbrancheTWT
 
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnenTweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnenit-novum
 
Yum unternehmenspräsentation
Yum unternehmenspräsentationYum unternehmenspräsentation
Yum unternehmenspräsentationsofrankly
 
Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)AWS Germany
 
Vortrag netzwerk recherche: Training für Datenjournalismus
Vortrag netzwerk recherche: Training für DatenjournalismusVortrag netzwerk recherche: Training für Datenjournalismus
Vortrag netzwerk recherche: Training für DatenjournalismusMirko Lorenz
 

Ähnlich wie Getting business-relevant insights from machine data with Splunk and Hadoop (20)

Webinar: BigData - Vom Hype zum Nutzen
Webinar: BigData - Vom Hype zum NutzenWebinar: BigData - Vom Hype zum Nutzen
Webinar: BigData - Vom Hype zum Nutzen
 
2013 Vortrag BIG DATA Uli Coenen
2013 Vortrag BIG DATA Uli Coenen2013 Vortrag BIG DATA Uli Coenen
2013 Vortrag BIG DATA Uli Coenen
 
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-EndDotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
 
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
Sabine Bühn, Bernd Aschauer (Aschauer IT & Business)
 
Roger basler meetup_21082018_work-smarter-not-harder_handout
Roger basler meetup_21082018_work-smarter-not-harder_handoutRoger basler meetup_21082018_work-smarter-not-harder_handout
Roger basler meetup_21082018_work-smarter-not-harder_handout
 
Work smarter not harder - mit ZAPIER
Work smarter not harder - mit ZAPIERWork smarter not harder - mit ZAPIER
Work smarter not harder - mit ZAPIER
 
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
Datensicherheit in der Cloud und ausserhalb - SharePoint Konferenz Wien 2013
 
Kundenbindung ohne SPAM
Kundenbindung ohne SPAMKundenbindung ohne SPAM
Kundenbindung ohne SPAM
 
Unternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und InformationsmanagementUnternehmensweites Daten und Informationsmanagement
Unternehmensweites Daten und Informationsmanagement
 
GraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4j
GraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4jGraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4j
GraphTalk Berlin - Deutschlands erstes Entscheidernetzwerk mit Neo4j
 
DE- Module 2 - Improving your business model using your own data
DE- Module 2 - Improving your business model using your own dataDE- Module 2 - Improving your business model using your own data
DE- Module 2 - Improving your business model using your own data
 
Enterprise Search Technologien im Dienste der DSGVO / GDPR
Enterprise Search Technologien im Dienste der DSGVO / GDPREnterprise Search Technologien im Dienste der DSGVO / GDPR
Enterprise Search Technologien im Dienste der DSGVO / GDPR
 
Start und Kurzvorstellung: Open Company Monitoring Projekt
Start und Kurzvorstellung: Open Company Monitoring Projekt Start und Kurzvorstellung: Open Company Monitoring Projekt
Start und Kurzvorstellung: Open Company Monitoring Projekt
 
Digitale Transformation in der Finanzbranche
Digitale Transformation in der FinanzbrancheDigitale Transformation in der Finanzbranche
Digitale Transformation in der Finanzbranche
 
eStrategy Magazin 02 / 2013
eStrategy Magazin 02 / 2013eStrategy Magazin 02 / 2013
eStrategy Magazin 02 / 2013
 
KI und Architektur
KI und ArchitekturKI und Architektur
KI und Architektur
 
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnenTweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen
Tweets und Aktienkurse? Wertvolle Erkenntnisse durch Data Blending gewinnen
 
Yum unternehmenspräsentation
Yum unternehmenspräsentationYum unternehmenspräsentation
Yum unternehmenspräsentation
 
Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)
 
Vortrag netzwerk recherche: Training für Datenjournalismus
Vortrag netzwerk recherche: Training für DatenjournalismusVortrag netzwerk recherche: Training für Datenjournalismus
Vortrag netzwerk recherche: Training für Datenjournalismus
 

Getting business-relevant insights from machine data with Splunk and Hadoop

  • 1. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 2. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Verborgene Datenschätze heben Mit Hunk und Hadoop von Maschinendaten zu geschäftsrelevanten Einsichten Big Data User Group Stuttgart, 27.02.2014 Johannes Feulner, Geschäftsführer fun communications GmbH
  • 3. Log Management und Big Data Analytics save the World
  • 4. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Agenda  Big Data  Log Management  Success Story  Creating a Big Data Platform
  • 5. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Wir über uns Johannes Feulner Geschäftsführer, Gesellschafter Mitgesellschafter 35 MitarbeiterGründung Firmensitz
  • 6. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! DATA
  • 7. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Big Data – Die Herausforderung Datenvielfalt Datenmenge Herkömmliche Werkzeuge Erwartete Antwortzeit Genau hier setzen wir an!
  • 8. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Strukturierte vs. unstrukturierte Daten Quelle: http://www.yalescientific.org/2012/03/hadapt-yale-startup/
  • 9. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Log Management
  • 10. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Grundanforderungen im Log Management Sammeln Zentrale Speicherung Langzeit- speicherung SucheAnalyse Reporting Skalierbarkeit
  • 11. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Wie baue ich eine Big Data Plattform? Ingestion Wo sind meine Datenquellen? Wie kann ich darauf zugreifen? Persistenz Müssen historische Daten verfügbar sein? Gibt es durch- laufende Daten? Rechte/Rollen Welcher Nutzer darf welche Daten sehen? Monitoring/Alerting Wie werden Erkenntnisse in bestehende Betriebsabläufe integriert? Compliance Welche Audits müssen revisionssicher unterstützt werden? Analytics Welche Tools sollen integriert werden? Reaktionszeit Wie schnell müssen Auswertungen erfolgen? Batch oder Echtzeit? Technologie Welche Technologien decken meine Anforderungen am besten? Datenschutz Wo sind schutzwürdige Daten zu anonymisieren oder pseudonymisieren?
  • 12. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Die Herausforderung: Auswahl der richtigen Werkzeuge HP ArcSight Logger LogLogic
  • 13. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Unsere Sichtweise … Log Management ist der zentrale Enabler mit Mehrwert für viele Bereiche im Unternehmen.
  • 14. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Success Story
  • 15. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Problem  Mail-Empfänger  Spam und Phishing-Mails auf den ersten Blick erkennen  Mail-Versender  Mails sollen Posteingang erreichen  Vertrauen des Kunden  Kennzahlen über Mail-Empfang
  • 16. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Lösung  Versender signiert E-Mails  E-Mail Provider prüft Signatur  E-Mail Provider kennzeichnet vertrauenswürdige Mail  Zentrale Plattform zur Auswertung und Abrechnung
  • 17. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Eckdaten  Dezentrale Absender-Authentifizierung und Integritätsprüfung  Zentrale Analyse der „Logo-Events“ aller beteiligten Provider  Mehr als 2 Mrd. Logo-Events monatlich; Tendenz stark wachsend  15 zentrale Server  4 Mail-Provider -> Reporting  Dutzende Newsletter-Versender -> Reporting
  • 18. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Historie  Klassischer Start mit einer Oracle-basierten Lösung  Bis 150 Mio. Logo-Events pro Monat  Berechnungszeit pro Tagesreport: > 24 h
  • 19. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Big Data Plattform aufbauen
  • 20. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Revolution Migration auf Hadoop  Cluster aus 7 Rechnern, 1 Master Node, 6 Slave Nodes  Mehrere Hive- und MapReduce-Skripte (Python)  Import der verdichteten Daten in Oracle DB  2 Mrd. Logo-Events pro Monat  Berechnungszeit pro Tagesreport: 3 h
  • 21. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! … so what about ? Then there came new questions …
  • 22. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 23. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 24. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 25. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 26. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 27. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 28. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 29. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 30. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 31. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 32. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 33. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 34. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 35. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten!
  • 36. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Neue Fragen? Einfach ausprobieren! Mail-Öffnungsstatistik nach Domains earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" cid = "*" | rename cid as tdcheckid |join tdcheckid [search tdcheckid="*" earliest="1/1/2012:0:0:0" latest="1/2/2012:0:0:0" ] | chart count as total by tddomain Mittlere Öffnungszeiten source = "*tdlogos*" | transaction cid keepevicted="true" maxspan="20m" | stats avg(duration)
  • 37. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Tutorial Lessons Learned
  • 38. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Evolution Migration to Hunk  Hunk = Analytics for Data on Hadoop  Customizing instead of Programmierung  Implementing 5 times faster  Free exploration, asking new questions  Graphic Reports out of the box  Roles and User Management out of the box  Time to calculate the daily reports: 3 h
  • 39. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! „Das sind Abertausende, wenn nicht Millionen Textzeilen. Aber ich muss sie nicht alle persönlich durchsehen … Ich habe eine … Software, die jeder gratis im Internet bekommt. Damit kann ich auch große Daten- mengen verwalten“ (sagt Piero Manzano p. 496 f. und rettet die Welt) http://www.fun.de/splunk
  • 40. www.fun.de Machen Sie mehr aus Ihren Datenwww.fun.de Machen Sie mehr aus Ihren Daten! Johannes Feulner Geschäftsführer johannes.feulner@fun.de +49 721 96448-0 www.fun.de