Splunk @ mail.de - SplunkLive! Frankfurt 2016

1. Frankfurt,
1. März 2016
Fabian Bock
Geschäftsführer
@ mail.de
1
Michael Kliewe
Systemadministrator / Softwareentwickler

2. Frankfurt,
1. März 2016
Worum geht es in diesem Vortrag?
Die Agenda
Über uns
• Die Ausgangslage
• Die Herausforderungen
Splunk @ mail.de
• Die Software
• Der Nutzen
• Der Einsatzbereich
• Der Vergleich (ohne/mit Splunk)
• Die Implementierung
Ausblick
+ Praxisbeispiele
2

3. Frankfurt,
1. März 2016
• E-Mail Service Provider
• Erwerb der Internet-Domain http://mail.de im Mai 2006
• Gründung der mail.de GmbH im April 2009
• Dienste online seit 2011 (zunächst nur Premium, später FreeMail)
• Von Grund aufgebaut (komplette Eigenentwicklung der Software)
• Startup
• Kein Fremdkapital; komplett eigenständig
• Fokus: Neueste Technik!
Wer ist eigentlich mail.de?
Über uns
3

4. Frankfurt,
1. März 2016
• Bedarf für die Sammlung und Analyse der vielfältigen Maschinendaten
im Einsatz
• Unterschiedlichste Logfile-Formate aus zig Quellen: Zentrales Logging und
Monitoring benötigt, um Verfügbarkeit des Dienstes zu erhöhen und
Fehlerbeseitigung zu beschleunigen
• Flexibles und mitwachsendes System
• Mehrere Softwarelösungen existieren am Markt
• Bewertung der verschiedenen Softwarelösungen nötig
Wo standen wir damals?
Die Ausgangslage
4

5. Frankfurt,
1. März 2016
• Verteilung der Log-Dateien auf unterschiedlichsten Systemen und
Servern
• zentrales Logging und Monitoring
• Verbesserung der Verfügbarkeit
• Performance und Support-Issues müssen innerhalb kürzester Zeit
behoben werden
• schnellere Fehleranalyse in Echtzeit
• Erhöhung der Sicherheit durch schnellere Ursachenfindung
• Auswertung des Nutzerverhaltens
Was wollten wir eigentlich genau?
Die Herausforderungen
5

6. Frankfurt,
1. März 2016
Entwicklung
• Analyse der Log-Dateien, um frühzeitig Fehler zu erkennen und zu
beheben (500er Fehler, Fatal errors…)
Geschäftsführung
• Erfolgsmessung einzelner Marketing-Kampagnen
Performanceverbesserung / Support
• Standardabfragen – u.a. Analyse des Nutzungsverhaltens von
FreeMail-Kunden
• „Verlorengegangene“ E-Mails
Wie nutzen wir Splunk bei mail.de?
Der Einsatzbereich
6

7. Frankfurt,
1. März 2016
Was ist eigentlich Splunk?
Die Software
7

8. Frankfurt,
1. März 2016
Und warum nun Splunk?
Die Nutzen
Monitoring /Alerting bei
Fehlermeldungen
Datenschutzgründe: Hoheit
über eigene Daten
Dashboards für Echzeit- /
historische Daten
Zentrale Sammlung und
Auswertung aller Log-Daten
8

9. Frankfurt,
1. März 2016
Ohne
Problem der fehlenden
“Übersicht”
• Komplexe Daten- und
Maschinenlandschaft
• Kein zentrales Logging
• Fehlersuche kompliziert und
langwierig
Hat sich überhaupt was verändert?
Der Vergleich
Mit
Tiefgreifende Einblicke sowie
Übersicht + Alerts
• Zentrale Erfassung von
unterschiedlichsten Logfiles
aus Webservern, Datenbanken,
Mailservern etc.
• Schnelle und einfache
Fehleranalyse in Echtzeit
• Performance-Verbesserung
9

10. Frankfurt,
1. März 2016
• Einfache Implementierung möglich mit geringer Manpower und ohne
externe Beratung
• SplunkBase erleichtert Einarbeitung
• Zeitersparnis: Echtzeit-Analyse liefert Ergebnisse innerhalb von
Minuten
• Zusätzliche Anwendungen können problemlos hinzugefügt werden
Und wann geht es endlich los?
Die Implementierung
10

11. Frankfurt,
1. März 2016
Identifizierung eines geknackten Accounts
Beispiel Botnetz
11

12. Frankfurt,
1. März 2016
Selbstdefinierte Abfragen
Beispiel Live Webmail-Nutzer
12

13. Frankfurt,
1. März 2016
Selbstdefinierte Abfragen
Beispiel Live Webmail-Nutzer Vergleich letzte Woche
13

14. Frankfurt,
1. März 2016
Nutzung unserer Dienste
Beispiel IPv6
14

15. Frankfurt,
1. März 2016
15
Nutzung unserer Dienste
Weitere Beispiele

16. Frankfurt,
1. März 2016
16
Nutzung unserer Dienste
Weitere Beispiele

17. Frankfurt,
1. März 2016
17
Nutzung unserer Dienste
Weitere Beispiele

18. Frankfurt,
1. März 2016
18
Nutzung unserer Dienste
Weitere Beispiele

19. Frankfurt,
1. März 2016
19
Nutzung unserer Dienste
Ein E-Mail-Alert Beispiel

20. Frankfurt,
1. März 2016
• Splunk trägt erheblich zur Optimierung des Systems und der
Verfügbarkeit des Mail-Dienstes bei und findet zunehmend über alle
Unternehmensbereiche hinweg Anwendung
• Enormes Potenzial für weitere Use Cases bei mail.de
• Möglichkeiten von Splunk werden bei weitem noch nicht ausgereizt
• Flexibilität der Lösung: zusätzliche Einsatzmöglichkeiten von Splunk tun sich im
alltäglichen Einsatz auf und werden step by step implementiert
• Schulungen geplant um alle Features ausschöpfen zu können
• z.B. Redesign der mail.de Website: umfangreiches Testing und Analysen mit Splunk
geplant bzgl. Performance, Nutzerakzeptanz, usw.
Aber am Ende zählt nur eins: Es vereinfacht unsere Arbeit!
Und wie geht es weiter?
Der Ausblick
20

21. Frankfurt,
1. März 2016
Vielen Dank
für Ihre Aufmerksamkeit!
Fabian Bock
f.bock@team.mail.de
Michael Kliewe
m.kliewe@team.mail.de
21