Analyse von Applikationslogs und Querylogs:
Datenbanken, Hadoop oder Splunk?
Dr. Kurt Stockinger
Dozent für Informatik
Zür...
Inhalt
•  Überblick über ZHAW und Data Science Lab
•  Use Cases für Analyse von Applikations- und Query-Logs
•  Technologi...
CV Kurt Stockinger
•  Dozent an der ZHAW seit 1. August 2013
•  2007-2013:
Data Warehouse & Business Intelligence Architec...
Zürcher Hochschule für
Angewandte Wissenschaften (ZHAW)
•  Geht zurück auf Technikum in Winterthur
•  Gegründet 1874
•  Se...
Datalab = Data Science @ ZHAW

•  Eines der ersten Data Science Labs in Europa (wenn nicht sogar das
erste)
•  Zusammensch...
Data Scientist

T. Stadelmann, K. Stockinger, M. Braschler, M. Cieliebak, G. Baudinot, O. Dürr, A. Ruckstuhl,
Applied Data...
7
Inhalt
•  Überblick über ZHAW und Data Science Lab
•  Use Cases für Analyse von Applikations- und Query-Logs
•  Technologi...
Use Cases
•  Web Log Analyse
•  Applikations Log Analyse
•  DWH Query Log Analyse

9
Web Log Analyse
•  Gegeben:
• 

Log Files von Webserver für eCommerce:
•  z.B. Online Shop, eBanking, Produktdokumentation...
Beispiel: Web Log
Standardisierte Logs::
91.57.78.223 - - [09/Sep/2013:00:00:06 +0200] "GET /assets/static/
dojo-0.4.3-cus...
Applikations Log Analyse
•  Gegeben:
•  Logfiles von unterschiedlichen Applikationen der eigenen Firma
•  Jedes Logfile ha...
Beispiel: Applikationslog
Logs von unterschiedlichster Struktur::
2013/10/11 – getUser(„Schrödinger“) – Visting time: 32 s...
DWH Query Log Analyse
•  Gegeben:
•  DWH Query Logs (ausgeführte SQL Statements)

•  Gesucht:
• 
• 
• 
• 
• 

Wer hat welc...
Beispiel: DWH Query Log im XML Format

<xml>
<audit>
<username> john_smith </username>
<timestamp> 21/12/2012 23:59:59 </t...
Inhalt
•  Überblick über ZHAW und Data Science Lab
•  Use Cases für Analyse von Applikations- und Query-Logs
•  Technologi...
Data Warehouse basierend auf relationale
Datenbanktechnologie

§  Relationale Datenbanken
§ 
§ 
§ 

seit den 70er
ETL ...
Hadoop Überblick
“A scalable, fault-tolerant, distributed storage
and computation platform”
App

Node 1

Hadoop

Map

Node...
Pig Überblick
Pig Latin ist eine SQL-ähnliche Sprache
Jedes Statement wird on-the-fly in MapReduce kompiliert
Pig Statemen...
Splunk Überblick
Kommerzielles, closed-source Produkt zur Indizierung und Suche von
Log-Daten
Intuitives Interface und Suc...
Kombination von Hadoop und Splunk

21
Inhalt
•  Überblick über ZHAW und Data Science Lab
•  Use Cases für Analyse von Applikations- und Query-Logs
•  Technologi...
Datenbanken
•  Grundsätzlich sind Datenbanken für Analyse von strukturieren Daten
konzipiert
•  Log Files sind jedoch semi...
Hadoop
•  Log Files können direkt mit Hadoop prozessiert werden:
•  Low-level API: MapReduce + Java
•  High-level Progammi...
Splunk
•  Log Files können direkt mit Splunk prozessiert werden:
•  Web Log Files werden direkt erkannt
•  Python API erla...
Nächste Schritte
•  Analyse von Log Files ermöglicht breite Anwendungsmöglichkeiten
•  Recommender Systems:
•  Vorschlagen...
Zusammenfassung
•  Analyse von Log Files ist kein Datenbankproblem und sollte nicht über
das DWH gemacht werden.
•  Kombin...
Nächste SlideShare
Wird geladen in …5
×

Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?

689 Aufrufe

Veröffentlicht am

Applikationen und Datenbanken generieren Logfiles, deren Inhalte wichtige Aussagen über Zugriffsmuster enthalten. So kann ermittelt werden, welche Produkte am häufigsten abgefragt werden oder welche Kundentrends sich abzeichnen. In diesem Vortrag beleuchten wir zunächst die Problematik anhand von praktischen Use Cases. Danach zeigen wir, wie sich die Probleme mit einem herkömmlichen Datenbankansatz, mit Hadoop und mit Splunk lösen lassen.

Veröffentlicht in: Technologie
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
689
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
61
Aktionen
Geteilt
0
Downloads
8
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk?

  1. 1. Analyse von Applikationslogs und Querylogs: Datenbanken, Hadoop oder Splunk? Dr. Kurt Stockinger Dozent für Informatik Zürcher Hochschule für Angewandte Wissenschaften DW 2013, 12. November 2013, Zürich
  2. 2. Inhalt •  Überblick über ZHAW und Data Science Lab •  Use Cases für Analyse von Applikations- und Query-Logs •  Technologien: •  Datenbanken •  Hadoop •  Splunk •  Implementierung der Use Cases mit den 3 Technologien 2
  3. 3. CV Kurt Stockinger •  Dozent an der ZHAW seit 1. August 2013 •  2007-2013: Data Warehouse & Business Intelligence Architect bei Credit Suisse, Zürich & Forschungsprojekte mit ETH Zürich •  2004-2007: Forschungstätigkeit am Lawrence Berkeley National Laboratory, Berkeley, Kalifornien (Scientific Data Management) •  2002-2003: Forschungstätigkeit am CERN (Grid Computing, Datenbanken) •  1999-2001: Doktorat in Informatik am CERN (Zugriffsoptimierung für objektorientierte Datenbanken) Gastforscher am California Institute of Technology, Pasadena, Kalifornien 3
  4. 4. Zürcher Hochschule für Angewandte Wissenschaften (ZHAW) •  Geht zurück auf Technikum in Winterthur •  Gegründet 1874 •  Seit 2007 existiert Name ZHAW: •  Zusammenschluss mehrerer Hochschulen im Kanton Zürich •  Zurzeit mehr als 10‘000 Studierende •  Standorte in Zürich, Winterthur und Wädenswil •  Prominentester Dozent: •  1901: Albert Einstein 4
  5. 5. Datalab = Data Science @ ZHAW •  Eines der ersten Data Science Labs in Europa (wenn nicht sogar das erste) •  Zusammenschluss von Informatikern, Statistikern, Mathematikern und Physikern zur Lösung von Data Science Problemen in Forschung und Lehre: •  Institut für Angewandte Informationstechnologie •  www.init.zhaw.ch •  Institut für Datenanalyse und Prozessdesign •  www.idp.zhaw.ch 5
  6. 6. Data Scientist T. Stadelmann, K. Stockinger, M. Braschler, M. Cieliebak, G. Baudinot, O. Dürr, A. Ruckstuhl, Applied Data Science in Europe. In: European Computer Science Summit. ECSS 2013. Amsterdam, The Netherlands: IEEE. http://pd.zhaw.ch/publikation/upload/204718.pdf 6
  7. 7. 7
  8. 8. Inhalt •  Überblick über ZHAW und Data Science Lab •  Use Cases für Analyse von Applikations- und Query-Logs •  Technologien: •  Datenbanken •  Hadoop •  Splunk •  Implementierung der Use Cases mit den 3 Technologien 8
  9. 9. Use Cases •  Web Log Analyse •  Applikations Log Analyse •  DWH Query Log Analyse 9
  10. 10. Web Log Analyse •  Gegeben: •  Log Files von Webserver für eCommerce: •  z.B. Online Shop, eBanking, Produktdokumentation & Hilfe •  Gesucht: •  •  •  •  Welche Artikel werden gesucht? Wie verändert sich das Suchverhalten über die Zeit? Von welchen Lokationen greifen die Benutzer darauf zu? Welche Seiten wurden nie angesehen? 10
  11. 11. Beispiel: Web Log Standardisierte Logs:: 91.57.78.223 - - [09/Sep/2013:00:00:06 +0200] "GET /assets/static/ dojo-0.4.3-custom-4.1.5/nls/dojo_de.js HTTP/1.1" 200 884 "http:// www.superapp.info/product/DataScienceKit" "Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/ 28.0.1500.71 Chrome/28.0.1500.71 Safari/537.36" 11
  12. 12. Applikations Log Analyse •  Gegeben: •  Logfiles von unterschiedlichen Applikationen der eigenen Firma •  Jedes Logfile hat anderes Format •  Jede Applikation hat andere Funktionen, die für Auswertung relevant sind •  Gesucht: •  •  •  •  Wer sind die Hauptkunden? Werden bestimmte Funktionen einer Applikation aufgerufen? Was sind die häufigsten Fehlermeldungen über welchen zeitlichen Verlauf? Sieht man Korrelationen zwischen einzelnen Ereignissen? 12
  13. 13. Beispiel: Applikationslog Logs von unterschiedlichster Struktur:: 2013/10/11 – getUser(„Schrödinger“) – Visting time: 32 sec 2013-Oct-14,14:30 Error – User „xyz“ not allowed to execute task 2013-27-10 eCommerce: Buy artile: „Schrödinger‘s Cat Trilogy, Robert Anthon Wilson, 1979“ 13
  14. 14. DWH Query Log Analyse •  Gegeben: •  DWH Query Logs (ausgeführte SQL Statements) •  Gesucht: •  •  •  •  •  Wer hat welche Queries ausgeführt? Über welchen Zeitraum? Gibt es Korrelationen zwischen den Benutzern? Welche Tabellen wurden am häufigsten abgefragt? Gibt es Zugriffsverletzungen oder sind bestimmte Zugriffsrechte falsch vergeben? 14
  15. 15. Beispiel: DWH Query Log im XML Format <xml> <audit> <username> john_smith </username> <timestamp> 21/12/2012 23:59:59 </timestamp> <sql_query> SELECT * FROM sales S, customers C WHERE S.customer_ID = C.id AND C.hair_color = black </sql_query> … </audit> </xml> 15
  16. 16. Inhalt •  Überblick über ZHAW und Data Science Lab •  Use Cases für Analyse von Applikations- und Query-Logs •  Technologien: •  Datenbanken •  Hadoop •  Splunk •  Implementierung der Use Cases mit den 3 Technologien 16
  17. 17. Data Warehouse basierend auf relationale Datenbanktechnologie §  Relationale Datenbanken §  §  §  seit den 70er ETL (extract, transform, load) = Kitt zwischen DWH-Schichten Sehr effizient für Prozessierung von struktierten und normalisierten Daten Parallele Datenbank für High Performance 17
  18. 18. Hadoop Überblick “A scalable, fault-tolerant, distributed storage and computation platform” App Node 1 Hadoop Map Node N Reduce Map Reduce HDFS 18
  19. 19. Pig Überblick Pig Latin ist eine SQL-ähnliche Sprache Jedes Statement wird on-the-fly in MapReduce kompiliert Pig Statements werden auf Hadoop ausgeführt PIG Script Runtime compiler Map Final results stored in HDFS Map MapReduce Code Map Shuffle & Sort Hadoop cluster Reduce Reduce 19
  20. 20. Splunk Überblick Kommerzielles, closed-source Produkt zur Indizierung und Suche von Log-Daten Intuitives Interface und Suchsprache (entspricht Goolge-Suche + Erweiterungen) Indizes sind verteilt, jedoch keine Replication von Daten und Index 20
  21. 21. Kombination von Hadoop und Splunk 21
  22. 22. Inhalt •  Überblick über ZHAW und Data Science Lab •  Use Cases für Analyse von Applikations- und Query-Logs •  Technologien: •  Datenbanken •  Hadoop •  Splunk •  Implementierung der Use Cases mit den 3 Technologien 22
  23. 23. Datenbanken •  Grundsätzlich sind Datenbanken für Analyse von strukturieren Daten konzipiert •  Log Files sind jedoch semi-strukturiert oder unstrukturiert •  Extrahierungsschritt muss ausserhalb der Datenbank erfolgen (Textextrahierung) •  Danach können Ergebnisse strukturiert in Datenbank abgelegt werden •  Visualisierung und Analyse erfolgt typischer Weise via Business Intelligence Tools •  Pro: •  Etablierte Tools vorhanden •  Gute Unterstützung von Zugriffsverwaltung •  Con: •  Drei unterschiedliche Tools notwendig •  Eigentlich haben wir hier kein Datenbankproblem 23
  24. 24. Hadoop •  Log Files können direkt mit Hadoop prozessiert werden: •  Low-level API: MapReduce + Java •  High-level Progammiersprache: Pig Latin •  Analyse und Auswertung erfolgt ebenfalls in Hadoop •  Visualisierung der Ergebnisse mit anderem Tool •  Pro: •  End-to-end-processing in einem skalierbaren Tool •  Open-source Software •  Con: •  Zugriffsverwaltung noch nicht ausgereift •  Visualisierung durch externes Tool •  Know-how noch nicht so stark verbreitet (Data Scientists werden benötigt) 24
  25. 25. Splunk •  Log Files können direkt mit Splunk prozessiert werden: •  Web Log Files werden direkt erkannt •  Python API erlaubt Erweiterungen •  Visualisierung erfolgt direkt mit Splunk •  Zugriffsberechtigungen können über Dashboards gesteuert werden •  Pro: •  Integriertes System (End-to-end Auswertung + Visualisierung) •  Zugriffsverwaltung •  Kombination mit Hadoop möglich •  Con: •  Entwicklung von komplexen Dashboards nicht trivial •  Gewisse Lernkurve für Aufsetzen der Infrastruktur und Einschulung der Entwickler 25
  26. 26. Nächste Schritte •  Analyse von Log Files ermöglicht breite Anwendungsmöglichkeiten •  Recommender Systems: •  Vorschlagen von ähnlichen Produkten •  Anwendungen: •  Marketing, etc. •  Machine Learning: •  Lernen von Benutzerverhalten und Zugriffsmuster •  Erkennen von Produktaffinitäten von Benutzern •  Anwendung: •  Marketing, Fraud detection, Kundenbetreuung 26
  27. 27. Zusammenfassung •  Analyse von Log Files ist kein Datenbankproblem und sollte nicht über das DWH gemacht werden. •  Kombination mit Hadoop erlaubt skalierbaren Ansatz. •  Einsatz von Splunk hat sich in der Praxis gut bewährt. •  Log Analyse ist typisches Problem für Data Scientists: •  Weltweit eine rare Spezies •  Aber: •  •  •  •  Swiss Data Science Workshop im März 2014: Anmeldung ab Mitte Nov. Wir arbeiten an einem Curriculum für Data Scientists. DAS Data Science für Herbstsemester 2014 geplant. Kontakt: Kurt.Stockinger@zhaw.ch 27

×