Cassini I Guiding ahead
Im Dreiklang Performance sichtbar machen
Logstash, Kibana, Elasticsearch

Kai Wilken I Cassini & Thomas Falkenberg | Payba...
Thomas Falkenberg

!

Performance Engineer, Payback GmbH

!
!
!

#performance
#devops
#opensource

!
!

@falkenbt
falkenbt...
Kai Wilken

!

Consultant bei Cassini Consulting

!
!
!

#physik
#devops
#performance

!
!

@dervanil
kai.wilken@cassini.d...
Maisfeld + Intro + Homer

???

5

15.11.13

Cassini Consulting
6

15.11.13

Cassini Consulting
Und das Maisfeld bei Payback...

7

15.11.13

Cassini Consulting
Warum brauche ich Metriken?

Überprüfung /
Bestätigung der Effekte
durch Optimierung

Neue oder veränderte
Features und Fu...
Ziele von zentraler Logsammlung und Auswertung

! Überblick in komplexen Umgebungen behalten
! Unterstützung bei der Ursac...
Wie arbeitet logstash?

Redis

Logfile

TCP

Graphite

Filter

Redis

10

15.11.13

Elasticsearch

Cassini Consulting

Log...
Grok it!

logfile
grok
pattern

11

…
2013-11-06 09:42:13,274;INFO;d3e7a1db;getAccountTransactions;admin;196;0;
2013-11-06...
Baukasten: logstash, elasticsearch, kibana, graphite, PeX

PErformance eXposure

PayLoad

2. Warmup
3. Load-Test

1. Prelo...
DEMO
13

15.11.13

Cassini Consulting
Wie geht es weiter…

QA

OPS

DEV

"Big
Data"
14

15.11.13

Cassini Consulting
Lessons learned

?

Lernkurve
Integration
Support
Spaß

15

15.11.13

Cassini Consulting

Security
Hausaufgaben
Performanc...
Fragen? Fragen!

16

15.11.13

Cassini Consulting
Links

!

Elasticsearch:

http://www.elasticsearch.org/

!

Kibana:

http://www.elasticsearch.org/overview/kibana/

!

Log...
Cassini Consulting
Niederlassung Hamburg
Kai Wilken
Alle Angaben basieren auf dem derzeitigen Kenntnisstand. Änderungen vo...
Nächste SlideShare
Wird geladen in …5
×

Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen

2.328 Aufrufe

Veröffentlicht am

Moderne Applikationen setzen auf eine verteilte und skalierbare Architektur, in der unterschiedliche Technologien und Komponenten zum Einsatz kommen. Durch dieses Vorgehen gestaltet sich die Messung und Bewertung von Performance einer gesamten Infrastruktur schwierig. Mit Hilfe von Logstash, Elasticsearch und Kibana kann man ein zentrales Reporting über die gesamte Infrastruktur aufbauen. (Performance-) Daten aus unterschiedlichen Quellen werden so für eine zentrale Analyse zusammengeführt und transparent dargestellt. Im Vortrag wird der Aufbau und Nutzen am Beispiel von Performance Reporting (PEx – Performance Exposure) der Payback GmbH deutlich gemacht.

Vortrag auf der Developer Conference 2013 von Thomas Falkenberg und Kai Wilken

Veröffentlicht in: Technologie
0 Kommentare
1 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

Keine Downloads
Aufrufe
Aufrufe insgesamt
2.328
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
27
Aktionen
Geteilt
0
Downloads
17
Kommentare
0
Gefällt mir
1
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

Logstash, Kibana, Elasticsearch: Im Dreiklang Performance sichtbar machen

  1. 1. Cassini I Guiding ahead
  2. 2. Im Dreiklang Performance sichtbar machen Logstash, Kibana, Elasticsearch Kai Wilken I Cassini & Thomas Falkenberg | Payback Version 1.0 © 2013 Cassini Consulting
  3. 3. Thomas Falkenberg ! Performance Engineer, Payback GmbH ! ! ! #performance #devops #opensource ! ! @falkenbt falkenbt@gmail.com 3 15.11.13 Cassini Consulting
  4. 4. Kai Wilken ! Consultant bei Cassini Consulting ! ! ! #physik #devops #performance ! ! @dervanil kai.wilken@cassini.de 4 15.11.13 Cassini Consulting
  5. 5. Maisfeld + Intro + Homer ??? 5 15.11.13 Cassini Consulting
  6. 6. 6 15.11.13 Cassini Consulting
  7. 7. Und das Maisfeld bei Payback... 7 15.11.13 Cassini Consulting
  8. 8. Warum brauche ich Metriken? Überprüfung / Bestätigung der Effekte durch Optimierung Neue oder veränderte Features und Funktionen Validierung Entwicklung Metrik Cycle Optimierung Analyse Verbesserung auf Basis der Beobachtungen 8 15.11.13 Cassini Consulting Analyse der Auswirkungen und Sammlung von Metriken
  9. 9. Ziele von zentraler Logsammlung und Auswertung ! Überblick in komplexen Umgebungen behalten ! Unterstützung bei der Ursachenforschung ! in Fehler- / Problemfällen Verhalten des Systems unter realen Bedingungen beobachten ! Ressourcennutzung und mögliche Engpässe kennen, Trends ableiten können ! Auswirkungen von Veränderungen (z.B. neues Release) transparent machen und bewerten können ! Kontrolle von vertraglichen Verpflichtungen (SLAs) 9 15.11.13 Cassini Consulting
  10. 10. Wie arbeitet logstash? Redis Logfile TCP Graphite Filter Redis 10 15.11.13 Elasticsearch Cassini Consulting Logfile TCP Twitter •  •  •  •  •  Graphite SVN … Grok Multiline (z.B. für Stacktrace) Bedingungen Key-value (z.B. Request Parameter) … Twitter SVN …
  11. 11. Grok it! logfile grok pattern 11 … 2013-11-06 09:42:13,274;INFO;d3e7a1db;getAccountTransactions;admin;196;0; 2013-11-06 09:42:13,375;INFO;8f72ea2c;getAccountBalance;admin;121;0; 2013-11-06 09:42:13,454;INFO;caab93cd;updateMember;admin;653;COR-00011; %{DATA:timestamp};%{DATA:loglevel};%{DATA:requestId};%{DATA:service};%{DATA:consumer};%{INT:responseTime:int};%{DATA:errorCode}; 15.11.13 Cassini Consulting
  12. 12. Baukasten: logstash, elasticsearch, kibana, graphite, PeX PErformance eXposure PayLoad 2. Warmup 3. Load-Test 1. Preload System under Test Database 12 4. Report 15.11.13 Cassini Consulting Metrics sampler kibana
  13. 13. DEMO 13 15.11.13 Cassini Consulting
  14. 14. Wie geht es weiter… QA OPS DEV "Big Data" 14 15.11.13 Cassini Consulting
  15. 15. Lessons learned ? Lernkurve Integration Support Spaß 15 15.11.13 Cassini Consulting Security Hausaufgaben Performance Housekeeping Interpretation !
  16. 16. Fragen? Fragen! 16 15.11.13 Cassini Consulting
  17. 17. Links ! Elasticsearch: http://www.elasticsearch.org/ ! Kibana: http://www.elasticsearch.org/overview/kibana/ ! Logstash: http://logstash.net/ ! Graphite: https://github.com/graphite-project ! Statsd: https://github.com/etsy/statsd/ ! MetricsSampler: https://github.com/dimovelev/metrics-sampler 17 15.11.13 Cassini Consulting
  18. 18. Cassini Consulting Niederlassung Hamburg Kai Wilken Alle Angaben basieren auf dem derzeitigen Kenntnisstand. Änderungen vorbehalten. Johannisbollwerk 16 20459 Hamburg Deutschland T +49 (0)151 11 44 38 53 kai.wilken@cassini.de visit www.cassini.de 18 15.11.13 Dieses Dokument von Cassini Consulting ist ausschließlich für den Adressaten bzw. Auftraggeber bestimmt. Es bleibt bis zur einer ausdrücklichen Übertragung von Nutzungsrechten Eigentum von Cassini. Jede Bearbeitung, Verwertung, Vervielfältigung und/oder gewerbsmäßige Verbreitung des Werkes ist nur mit Einverständnis von Cassini zulässig. Cassini Consulting

×