Die ganze DevOps-Welt redet von #monitoringsucks, und der ELK-Stack (Elasticsearch, Logstash und Kibana) ist in aller Munde. Schnell ist die Rede vom "Splunk-Killer", und in einschlägigen Social Media gilt das Thema als gesetzt für moderne Operations-Teams. Doch was bedeutet der Einsatz von ELK in der Praxis, für einen mittelständischen IT-Dienstleister mit einem kleinen Team von SREs, die Continuous Delivery schon weitgehend umgesetzt haben und ca. 500 Systeme mit etwa 30 Anwendungen betreuen müssen? In diesem Talk wird der Aufbau von ELK in der Operations-Praxis beschrieben, die Umsetzung (und Pitfalls) diskutiert und Skalierungsmechanismen für große Datenmengen vorgestellt.

1. Sich selbst verstehen Der ELK-Stack in der Praxis

2. @lxndrp
Dr. Alexander Papaspyrou
Chief Architect (bis Dezember 2014)
adesso mobile solutions GmbH
Leiter IT (ab Januar 2015)
adesso AG
#devops
#continuousdelivery

3. „Wir sind führender Anbieter in den Bereichen
mobiles Internet, mobile Applikationen und
Mobile Marketing. Namhafte Kunden nutzen
unsere Leistungen, um mit dem innovativen
mobilen Kanal Neukunden zu gewinnen und
bestehende Kundenbeziehungen zu festigen.
–Unternehmenskommunikation

4. in|MOTION FirstSpirit
Mobile Webseite
Lastausgleich Failover
Konfiguration
adesso mobile Cloud Platform
Live-Umgebung
VM VM VM VM VM VM VM VM VM
Data Center 1 Data Center 2
Data Center 3
DE-Zone US-Zone IN-Zone AU-Zone
Reproduzierbarkeit
(“Infrastructure as Code“)
Elastizität und Verteilung
Isolation
Globale Verfügbarkeit
und örtliche Nähe
Mandantierung
adesso mobile Cloud Resources
Services
Produkte
Inhalte
Lastausgleich Failover
Seitenauslieferung
Datenbankserver
PPrereviveieww in|MOTION
PPrereviveieww Analyse

5. Die adesso mobile Cloud in Zahlen
• zwischen 50 und 80 Hardwaresysteme, verteilt auf 15
Rechenzentren unterschiedlicher Provider und zwei (demnächst drei)
Kontinente
• zwischen 300 und 600 VMs, die etwa 30 verschiedene Applikationen
hosten (in der Hauptsache JEE)
• zwei Datenbankcluster (MySQL und MongoDB),
beide hochverfügbar
• redundante Auslegung aller Systeme und Komponente, inklusive
Lastausgleich und Failover
• zwei Mitarbeiter und ein limonadensüchtiger Azubi

6. Was wir wollen
(wie wir im Nachhinein erfahren haben)
• Mengengerüste
• ca. 40 Mrd. Dokumente, im Volltext indiziert
• ca. 30TB Daten, Zuwachsrate von 200GB/Tag
• ca. 200 Mio. Events pro Tag, bis zu 15.000/s
• Anforderungen
• Verarbeitung in Echtzeit (unter 5s Versatz)
• Live-Ansicht (idR. unter 1s Zugriffszeit)

7. Was bedeutet Big Data?

8. Die drei V’s

9. Der etablierte Zoo
images courtesy Wikipedia

10. #monitoringsucks
Scientific breakthrough!
Dortmund, November 2014 (reuters). After several
years of dedicated research, SREs from several renowned companies have
reached an important conclusion: Monitoring sucks. Now, this may come as
a surprise to some of our readers, but it’s true. This research has been
validated by independent researchers around the world. More importantly,
this is no two-bit suckiness we are talking here. This is major league. Sucks
with a capital S.
image courtesy The Atlantic / Reuters

11. ELK?
image courtesy Wikipedia

12. „By combining the massively popular
Elasticsearch, Logstash and Kibana we have
created an end-to-end stack that delivers
actionable insights in real-time from almost any
type of structured and unstructured data
source.“
–elasticsearch.org

13. Der ELK-Stack
analyze (realtime)
search
scrub, parse
enrich
graphs, charts
visualize

14. Erster Akt
anno domini 2012, im November
ca. 250MB/Tag
syslog

15. Infrastruktur
IETF Syslog (RFC5424)
Elasticsearch
Logstash
Kibana

16. Zweiter Akt
anno domini 2013, im März
ca. 1,5GB/Tag
Logs von Kernsystemen

17. Elasticsearch
Kibana
IETF Syslog (RFC5424)
Infrastruktur
Logstash
HTTP
Logstash/JSON

18. Dritter Akt
anno domini 2013, im August
ca. 20GB/Tag
Applikationslogs (Fehler)

19. Elasticsearch
IETF Syslog (RFC5424)
Infrastruktur
Logstash Collector
TCP
HTTP
Logstash/JSON
Logstash Indexer
Elasticsearch Elasticsearch
RR-DNS
Kibana

20. Vierter Akt
anno domini 2013, im Dezember
ca. 50GB/Tag
Applikationslogs (Warnungen)

21. Infra/JSON
Message Queueing (RabbitMQ)
Logstash Indexer
Elasticsearch
Infrastruktur
syslog
Logstash Collector
HTTP
TCP
Elasticsearch Elasticsearch
RR-DNS
Kibana
Apps/JSON
Logstash Indexer
HTTP
...

22. Fünfter Akt
anno domini 2014, im April
ca. 100GB/Tag
Proxies

23. Elasticsearch
Infrastruktur
syslog
Message Queueing (RabbitMQ)
Logstash Collector
Infra/JSON
Logstash Indexer
TCP
Elasticsearch Elasticsearch
RR-DNS
Kibana
Apps/JSON
... Logstash Indexer
Message Queueing (RabbitMQ)

24. Fünfter Akt
anno domini 2014, im April
ca. 100GB/Tag
Load Balancer und sonstige
Failover/Redundanzsysteme

25. Data
Infrastruktur
syslog
Logstash Collector
Infra/JSON
Logstash Indexer
TCP
Master Master
Data
Kibana
Message Queueing (Redis)
Apps/JSON
... Logstash Indexer
Message Queueing (RabbitMQ)
...
Kibana Kibana
RR-DNS
Master
Search Search Search
Elasticsearch

28. Sie.
image courtesy 9GAG

29. „Wie bändige ich dieses Monstrum?“

30. Sich selbst verstehen
Nutzen

31. Nutzung über die Zeit

32. Angriffe nach Region

33. Plattformen im Vergleich

34. Siebter Akt
anno domini 2015
ca. 500GB/Tag (geschätzt)
Performancedaten und Security
(BSI 100-2 bzw. ISO27001)

35. Jenseits von ELK

36. x MAGAZIN FÜR PROFESSIONELLE
1 rechts
INFORMATIONSTECHNIK
Gebäudesteuerung für Heim, Büro und Fabrik:
Strom sparen durch IT
Tutorial, Praxisbericht, Apples HomeKit
Eclipse-Programmierung:
Schönere Grafiken mit JavaFX und GEF4
Open-Source-Cloud:
OpenStack Juno
Oracle-12-Know-how:
Mehr Speed mit In-Memory
JSON in SQL-Anwendungen
Systemverwaltung:
Loganalyse mit freier Software
Anspruch und Wirklichkeit:
Faire Hardware-Produktion
Virtual Reality für Entwickler:
Oculus Rift DK2
Mobile Security:
Android-Forensik
E-Commerce per Mietlösung:
Onlineshops vom Provider
Tutorial:
3D-Programmierung
mit Blender
Teil 3: Spiele programmieren
11 NOVEMBER
2014
hHeise Gebäudesteuerung ● Gehostete Onlineshops ● Faire Hardware-Produktion ● Tutorial: Blender-Programmierung/III NOVEMBER 2014
€ 6,90
Österreich € 7,40 • Schweiz CHF 10,70
Benelux € 8,10 • Italien € 8,10
www.ix.de
ix.1114.001 13.10.14 11:56 Seite 1
#readme
http://www.heise.de/ix/inhalt/
2014/11/124/