SlideShare ist ein Scribd-Unternehmen logo

Sich selbst verstehen – der ELK-Stack in der Praxis

Die ganze DevOps-Welt redet von #monitoringsucks, und der ELK-Stack (Elasticsearch, Logstash und Kibana) ist in aller Munde. Schnell ist die Rede vom "Splunk-Killer", und in einschlägigen Social Media gilt das Thema als gesetzt für moderne Operations-Teams. Doch was bedeutet der Einsatz von ELK in der Praxis, für einen mittelständischen IT-Dienstleister mit einem kleinen Team von SREs, die Continuous Delivery schon weitgehend umgesetzt haben und ca. 500 Systeme mit etwa 30 Anwendungen betreuen müssen? In diesem Talk wird der Aufbau von ELK in der Operations-Praxis beschrieben, die Umsetzung (und Pitfalls) diskutiert und Skalierungsmechanismen für große Datenmengen vorgestellt.

1 von 37
Downloaden Sie, um offline zu lesen
Sich selbst verstehen Der ELK-Stack in der Praxis
@lxndrp 
Dr. Alexander Papaspyrou 
Chief Architect (bis Dezember 2014) 
adesso mobile solutions GmbH 
Leiter IT (ab Januar 2015) 
adesso AG 
#devops 
#continuousdelivery
„Wir sind führender Anbieter in den Bereichen 
mobiles Internet, mobile Applikationen und 
Mobile Marketing. Namhafte Kunden nutzen 
unsere Leistungen, um mit dem innovativen 
mobilen Kanal Neukunden zu gewinnen und 
bestehende Kundenbeziehungen zu festigen. 
–Unternehmenskommunikation
in|MOTION FirstSpirit 
Mobile Webseite 
Lastausgleich Failover 
Konfiguration 
adesso mobile Cloud Platform 
Live-Umgebung 
VM VM VM VM VM VM VM VM VM 
Data Center 1 Data Center 2 
Data Center 3 
DE-Zone US-Zone IN-Zone AU-Zone 
Reproduzierbarkeit 
(“Infrastructure as Code“) 
Elastizität und Verteilung 
Isolation 
Globale Verfügbarkeit 
und örtliche Nähe 
Mandantierung 
adesso mobile Cloud Resources 
Services 
Produkte 
Inhalte 
Lastausgleich Failover 
Seitenauslieferung 
Datenbankserver 
PPrereviveieww in|MOTION 
PPrereviveieww Analyse
Die adesso mobile Cloud in Zahlen 
• zwischen 50 und 80 Hardwaresysteme, verteilt auf 15 
Rechenzentren unterschiedlicher Provider und zwei (demnächst drei) 
Kontinente 
• zwischen 300 und 600 VMs, die etwa 30 verschiedene Applikationen 
hosten (in der Hauptsache JEE) 
• zwei Datenbankcluster (MySQL und MongoDB), 
beide hochverfügbar 
• redundante Auslegung aller Systeme und Komponente, inklusive 
Lastausgleich und Failover 
• zwei Mitarbeiter und ein limonadensüchtiger Azubi
Was wir wollen 
(wie wir im Nachhinein erfahren haben) 
• Mengengerüste 
• ca. 40 Mrd. Dokumente, im Volltext indiziert 
• ca. 30TB Daten, Zuwachsrate von 200GB/Tag 
• ca. 200 Mio. Events pro Tag, bis zu 15.000/s 
• Anforderungen 
• Verarbeitung in Echtzeit (unter 5s Versatz) 
• Live-Ansicht (idR. unter 1s Zugriffszeit)
Anzeige

Recomendados

Open Patterns for Day 2 Ops [Gluecon 2017]
Open Patterns for Day 2 Ops [Gluecon 2017]Open Patterns for Day 2 Ops [Gluecon 2017]
Open Patterns for Day 2 Ops [Gluecon 2017]rhirschfeld
 
Einführung in NoSQL-Datenbanken
Einführung in NoSQL-DatenbankenEinführung in NoSQL-Datenbanken
Einführung in NoSQL-DatenbankenTobias Trelle
 
HashiTalks: DACH - Die Verwendung von IaC im DevOps Prozess
HashiTalks: DACH - Die Verwendung von IaC im DevOps ProzessHashiTalks: DACH - Die Verwendung von IaC im DevOps Prozess
HashiTalks: DACH - Die Verwendung von IaC im DevOps ProzessJochen Zehnder
 
Ceph Introduction @GPN15
Ceph Introduction @GPN15Ceph Introduction @GPN15
Ceph Introduction @GPN15m1no
 
Einführung in Elasticsearch
Einführung in ElasticsearchEinführung in Elasticsearch
Einführung in ElasticsearchFlorian Hopf
 
German Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als CodeGerman Perl Workshop 2015 - Infrastruktur als Code
German Perl Workshop 2015 - Infrastruktur als CodeJan Gehring
 
openstack Übersicht @GPN15
openstack Übersicht @GPN15openstack Übersicht @GPN15
openstack Übersicht @GPN15m1no
 

Más contenido relacionado

Was ist angesagt?

Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)hastexo
 
Einfuehrung in Elasticsearch
Einfuehrung in ElasticsearchEinfuehrung in Elasticsearch
Einfuehrung in ElasticsearchFlorian Hopf
 
OSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias Gallinger
OSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias GallingerOSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias Gallinger
OSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias GallingerNETWAYS
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als CodeJan Gehring
 
Private Cloud mit Ceph und OpenStack
Private Cloud mit Ceph und OpenStackPrivate Cloud mit Ceph und OpenStack
Private Cloud mit Ceph und OpenStackDaniel Schneller
 
Integration von Elasticsearch Java EE Webanwendungen
Integration von Elasticsearch Java EE WebanwendungenIntegration von Elasticsearch Java EE Webanwendungen
Integration von Elasticsearch Java EE WebanwendungenSebastian Daniel
 
Einführung in Elasticsearch
Einführung in ElasticsearchEinführung in Elasticsearch
Einführung in ElasticsearchFlorian Hopf
 
Von Test nach Live mit Rex
Von Test nach Live mit RexVon Test nach Live mit Rex
Von Test nach Live mit RexJan Gehring
 
Code Review to the Rescue
Code Review to the RescueCode Review to the Rescue
Code Review to the RescueAndreas Günzel
 
Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Jan Gehring
 
Hadoop 2.0 - The Next Level
Hadoop 2.0 - The Next LevelHadoop 2.0 - The Next Level
Hadoop 2.0 - The Next LevelSascha Dittmann
 
Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....
Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....
Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....NETWAYS
 
Twisted Eventloop Short Presentation
Twisted Eventloop Short PresentationTwisted Eventloop Short Presentation
Twisted Eventloop Short Presentationfrog32
 

Was ist angesagt? (14)

Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)
 
Einfuehrung in Elasticsearch
Einfuehrung in ElasticsearchEinfuehrung in Elasticsearch
Einfuehrung in Elasticsearch
 
OSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias Gallinger
OSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias GallingerOSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias Gallinger
OSMC 2018 | Netzwerkmonitoring mit Prometheus by Matthias Gallinger
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als Code
 
Private Cloud mit Ceph und OpenStack
Private Cloud mit Ceph und OpenStackPrivate Cloud mit Ceph und OpenStack
Private Cloud mit Ceph und OpenStack
 
Integration von Elasticsearch Java EE Webanwendungen
Integration von Elasticsearch Java EE WebanwendungenIntegration von Elasticsearch Java EE Webanwendungen
Integration von Elasticsearch Java EE Webanwendungen
 
Einführung in Elasticsearch
Einführung in ElasticsearchEinführung in Elasticsearch
Einführung in Elasticsearch
 
Von Test nach Live mit Rex
Von Test nach Live mit RexVon Test nach Live mit Rex
Von Test nach Live mit Rex
 
Code Review to the Rescue
Code Review to the RescueCode Review to the Rescue
Code Review to the Rescue
 
Storage Spaces Direct - Introduction
Storage Spaces Direct - IntroductionStorage Spaces Direct - Introduction
Storage Spaces Direct - Introduction
 
Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex Automatisierte Linux Administration mit (R)?ex
Automatisierte Linux Administration mit (R)?ex
 
Hadoop 2.0 - The Next Level
Hadoop 2.0 - The Next LevelHadoop 2.0 - The Next Level
Hadoop 2.0 - The Next Level
 
Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....
Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....
Icinga 2: Migration von Nagios oder Icinga 1.x leicht gemacht (Webinar 02.09....
 
Twisted Eventloop Short Presentation
Twisted Eventloop Short PresentationTwisted Eventloop Short Presentation
Twisted Eventloop Short Presentation
 

Destacado

Search Analytics with ELK (Elastic Stack)
Search Analytics with ELK (Elastic Stack)Search Analytics with ELK (Elastic Stack)
Search Analytics with ELK (Elastic Stack)MC+A
 
Real-time data analysis using ELK
Real-time data analysis using ELKReal-time data analysis using ELK
Real-time data analysis using ELKJettro Coenradie
 
Docker, Kubernetes, and Mesos recipes for Java developers
Docker, Kubernetes, and Mesos recipes for Java developersDocker, Kubernetes, and Mesos recipes for Java developers
Docker, Kubernetes, and Mesos recipes for Java developersArun Gupta
 
Microservices with JBoss EAP & OpenShift
Microservices with JBoss EAP & OpenShiftMicroservices with JBoss EAP & OpenShift
Microservices with JBoss EAP & OpenShiftbobmcwhirter
 
Java EE and NoSQL using JBoss EAP 7 and OpenShift
Java EE and NoSQL using JBoss EAP 7 and OpenShiftJava EE and NoSQL using JBoss EAP 7 and OpenShift
Java EE and NoSQL using JBoss EAP 7 and OpenShiftArun Gupta
 
Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)
Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)
Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)Cohesive Networks
 
Logging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & KibanaLogging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & KibanaAmazee Labs
 
Attack monitoring using ElasticSearch Logstash and Kibana
Attack monitoring using ElasticSearch Logstash and KibanaAttack monitoring using ElasticSearch Logstash and Kibana
Attack monitoring using ElasticSearch Logstash and KibanaPrajal Kulkarni
 

Destacado (10)

Search Analytics with ELK (Elastic Stack)
Search Analytics with ELK (Elastic Stack)Search Analytics with ELK (Elastic Stack)
Search Analytics with ELK (Elastic Stack)
 
Real-time data analysis using ELK
Real-time data analysis using ELKReal-time data analysis using ELK
Real-time data analysis using ELK
 
Docker, Kubernetes, and Mesos recipes for Java developers
Docker, Kubernetes, and Mesos recipes for Java developersDocker, Kubernetes, and Mesos recipes for Java developers
Docker, Kubernetes, and Mesos recipes for Java developers
 
Microservices with JBoss EAP & OpenShift
Microservices with JBoss EAP & OpenShiftMicroservices with JBoss EAP & OpenShift
Microservices with JBoss EAP & OpenShift
 
Java EE and NoSQL using JBoss EAP 7 and OpenShift
Java EE and NoSQL using JBoss EAP 7 and OpenShiftJava EE and NoSQL using JBoss EAP 7 and OpenShift
Java EE and NoSQL using JBoss EAP 7 and OpenShift
 
Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)
Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)
Lessons Learned in Deploying the ELK Stack (Elasticsearch, Logstash, and Kibana)
 
Elk stack
Elk stackElk stack
Elk stack
 
Logging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & KibanaLogging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & Kibana
 
The Elastic ELK Stack
The Elastic ELK StackThe Elastic ELK Stack
The Elastic ELK Stack
 
Attack monitoring using ElasticSearch Logstash and Kibana
Attack monitoring using ElasticSearch Logstash and KibanaAttack monitoring using ElasticSearch Logstash and Kibana
Attack monitoring using ElasticSearch Logstash and Kibana
 

Ähnlich wie Sich selbst verstehen – der ELK-Stack in der Praxis

Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse
Setting-up Elasticsearch, Logstash, Kibana für agile DatenanalyseSetting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse
Setting-up Elasticsearch, Logstash, Kibana für agile DatenanalyseSHI Search | Analytics | Big Data
 
WS: Uhl, Lisog - Deutsche Wolke
WS: Uhl, Lisog - Deutsche WolkeWS: Uhl, Lisog - Deutsche Wolke
WS: Uhl, Lisog - Deutsche WolkeCloudOps Summit
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.QAware GmbH
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesQAware GmbH
 
7 Top Internet-Trends
7 Top Internet-Trends7 Top Internet-Trends
7 Top Internet-TrendsMarkus Tressl
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionQAware GmbH
 
Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)AWS Germany
 
Lasttest auf Zuruf CloudTest on Demand webinar presentation
Lasttest auf Zuruf CloudTest on Demand webinar presentationLasttest auf Zuruf CloudTest on Demand webinar presentation
Lasttest auf Zuruf CloudTest on Demand webinar presentationSOASTA
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“OPEN KNOWLEDGE GmbH
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.QAware GmbH
 
Deutsche Wolke
Deutsche WolkeDeutsche Wolke
Deutsche WolkeThomas Uhl
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...inovex GmbH
 
Textanalyse mit UIMA und Hadoop
Textanalyse mit UIMA und HadoopTextanalyse mit UIMA und Hadoop
Textanalyse mit UIMA und Hadoopinovex GmbH
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionQAware GmbH
 
Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!
Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!
Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!confluent
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data KonnektivitätTrivadis
 
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“OPEN KNOWLEDGE GmbH
 
Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...
Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...
Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...Univention GmbH
 
Apache Kafka
Apache KafkaApache Kafka
Apache Kafkagedoplan
 
Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenenpit GmbH & Co. KG
 

Ähnlich wie Sich selbst verstehen – der ELK-Stack in der Praxis (20)

Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse
Setting-up Elasticsearch, Logstash, Kibana für agile DatenanalyseSetting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse
Setting-up Elasticsearch, Logstash, Kibana für agile Datenanalyse
 
WS: Uhl, Lisog - Deutsche Wolke
WS: Uhl, Lisog - Deutsche WolkeWS: Uhl, Lisog - Deutsche Wolke
WS: Uhl, Lisog - Deutsche Wolke
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
 
7 Top Internet-Trends
7 Top Internet-Trends7 Top Internet-Trends
7 Top Internet-Trends
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen Evolution
 
Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)Big Data Webinar (Deutsch)
Big Data Webinar (Deutsch)
 
Lasttest auf Zuruf CloudTest on Demand webinar presentation
Lasttest auf Zuruf CloudTest on Demand webinar presentationLasttest auf Zuruf CloudTest on Demand webinar presentation
Lasttest auf Zuruf CloudTest on Demand webinar presentation
 
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
Auf gehts in die Cloud: „Das kann doch nicht so schwer sein!“
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
Deutsche Wolke
Deutsche WolkeDeutsche Wolke
Deutsche Wolke
 
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
Cloud Wars – what‘s the smartest data platform? Vergleich Microsoft Azure, Am...
 
Textanalyse mit UIMA und Hadoop
Textanalyse mit UIMA und HadoopTextanalyse mit UIMA und Hadoop
Textanalyse mit UIMA und Hadoop
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen Evolution
 
Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!
Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!
Event-Streaming in Echtzeit: Der MongoDB-Kafka-Connector in Action!
 
Big Data Konnektivität
Big Data KonnektivitätBig Data Konnektivität
Big Data Konnektivität
 
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
Auf geht‘s in die Cloud: „Das kann doch nicht so schwer sein!“
 
Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...
Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...
Enterprise-IT in the multi and hybrid cloud area (Steve Janata, COO Crisp-Res...
 
Apache Kafka
Apache KafkaApache Kafka
Apache Kafka
 
Modernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesenModernisierung in Zeiten wie diesen
Modernisierung in Zeiten wie diesen
 

Sich selbst verstehen – der ELK-Stack in der Praxis

  • 1. Sich selbst verstehen Der ELK-Stack in der Praxis
  • 2. @lxndrp Dr. Alexander Papaspyrou Chief Architect (bis Dezember 2014) adesso mobile solutions GmbH Leiter IT (ab Januar 2015) adesso AG #devops #continuousdelivery
  • 3. „Wir sind führender Anbieter in den Bereichen mobiles Internet, mobile Applikationen und Mobile Marketing. Namhafte Kunden nutzen unsere Leistungen, um mit dem innovativen mobilen Kanal Neukunden zu gewinnen und bestehende Kundenbeziehungen zu festigen. –Unternehmenskommunikation
  • 4. in|MOTION FirstSpirit Mobile Webseite Lastausgleich Failover Konfiguration adesso mobile Cloud Platform Live-Umgebung VM VM VM VM VM VM VM VM VM Data Center 1 Data Center 2 Data Center 3 DE-Zone US-Zone IN-Zone AU-Zone Reproduzierbarkeit (“Infrastructure as Code“) Elastizität und Verteilung Isolation Globale Verfügbarkeit und örtliche Nähe Mandantierung adesso mobile Cloud Resources Services Produkte Inhalte Lastausgleich Failover Seitenauslieferung Datenbankserver PPrereviveieww in|MOTION PPrereviveieww Analyse
  • 5. Die adesso mobile Cloud in Zahlen • zwischen 50 und 80 Hardwaresysteme, verteilt auf 15 Rechenzentren unterschiedlicher Provider und zwei (demnächst drei) Kontinente • zwischen 300 und 600 VMs, die etwa 30 verschiedene Applikationen hosten (in der Hauptsache JEE) • zwei Datenbankcluster (MySQL und MongoDB), beide hochverfügbar • redundante Auslegung aller Systeme und Komponente, inklusive Lastausgleich und Failover • zwei Mitarbeiter und ein limonadensüchtiger Azubi
  • 6. Was wir wollen (wie wir im Nachhinein erfahren haben) • Mengengerüste • ca. 40 Mrd. Dokumente, im Volltext indiziert • ca. 30TB Daten, Zuwachsrate von 200GB/Tag • ca. 200 Mio. Events pro Tag, bis zu 15.000/s • Anforderungen • Verarbeitung in Echtzeit (unter 5s Versatz) • Live-Ansicht (idR. unter 1s Zugriffszeit)
  • 9. Der etablierte Zoo images courtesy Wikipedia
  • 10. #monitoringsucks Scientific breakthrough! Dortmund, November 2014 (reuters). After several years of dedicated research, SREs from several renowned companies have reached an important conclusion: Monitoring sucks. Now, this may come as a surprise to some of our readers, but it’s true. This research has been validated by independent researchers around the world. More importantly, this is no two-bit suckiness we are talking here. This is major league. Sucks with a capital S. image courtesy The Atlantic / Reuters
  • 11. ELK? image courtesy Wikipedia
  • 12. „By combining the massively popular Elasticsearch, Logstash and Kibana we have created an end-to-end stack that delivers actionable insights in real-time from almost any type of structured and unstructured data source.“ –elasticsearch.org
  • 13. Der ELK-Stack analyze (realtime) search scrub, parse enrich graphs, charts visualize
  • 14. Erster Akt anno domini 2012, im November ca. 250MB/Tag syslog
  • 15. Infrastruktur IETF Syslog (RFC5424) Elasticsearch Logstash Kibana
  • 16. Zweiter Akt anno domini 2013, im März ca. 1,5GB/Tag Logs von Kernsystemen
  • 17. Elasticsearch Kibana IETF Syslog (RFC5424) Infrastruktur Logstash HTTP Logstash/JSON
  • 18. Dritter Akt anno domini 2013, im August ca. 20GB/Tag Applikationslogs (Fehler)
  • 19. Elasticsearch IETF Syslog (RFC5424) Infrastruktur Logstash Collector TCP HTTP Logstash/JSON Logstash Indexer Elasticsearch Elasticsearch RR-DNS Kibana
  • 20. Vierter Akt anno domini 2013, im Dezember ca. 50GB/Tag Applikationslogs (Warnungen)
  • 21. Infra/JSON Message Queueing (RabbitMQ) Logstash Indexer Elasticsearch Infrastruktur syslog Logstash Collector HTTP TCP Elasticsearch Elasticsearch RR-DNS Kibana Apps/JSON Logstash Indexer HTTP ...
  • 22. Fünfter Akt anno domini 2014, im April ca. 100GB/Tag Proxies
  • 23. Elasticsearch Infrastruktur syslog Message Queueing (RabbitMQ) Logstash Collector Infra/JSON Logstash Indexer TCP Elasticsearch Elasticsearch RR-DNS Kibana Apps/JSON ... Logstash Indexer Message Queueing (RabbitMQ)
  • 24. Fünfter Akt anno domini 2014, im April ca. 100GB/Tag Load Balancer und sonstige Failover/Redundanzsysteme
  • 25. Data Infrastruktur syslog Logstash Collector Infra/JSON Logstash Indexer TCP Master Master Data Kibana Message Queueing (Redis) Apps/JSON ... Logstash Indexer Message Queueing (RabbitMQ) ... Kibana Kibana RR-DNS Master Search Search Search Elasticsearch
  • 29. „Wie bändige ich dieses Monstrum?“
  • 34. Siebter Akt anno domini 2015 ca. 500GB/Tag (geschätzt) Performancedaten und Security (BSI 100-2 bzw. ISO27001)
  • 36. x MAGAZIN FÜR PROFESSIONELLE 1 rechts INFORMATIONSTECHNIK Gebäudesteuerung für Heim, Büro und Fabrik: Strom sparen durch IT Tutorial, Praxisbericht, Apples HomeKit Eclipse-Programmierung: Schönere Grafiken mit JavaFX und GEF4 Open-Source-Cloud: OpenStack Juno Oracle-12-Know-how: Mehr Speed mit In-Memory JSON in SQL-Anwendungen Systemverwaltung: Loganalyse mit freier Software Anspruch und Wirklichkeit: Faire Hardware-Produktion Virtual Reality für Entwickler: Oculus Rift DK2 Mobile Security: Android-Forensik E-Commerce per Mietlösung: Onlineshops vom Provider Tutorial: 3D-Programmierung mit Blender Teil 3: Spiele programmieren 11 NOVEMBER 2014 hHeise Gebäudesteuerung ● Gehostete Onlineshops ● Faire Hardware-Produktion ● Tutorial: Blender-Programmierung/III NOVEMBER 2014 € 6,90 Österreich € 7,40 • Schweiz CHF 10,70 Benelux € 8,10 • Italien € 8,10 www.ix.de ix.1114.001 13.10.14 11:56 Seite 1 #readme http://www.heise.de/ix/inhalt/ 2014/11/124/