SlideShare ist ein Scribd-Unternehmen logo
Die Evolution im Monitoring
Monitoring bei RTLs wer-kennt-wen.de mit free und open source Software
Über uns
• Internet-Plattform
• Soziales Netzwerk
• Registrierung ab 14 Jahren möglich
• Kostenlos
• Gründung: 3. Oktober 2006
• Über 9 Mio. Mitglieder
• Über 80 Mitarbeiter
• 6,36 Mio. Unique User pro Monat
• Firmensitz in Köln
Über mich
Systemadministrator
• Überwachung
• Betrieb
DevOp
• Weiterentwicklung
• Agiles Arbeiten in allen Bereichen
Jan Doberstein
Damals™
1. Produktentwicklung
2. Markteinführung
3. Neue Hardware
Nagios Cacti
Monitoring!
Entwicklung
Okt. 06
Apr. 07
Nov. 07
Jun. 08
Dez. 08
Jul. 09
Jan. 10
Aug. 10
> 500 Server
Serverwachstum
Rasantes Wachstum
 Dezember 2007 1 Mio. User
 September 2008 4 Mio. User
 April 2010 8 Mio. User
Aufbau
 Webserver
 Bilder
 Statischer Content
 Cache
 Middleware (Suche, Kontaktpfad)
 Datenbanken
 Speicher (Bilder)
Aufbau Monitoring
55 Messpunkte in der Sekunde
Monolithische Architektur
nur vertikal Skalierbar
Cacti
Nagios
plain Vanilla
Leistungsgrenzen & Nutzbarkeit
Problem?
 Sequentielle Bearbeitung
 Komplexe Ereigniskette
 Komplizierte Wartung
 Messlücken
Problem?
 Modellgetriebene Metriken
 Datenbank als Flaschenhals
 Nicht persistierte Daten können
nicht ausgewertet werden!
Referenzhardware
CPU: HP DL380 8 Core Xeon X5450 @ 3 GHz
RAM: 32 GByte ECC
HD: Controller P400 / RAID5 6x HP SAS mit 10.000 RPM
DB: MySQL 5.0.92 mit InnoDB Storage-Engine bei 70% Bufferpool/Memory
OS: Linux wkwdb-fra99 2.6.18-4-amd64 #1 SMP Fri May 4 00:37:33 UTC 2007 x86_64 GNU/Linux
Problem?
 Fehleranfälliger Workflow
 Kanban: tägliches Deployment
 Applikationsupdates betrifft auch das Monitoring
Problem!
Evolution
grocksta
schnell, dynamisch, stabil
grocksta
graphite
 Speicherung
 Darstellung
rocksteady
 Middleware
 Business Logik
statsd
 Aggregation
 Mittelwertbildung
Architektur
Kommunikation
 UDP für schnelle Updateintervalle
 Metriken können aggregiert werden
 (UDP miss unter 1 Promille)
 TCP für garantierte Übertragung
 Middleware arbeitet mit Metriken
 Queue ist nur der Transport
Speicherung
Retentions = Auflösung [s]:Anzahl Messpunkte
graphite
http://graphite.wikidot.com
Business Logik
rocksteady
http://code.google.com/p/rocksteady
Aggregation
statsd
"A network daemon for aggregating statistics
(counters and timers), rolling them up, then
sending them to graphite."
https://github.com/etsy/statsd/blob/master/README.md
https://github.com/etsy/statsd
Darstellung
graphite
API !
Opsview
Dashboard
(Nagios Checks)
http://graphite.wikidot.com
© Pieter Morlion (pieter.morlion @ flickr )
Erstellung (Dev)
 Code getriebene Metriken
 Events
 Dynamische Metriken
 Wenig Code
Erstellung (Op)
root@cacti:~# echo "sys.$(hostname).users.loggedin 
$(who|wc –l) 
$(date +%s)" 
| netcat –u statsd 6667
Erstellung (Op)
grocksta vs. cacti
Zusammenfassung
 Monitoring ist agiler
geworden
 Trends können schneller
erkannt werden
 Mehr Messmöglichkeiten
 Ein genauerer Blick auf das
Ganze
Fragen?
© Valerie Everett (valeriebb @ flickr)
Danke
Jan Doberstein
jan.doberstein@wer-kennt-wen.de
@jalogisch

Weitere ähnliche Inhalte

Was ist angesagt?

Mit OpenStack zur eigenen Cloud
Mit OpenStack zur eigenen CloudMit OpenStack zur eigenen Cloud
Mit OpenStack zur eigenen Cloud
hastexo
 
Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)
hastexo
 
Stackstorm – Event driven Automation
Stackstorm – Event driven AutomationStackstorm – Event driven Automation
Stackstorm – Event driven Automation
inovex GmbH
 
Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)
Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)
Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)
hastexo
 
10 Gute Gruende - NetApp DevOps
10 Gute Gruende - NetApp DevOps10 Gute Gruende - NetApp DevOps
10 Gute Gruende - NetApp DevOps
NetApp_Germany
 
4×4: Big Data in der Cloud
4×4: Big Data in der Cloud4×4: Big Data in der Cloud
4×4: Big Data in der Cloud
Danny Linden
 

Was ist angesagt? (6)

Mit OpenStack zur eigenen Cloud
Mit OpenStack zur eigenen CloudMit OpenStack zur eigenen Cloud
Mit OpenStack zur eigenen Cloud
 
Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)Mit OpenStack zur eigenen Cloud (OSDC 2012)
Mit OpenStack zur eigenen Cloud (OSDC 2012)
 
Stackstorm – Event driven Automation
Stackstorm – Event driven AutomationStackstorm – Event driven Automation
Stackstorm – Event driven Automation
 
Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)
Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)
Mit OpenStack zur eigenen Cloud (LinuxWochen Wien, 2012)
 
10 Gute Gruende - NetApp DevOps
10 Gute Gruende - NetApp DevOps10 Gute Gruende - NetApp DevOps
10 Gute Gruende - NetApp DevOps
 
4×4: Big Data in der Cloud
4×4: Big Data in der Cloud4×4: Big Data in der Cloud
4×4: Big Data in der Cloud
 

Ähnlich wie OSMC 2011 | Monitoring "wer kennt wen" mit free and open source software by Jan Doberstein

Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBB
BATbern
 
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText BasisAnwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
netmedianer GmbH
 
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anyninesVorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
anynines GmbH
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performanceglembotzky
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
QAware GmbH
 
Metalstack Cloud - DSGVO konformes Managed Kubernetes für KMU
Metalstack Cloud - DSGVO konformes Managed Kubernetes für KMUMetalstack Cloud - DSGVO konformes Managed Kubernetes für KMU
Metalstack Cloud - DSGVO konformes Managed Kubernetes für KMU
Eduard Boger
 
Suse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein BeispielSuse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein Beispiel
ATIX AG
 
Meet Magento - High performance magento
Meet Magento - High performance magentoMeet Magento - High performance magento
Meet Magento - High performance magento
AOE
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
NETWAYS
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
QAware GmbH
 
Big/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overviewBig/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overview
OMM Solutions GmbH
 
Architektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOpsArchitektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOps
matfsw
 
Node.js - Von der Entwicklugn bis zum produktiven Einsatz
Node.js - Von der Entwicklugn bis zum produktiven EinsatzNode.js - Von der Entwicklugn bis zum produktiven Einsatz
Node.js - Von der Entwicklugn bis zum produktiven Einsatz
Kai Donato
 
Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013
NETWAYS
 
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von AngrybirdCloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
AOE
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
BOSTON Server & Storage Solutions GmbH
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der Praxis
BATbern
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen Evolution
QAware GmbH
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016
Digicomp Academy AG
 
ObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-GermanObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIT
 

Ähnlich wie OSMC 2011 | Monitoring "wer kennt wen" mit free and open source software by Jan Doberstein (20)

Public Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBBPublic Cloud Erfahrungsbericht SBB
Public Cloud Erfahrungsbericht SBB
 
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText BasisAnwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
Anwender-Case Karl Storz GmbH & Co. KG auf OpenText Basis
 
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anyninesVorlesung - Cloud Infrastrukturen - Einleitung | anynines
Vorlesung - Cloud Infrastrukturen - Einleitung | anynines
 
Skalierung & Performance
Skalierung & PerformanceSkalierung & Performance
Skalierung & Performance
 
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.Steinzeit war gestern! Wege der Cloud-nativen Evolution.
Steinzeit war gestern! Wege der Cloud-nativen Evolution.
 
Metalstack Cloud - DSGVO konformes Managed Kubernetes für KMU
Metalstack Cloud - DSGVO konformes Managed Kubernetes für KMUMetalstack Cloud - DSGVO konformes Managed Kubernetes für KMU
Metalstack Cloud - DSGVO konformes Managed Kubernetes für KMU
 
Suse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein BeispielSuse in der neuen Welt des Rechenzentrums - ein Beispiel
Suse in der neuen Welt des Rechenzentrums - ein Beispiel
 
Meet Magento - High performance magento
Meet Magento - High performance magentoMeet Magento - High performance magento
Meet Magento - High performance magento
 
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
OSMC 2013 | Enterprise Platforms Monitoring at s IT Solutions AT by Johannes ...
 
Dataservices - Data Processing mit Microservices
Dataservices - Data Processing mit MicroservicesDataservices - Data Processing mit Microservices
Dataservices - Data Processing mit Microservices
 
Big/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overviewBig/Smart/Fast Data – a very compact overview
Big/Smart/Fast Data – a very compact overview
 
Architektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOpsArchitektur und Automation als Enabler für DevOps
Architektur und Automation als Enabler für DevOps
 
Node.js - Von der Entwicklugn bis zum produktiven Einsatz
Node.js - Von der Entwicklugn bis zum produktiven EinsatzNode.js - Von der Entwicklugn bis zum produktiven Einsatz
Node.js - Von der Entwicklugn bis zum produktiven Einsatz
 
Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013
 
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von AngrybirdCloud Deployment und (Auto)Scaling am Beispiel von Angrybird
Cloud Deployment und (Auto)Scaling am Beispiel von Angrybird
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
 
Serverless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der PraxisServerless Dev(Ops) in der Praxis
Serverless Dev(Ops) in der Praxis
 
Steinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen EvolutionSteinzeit war gestern! Wege der cloud-nativen Evolution
Steinzeit war gestern! Wege der cloud-nativen Evolution
 
Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016Roadshow: What's new in Microsoft SQL Server 2016
Roadshow: What's new in Microsoft SQL Server 2016
 
ObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-GermanObserveIt -Record and replay SSH, RDP & Citrix sessions-German
ObserveIt -Record and replay SSH, RDP & Citrix sessions-German
 

OSMC 2011 | Monitoring "wer kennt wen" mit free and open source software by Jan Doberstein