SlideShare ist ein Scribd-Unternehmen logo
collectd in der großen weiten Welt
Anbindung des Datensammlers an Monitoringl¨osungen
Sebastian
”
tokkee“ Harl
<sh@teamix.net>
teamix GmbH / collectd core team
OSMC 2011
29. November 2011
¨Uber teamix
• gegr¨undet 2001
• Spezialisierung auf solide Infrastruktur
• Urspr¨unge: Open-Source und Netzwerke
Debian
Nagios
Schulungen
u.v.m.
• Heute auch:
NetApp
VMWare
Riverbed (WAN-Beschleunigung)
Juniper
N-IX (N¨urnberger Internet-eXchange)
collectd in der großen weiten Welt Folie 2
Warum collectd und $Monitoringl¨osung?
• collectd ist auf das effiziente Sammeln und Speichern von
Performance-Daten ausgelegt
• ¨ubliche Monitoringl¨osungen k¨onnen davon profitieren und sich auf
das eigentliche Monitoring konzentrieren
collectd in der großen weiten Welt Folie 3
¨Uberblick ¨uber collectd
¨Uberblick
Wichtige Eigenschaften
Plugin-¨Uberblick
collectd anbinden und erweitern
collectd in der großen weiten Welt Folie 4
Was ist collectd?
• collectd sammelt Leistungsdaten von Rechnern
• Leistungsdaten sind zum Beispiel:
CPU-Auslastung
Speichernutzung
Netzwerkverkehr
• Daten werden erhoben, verarbeitet und gespeichert
• H¨aufig: Darstellung als Graphen
• → Performance-Analyse, Kapazit¨atsplanung
• Nicht verwechseln mit Monitoring!
• Homepage: http://collectd.org/
collectd in der großen weiten Welt Folie 5
Wichtige Eigenschaften
• Daemon
• Freie Software (gr¨oßtenteils GPLv2)
• Portierbar (Linux, *BSD, Solaris, . . . )
• Skalierbar (OpenWrt, . . . , Cluster / Cloud)
• M¨achtige Netzwerkunterst¨utzung
• Effizient (Default-Aufl¨osung: 10 Sekunden)
• Modular (¨uber 100 Plugins in Version 5.0)
collectd in der großen weiten Welt Folie 6
Wichtige Eigenschaften
• Daemon
• Freie Software (gr¨oßtenteils GPLv2)
• Portierbar (Linux, *BSD, Solaris, . . . )
• Skalierbar (OpenWrt, . . . , Cluster / Cloud)
• M¨achtige Netzwerkunterst¨utzung
• Effizient (Default-Aufl¨osung: 10 Sekunden)
• Modular (¨uber 100 Plugins in Version 5.0)
collectd in der großen weiten Welt Folie 6
10-Sekunden-Au߬osung
collectd in der großen weiten Welt Folie 7
Wichtige Eigenschaften
• Daemon
• Freie Software (gr¨oßtenteils GPLv2)
• Portierbar (Linux, *BSD, Solaris, . . . )
• Skalierbar (OpenWrt, . . . , Cluster / Cloud)
• M¨achtige Netzwerkunterst¨utzung
• Effizient (Default-Aufl¨osung: 10 Sekunden)
• Modular (¨uber 100 Plugins in Version 5.0)
collectd in der großen weiten Welt Folie 8
Wichtige Eigenschaften
• Daemon
• Freie Software (gr¨oßtenteils GPLv2)
• Portierbar (Linux, *BSD, Solaris, . . . )
• Skalierbar (OpenWrt, . . . , Cluster / Cloud)
• M¨achtige Netzwerkunterst¨utzung
• Effizient (Default-Aufl¨osung: 10 Sekunden)
• Modular (¨uber 100 Plugins in Version 5.0)
collectd in der großen weiten Welt Folie 8
Verf¨ugbare Plugins (Auswahl)
apache amqp apcups ascent battery
bind conntrack contextswitch cpu cpufreq
csv curl curl json dbi df
disk dns email entropy exec
filecount fscache GenericJMX gmond hddtemp
interface ipmi iptables ipvs irq
java libvirt load logfile madwifi
match regex mbmon memcachec memcached memory
Monitorus multimeter mysql netapp netlink
network nfs nginx notify email ntpd
nut olsrd onewire openvpn OpenVZ
oracle perl ping postgresql powerdns
processes protocols python routeros rrdcached
rrdtool sensors serial snmp swap
syslog table tail tape target scale
tcpconns teamspeak2 ted thermal tokyotyrant
unixsock uptime users uuid vmem
vserver wireless write http xmms zfs arc
collectd in der großen weiten Welt Folie 9
Betrieb
• Daemon l¨auft auf jedem Client (Ausnahme: SNMP o.¨a.)
• ¨ublicherweise: ein oder mehrere zentrale Server, die Werte von
Clients empfangen (Push-Modell)
• First steps: install; select plugins; start daemon;
enjoy ;-)
collectd in der großen weiten Welt Folie 10
Darstellung: Collection 4 (C4)
• Grundidee: Daten ¨uber, z. B., JSON zur Verf¨ugung stellen
• verschiedene Frontends davor m¨oglich
• effiziente Handhabung von vielen Datens¨atzen durch Caching
• flexible Konfiguration von Graphen
collectd in der großen weiten Welt Folie 11
¨Uberblick ¨uber collectd
Plugin-¨Uberblick
CPU, Speicher, Netzwerk-I/O
Netzwerk-Plugin
RRDtool-Plugin
Generische Plugins (¨Uberblick)
Eigene Erweiterungen (¨Uberblick)
collectd anbinden und erweitern
collectd in der großen weiten Welt Folie 12
Plugin-¨Uberblick
• Spezielle Lese-Plugins
CPU, Speicher, Netzwerk-Schnittstellen
• Schreib- bzw. IO-Plugins
Netzwerk-Plugin
RRDtool, RRDCacheD
• Generische Plugins
SNMP
tail
PostgreSQL
collectd in der großen weiten Welt Folie 13
CPU, Speicher, Netzwerk-I/O
Synopsis
LoadPlugin "cpu"
LoadPlugin "memory"
LoadPlugin "interface"
collectd in der großen weiten Welt Folie 14
CPU, Speicher, Netzwerk-I/O
Synopsis
LoadPlugin "cpu"
LoadPlugin "memory"
LoadPlugin "interface"
<Plugin interface>
Interface lo
Interface sit0
IgnoreSelected true
</Plugin>
collectd in der großen weiten Welt Folie 14
CPU, Speicher, Netzwerk-I/O
collectd in der großen weiten Welt Folie 15
CPU, Speicher, Netzwerk-I/O
collectd in der großen weiten Welt Folie 16
CPU, Speicher, Netzwerk-I/O
collectd in der großen weiten Welt Folie 17
Netzwerk-Plugin
Betriebsarten
• Daten versenden (
”
Client“)
• Daten empfangen (
”
Server“)
• Weiterleiten (
”
Proxy“)
• Unicast (
”
Punkt-zu-Punkt“)
• Multicast (
”
Punkt-zu-Gruppe“)
• IPv4 und IPv6
Ein Daemon f¨ur alles
Rolle des Daemon h¨angt von der Konfiguration ab.
collectd in der großen weiten Welt Folie 18
Netzwerk-Plugin: Unicast
collectd in der großen weiten Welt Folie 19
Netzwerk-Plugin: Multicast
collectd in der großen weiten Welt Folie 20
Netzwerk-Plugin: Server/Client
Synopsis: Client
LoadPlugin "network"
<Plugin "network">
Server "collectd0.musterfirma.de"
Server "collectd1.musterfirma.de"
Server "ff18::efc0:4a42"
</Plugin>
collectd in der großen weiten Welt Folie 21
Netzwerk-Plugin: Server/Client
Synopsis: Server
LoadPlugin "network"
<Plugin "network">
Listen "collectd0.musterfirma.de"
Listen "ff18::efc0:4a42"
</Plugin>
collectd in der großen weiten Welt Folie 22
Netzwerk-Plugin: Proxy
collectd in der großen weiten Welt Folie 23
Netzwerk-Plugin: Proxy
Synopsis: Proxy
LoadPlugin "network"
<Plugin "network">
Listen "collectgw.extern.musterfirma.de"
Server "collectd1.intern.musterfirma.de"
Forward true
</Plugin>
collectd in der großen weiten Welt Folie 24
Netzwerk-Plugin
Authentifizierung / Verschl¨usselung
• (seit Version 4.7.0)
• Authentifizierung via HMAC-SHA-256
• Verschl¨usselung mit AES-256 (OFB)
collectd in der großen weiten Welt Folie 25
Netzwerk-Plugin
Authentifizierung / Verschl¨usselung
Client
Nichts Sign Encrypt
Server
Nichts akzeptiert akzeptiert nicht m¨oglich
AuthFile akzeptiert akzeptiert akzeptiert
Sign nicht akzeptiert akzeptiert akzeptiert
Encrypt nicht akzeptiert nicht akzeptiert akzeptiert
collectd in der großen weiten Welt Folie 26
RRDtool-Plugin
• Schreibt Daten effizient in RRD-Dateien → Caching
• Funktionalit¨at nun in RRDtool als RRD Caching Daemon
verf¨ugbar
Synopsis
LoadPlugin "rrdtool"
<Plugin "rrdtool">
DataDir "/var/lib/collectd/rrd"
</Plugin>
collectd in der großen weiten Welt Folie 27
RRDtool-Plugin (Caching)
Konfiguration
<Plugin "rrdtool">
DataDir "/var/lib/collectd/rrd"
CacheTimeout 3600 # 1 hour
CacheFlush 86400 # 1 day
WritesPerSecond 30
</Plugin>
• FLUSH erm¨oglicht dennoch die graphische Darstellung von
aktuellen Daten
collectd in der großen weiten Welt Folie 28
Generische Plugins (¨Uberblick)
• Idee: Generische Ans¨atze, statt Speziall¨osungen
• → Benutzerkonfiguration bestimmt das Verhalten
• ⇒ Unterst¨utzung f¨ur neue Ger¨ate braucht i.d.R. keine neue
Version von collectd
• Beispiele: SNMP, tail, curl, DBI, PostgreSQL
collectd in der großen weiten Welt Folie 29
Eigene Erweiterungen (¨Uberblick)
• collectd API: C, Perl, Python, Java
• Externe Programme mittels unixsock- oder exec-Plugin
collectd in der großen weiten Welt Folie 30
¨Uberblick ¨uber collectd
Plugin-¨Uberblick
collectd anbinden und erweitern
UNIXSOCK Schnittstelle
collectds Namensschema
collectd-nagios
collectd-nagios: Zukunftsmusik
Eigene Erweiterungen
collectd in der großen weiten Welt Folie 31
Interaktion mit collectd
UNIXSOCK Plugin
• ¨offnet einen UNIX-Domain-Socket zur Interaktion mit dem
Daemon
• Text- und Zeilen-basiertes Protokoll
(z. B. PUTVAL, FLUSH, LISTVAL, GETVAL)
• erm¨oglicht, u.a., die Abfrage von Werten
• collectd-nagios
• collectdctl (ab Version 5.0)
• cussh.pl:
”
collectd UNIX socket shell“
collectd in der großen weiten Welt Folie 32
UNIXSOCK Plugin: Beispiel
-> | GETVAL "FQDN/load/load"
<- | 3 Values found
<- | shortterm=4.000000e-02
<- | midterm=6.000000e-02
<- | longterm=7.000000e-02
collectd in der großen weiten Welt Folie 33
Namensschema
• jeder Datensatz hat einen eindeutigen Identifier
Hostname
Plugin Name
Plugin Instanz (optional)
Typ
Typ Instanz (optional)
• hostname/plugin[-instanz]/typ[-instanz]
• Beispiel: localhost/cpu-0/cpu-idle
collectd in der großen weiten Welt Folie 34
Verf¨ugbare Datens¨atze
• cd /var/lib/collectd;
ls **/*.rrd
• collectdctl listval
cpu-0/cpu-idle
cpu-0/cpu-interrupt
cpu-0/cpu-nice
cpu-0/cpu-softirq
cpu-0/cpu-steal
cpu-0/cpu-system
cpu-0/cpu-user
cpu-0/cpu-wait
interface-eth0/if_errors
interface-eth0/if_octets
interface-eth0/if_packets
load/load
memory/memory-buffered
memory/memory-cached
memory/memory-free
memory/memory-used
users/users
...
collectd in der großen weiten Welt Folie 35
collectd-nagios
• Nagios-/Icinga-/Shinken-Plugin
• verbindet sich zum UNIX Socket von collectd
• fragt einen (WIP: mehrere) Datensatz ab
• ¨uberpr¨uft ¨ubergebene Schwellwerte
• kehrt mit Nagios-kompatiblen R¨uckgabewert zur¨uck
collectd in der großen weiten Welt Folie 36
collectd-nagios
% collectd-nagios -h
Usage: collectd-nagios <-s socket> <-n value_spec> <-H hostname> [options]
Valid options are:
-s <socket> Path to collectd’s UNIX-socket.
-n <v_spec> Value specification to get from collectd.
Format: ‘plugin-instance/type-instance’
-d <ds> Select the DS to examine. May be repeated
to examine multiple
DSes. By default all DSes are used.
-g <consol> Method to use to consolidate several DSes.
See below for a list of valid arguments.
-H <host> Hostname to query the values for.
-c <range> Critical range
-w <range> Warning range
collectd in der großen weiten Welt Folie 37
collectd-nagios: Beispiel
# adduser nagios collectd
# su - nagios
% collectd-nagios -s /var/run/collectd-unixsock 
-H FQDN -n load/load
OKAY: 0 critical, 0 warning, 3 okay |
shortterm=0.120000;;;;
midterm=0.130000;;;;
longterm=0.180000;;;;
(Umbr¨uche nur auf den Folien)
collectd in der großen weiten Welt Folie 38
collectd-nagios: Beispiel
% collectd-nagios -s /var/run/collectd-unixsock 
-H FQDN -n df/df-root 
-d free -d used -g percentage
OKAY: 31.289281 percent |
free=46196220000.000000;;;;
used=101446100000.000000;;;;
(Umbr¨uche nur auf den Folien)
collectd in der großen weiten Welt Folie 39
Integration in Nagios: Commands
define command {
command_name check_collectd
command_line /.../collectd-nagios
-s /.../collectd-unixsock
-H $HOSTNAME$ -n $ARG1$
-d $ARG2$
-w $ARG3$ -c $ARG4$
}
collectd in der großen weiten Welt Folie 40
Integration in Nagios: Commands
define command {
command_name check_collectd_percentage
command_line /.../collectd-nagios
-s /.../collectd-unixsock
-H $HOSTNAME$ -n $ARG1$
-g percentage
-d $ARG2$ -d $ARG3$
-w $ARG4$ -c $ARG5$
}
collectd in der großen weiten Welt Folie 41
Integration in Nagios: Services
check_collectd_percentage!df/df-root!free!used!20:!10:
check_collectd!load/load!midterm!5!10
check_collectd!users/users!users!50!70
check_collectd!postgresql-webapp/users-loggedin!users!...
check_collectd!tail-postfix/gauge-connections_in!value!...
collectd in der großen weiten Welt Folie 42
Zukunftsmusik: aktiver Modus
Nagios
collectd NEB
check collectd
collectd in der großen weiten Welt Folie 43
Zukunftsmusik: aktiver Modus
Nagios
collectd NEB
check collectd
GETVAL
collectd in der großen weiten Welt Folie 43
Zukunftsmusik: aktiver Modus
Nagios
collectd NEB
check collectd
val=4711
collectd in der großen weiten Welt Folie 43
Zukunftsmusik: aktiver Modus
Nagios
collectd NEB
check collectd
get status()
collectd in der großen weiten Welt Folie 43
Zukunftsmusik: aktiver Modus
Nagios
collectd NEB
check collectd
OK/WARN/CRIT
collectd in der großen weiten Welt Folie 43
Zukunftsmusik: aktiver Modus
•
”
aktiver“ Event Broker:
”
embedded collectd-nagios“
• Erkennen von collectd Checks (konf. command name, custom
variable, o.¨a.)
• Abfrage von collectd ¨uber UNIX Socket
• Auswerten der Daten
• active check result an Nagios ¨ubergeben
collectd in der großen weiten Welt Folie 44
Zukunftsmusik: passiver Modus
Nagios
collectd NEB
Hosts / Services
collectd.cfg
init()
collectd in der großen weiten Welt Folie 45
Zukunftsmusik: passiver Modus
Nagios
collectd NEB
Hosts / Services
collectd.cfg
collectd in der großen weiten Welt Folie 45
Zukunftsmusik: passiver Modus
Nagios
collectd NEB
Hosts / Services
collectd.cfg
{v=4711,v=...}
collectd in der großen weiten Welt Folie 45
Zukunftsmusik: passiver Modus
Nagios
collectd NEB
Hosts / Services
collectd.cfg
get status()
collectd in der großen weiten Welt Folie 45
Zukunftsmusik: passiver Modus
Nagios
collectd NEB
Hosts / Services
collectd.cfg
OK/WARN/CRIT
collectd in der großen weiten Welt Folie 45
Zukunftsmusik: passiver Modus
•
”
passiver“ Event Broker: collectd Netzwerk Client
• Konfiguration von gew¨unschten Werten und Schwellwerten in
eigener Konfigurationsdatei (collectd.cfg)
• Erzeugung von dazugeh¨origen Hosts und Services
• Server f¨ur collectds Netzwerk-Plugin
• Auswerten der gew¨unschten Werte
• active/passive check results an Nagios ¨ubergeben
collectd in der großen weiten Welt Folie 46
Arbeitsweise von collectd
core: read thread()
p = get next plugin();
sleep until due(p);
collectd in der großen weiten Welt Folie 47
Arbeitsweise von collectd
core: read thread()
plugin1.c:read()
p->callback();
collectd in der großen weiten Welt Folie 47
Arbeitsweise von collectd
plugin1.c:read()
...
dispatch values(v);
collectd in der großen weiten Welt Folie 47
Arbeitsweise von collectd
core: dispatch values()
plugin1.c:read()
...
dispatch values(v);
...
plugin write(v);
collectd in der großen weiten Welt Folie 47
Arbeitsweise von collectd
core: dispatch values()
plugin1.c:read()
...
dispatch values(v);
...
plugin write(v);
plugin2.c:write()
...
collectd in der großen weiten Welt Folie 47
Perl-Plugin
Allgemeines
• Integriert einen Perl-Interpreter
(vergleichbar zu Apaches mod perl)
• Instanziierung und Syntax-Analyse nur einmal
• Exportiert die API
(→ nicht nur Lese-Plugins m¨oglich)
collectd in der großen weiten Welt Folie 48
Perl-Plugin: Beispiel
package Collectd::Plugin::Magic;
use Collectd qw( :all );
sub magic_read
{
my $vl = { plugin => ’magic’,
values => [Magic->getCurrentLevel ()] };
plugin_dispatch_values (’magic_level’, $vl);
}
plugin_register (TYPE_READ, ’magic’, ’magic_read’);
collectd in der großen weiten Welt Folie 49
exec-Plugin
Allgemeines
• F¨uhrt Programme aus
• Liest von deren Standard-Ausgabe
• K¨onnen ¨uber l¨angere Perioden laufen
(vgl. init)
collectd in der großen weiten Welt Folie 50
exec-Plugin: Beispiel
#!/bin/sh
INTVL=${COLLECTD_INTERVAL:-10}
CHOST="${COLLECTD_HOSTNAME:-localhost}"
IDENT="$CHOST/magic/magic_level"
while sleep $INTVL
do
VALUE=‘magic --level‘
echo "PUTVAL "$IDENT" interval=$INTVL N:$VALUE"
done
collectd in der großen weiten Welt Folie 51
collectd in der großen weiten Welt
Vielen Dank f¨ur die Aufmerksamkeit!
Gibt es Fragen?
collectd in der großen weiten Welt Folie 52
collectd in der großen weiten Welt
Kontakt:
Sebastian
”
tokkee“ Harl
teamix GmbH, N¨urnberg
<sh@teamix.net>
<collectd@verplant.org> — irc.freenode.net/#collectd — http://identi.ca/collectd
http://tokkee.org/events.html
Artikel zum Thema collectd:
http://linuxtechnicalreview.de/Vorschau/(show)/Themen/
Monitoring/Performance-Analyse-mit-Collectd
collectd in der großen weiten Welt Folie 53

Weitere ähnliche Inhalte

Was ist angesagt?

Private Cloud mit Open Source
Private Cloud mit Open SourcePrivate Cloud mit Open Source
Private Cloud mit Open Source
Daniel Schneller
 
Schweben auf Wolke7
Schweben auf Wolke7Schweben auf Wolke7
Schweben auf Wolke7
Trivadis
 
Erfahrung mit virtuellen Systemen
Erfahrung mit virtuellen SystemenErfahrung mit virtuellen Systemen
Erfahrung mit virtuellen Systemen
GFU Cyrus AG
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
BOSTON Server & Storage Solutions GmbH
 
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackInfracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Edmund Siegfried Haselwanter
 
CPU Update Juni 2017
CPU Update Juni 2017CPU Update Juni 2017
Bacula Workshop - Teil 1
Bacula Workshop - Teil 1Bacula Workshop - Teil 1
Bacula Workshop - Teil 1inovex GmbH
 
Was genau macht eigentlich Erasure Coding, und wozu braucht man das?
Was genau macht eigentlich Erasure Coding, und wozu braucht man das?Was genau macht eigentlich Erasure Coding, und wozu braucht man das?
Was genau macht eigentlich Erasure Coding, und wozu braucht man das?
BOSTON Server & Storage Solutions GmbH
 
SLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauenSLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauen
Schlomo Schapiro
 
Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Werner Fischer
 
Serverprovisioning in einer dynamischen Infrastruktur
Serverprovisioning in einer dynamischen InfrastrukturServerprovisioning in einer dynamischen Infrastruktur
Serverprovisioning in einer dynamischen Infrastrukturinovex GmbH
 
Cloud Provisioning mit Juju
Cloud Provisioning mit JujuCloud Provisioning mit Juju
Cloud Provisioning mit Juju
Frank Müller
 
GPUs — Vom spezialisierten Coprozessor zum Numbercruncher
GPUs — Vom spezialisierten Coprozessor zum NumbercruncherGPUs — Vom spezialisierten Coprozessor zum Numbercruncher
GPUs — Vom spezialisierten Coprozessor zum Numbercruncher
BOSTON Server & Storage Solutions GmbH
 
Tipps zur Performanceoptimierung für Liferay Portal
Tipps zur  Performanceoptimierung für Liferay PortalTipps zur  Performanceoptimierung für Liferay Portal
Tipps zur Performanceoptimierung für Liferay Portal
Stefan Hilpp
 
Domain name system security extension
Domain name system security extensionDomain name system security extension
Domain name system security extension
F789GH
 
Security for Private Cloud Environments
Security for Private Cloud EnvironmentsSecurity for Private Cloud Environments
Security for Private Cloud Environments
OpenNebula Project
 
Node.js
Node.jsNode.js

Was ist angesagt? (18)

Private Cloud mit Open Source
Private Cloud mit Open SourcePrivate Cloud mit Open Source
Private Cloud mit Open Source
 
Schweben auf Wolke7
Schweben auf Wolke7Schweben auf Wolke7
Schweben auf Wolke7
 
Erfahrung mit virtuellen Systemen
Erfahrung mit virtuellen SystemenErfahrung mit virtuellen Systemen
Erfahrung mit virtuellen Systemen
 
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden SpeicherSuperSUSE – die Lösung für dynamisch wachsenden Speicher
SuperSUSE – die Lösung für dynamisch wachsenden Speicher
 
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud StackInfracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
Infracoders Graz, smartOS - vom Netzwerk in der Box - zum Software Cloud Stack
 
CPU Update Juni 2017
CPU Update Juni 2017CPU Update Juni 2017
CPU Update Juni 2017
 
ZFS unter Linux
ZFS unter LinuxZFS unter Linux
ZFS unter Linux
 
Bacula Workshop - Teil 1
Bacula Workshop - Teil 1Bacula Workshop - Teil 1
Bacula Workshop - Teil 1
 
Was genau macht eigentlich Erasure Coding, und wozu braucht man das?
Was genau macht eigentlich Erasure Coding, und wozu braucht man das?Was genau macht eigentlich Erasure Coding, und wozu braucht man das?
Was genau macht eigentlich Erasure Coding, und wozu braucht man das?
 
SLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauenSLAC 2008 RPMs selber bauen
SLAC 2008 RPMs selber bauen
 
Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?Zukunftstrends: was bringt 2013 für die IT?
Zukunftstrends: was bringt 2013 für die IT?
 
Serverprovisioning in einer dynamischen Infrastruktur
Serverprovisioning in einer dynamischen InfrastrukturServerprovisioning in einer dynamischen Infrastruktur
Serverprovisioning in einer dynamischen Infrastruktur
 
Cloud Provisioning mit Juju
Cloud Provisioning mit JujuCloud Provisioning mit Juju
Cloud Provisioning mit Juju
 
GPUs — Vom spezialisierten Coprozessor zum Numbercruncher
GPUs — Vom spezialisierten Coprozessor zum NumbercruncherGPUs — Vom spezialisierten Coprozessor zum Numbercruncher
GPUs — Vom spezialisierten Coprozessor zum Numbercruncher
 
Tipps zur Performanceoptimierung für Liferay Portal
Tipps zur  Performanceoptimierung für Liferay PortalTipps zur  Performanceoptimierung für Liferay Portal
Tipps zur Performanceoptimierung für Liferay Portal
 
Domain name system security extension
Domain name system security extensionDomain name system security extension
Domain name system security extension
 
Security for Private Cloud Environments
Security for Private Cloud EnvironmentsSecurity for Private Cloud Environments
Security for Private Cloud Environments
 
Node.js
Node.jsNode.js
Node.js
 

Ähnlich wie OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers an Monitoringlösungen by Sebastian Harl

XPages: Performance-Optimierung - Ulrich Krause (eknori) SNoUG 2013
XPages: Performance-Optimierung  - Ulrich Krause (eknori) SNoUG 2013XPages: Performance-Optimierung  - Ulrich Krause (eknori) SNoUG 2013
XPages: Performance-Optimierung - Ulrich Krause (eknori) SNoUG 2013
BCC - Solutions for IBM Collaboration Software
 
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXCContainer im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Bild GmbH & Co. KG
 
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
NETWAYS
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
agilemethoden
 
Grundlagen postgresql
Grundlagen postgresqlGrundlagen postgresql
Grundlagen postgresqlinovex GmbH
 
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
Josef Adersberger
 
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
QAware GmbH
 
openstack Übersicht @GPN15
openstack Übersicht @GPN15openstack Übersicht @GPN15
openstack Übersicht @GPN15
m1no
 
Grundlagen puppet
Grundlagen puppetGrundlagen puppet
Grundlagen puppetinovex GmbH
 
oVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und EvaluierungsergebnisseoVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und Evaluierungsergebnisse
inovex GmbH
 
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
data://disrupted®
 
digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...
digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...
digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...
digitalSTROM.org
 
Dockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdf
Dockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdfDockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdf
Dockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdf
Syahri Ramadhan
 
node.js - Eine kurze Einführung
node.js - Eine kurze Einführungnode.js - Eine kurze Einführung
node.js - Eine kurze Einführung
nodeio
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
BOSTON Server & Storage Solutions GmbH
 
Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013
NETWAYS
 
OSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol Ülükmen
OSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol ÜlükmenOSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol Ülükmen
OSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol Ülükmen
NETWAYS
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als Code
Jan Gehring
 
Ant im Detail
Ant im DetailAnt im Detail
Ant im Detail
Jörn Dinkla
 
Vagrant - Einführung & Verwendung
Vagrant - Einführung & VerwendungVagrant - Einführung & Verwendung
Vagrant - Einführung & Verwendung
Tilo Baller
 

Ähnlich wie OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers an Monitoringlösungen by Sebastian Harl (20)

XPages: Performance-Optimierung - Ulrich Krause (eknori) SNoUG 2013
XPages: Performance-Optimierung  - Ulrich Krause (eknori) SNoUG 2013XPages: Performance-Optimierung  - Ulrich Krause (eknori) SNoUG 2013
XPages: Performance-Optimierung - Ulrich Krause (eknori) SNoUG 2013
 
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXCContainer im Betrieb - Ergebnisse der Validieren Docker vs. LXC
Container im Betrieb - Ergebnisse der Validieren Docker vs. LXC
 
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
OSMC 2008 | Programmierung von Nagios-Plugins für NetApp Speichergeräte by In...
 
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbHDocker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
Docker Workshop Experten Forum Stuttgart 2015, Agile Methoden GmbH
 
Grundlagen postgresql
Grundlagen postgresqlGrundlagen postgresql
Grundlagen postgresql
 
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
 
Docker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-PatternsDocker und Kubernetes Patterns & Anti-Patterns
Docker und Kubernetes Patterns & Anti-Patterns
 
openstack Übersicht @GPN15
openstack Übersicht @GPN15openstack Übersicht @GPN15
openstack Übersicht @GPN15
 
Grundlagen puppet
Grundlagen puppetGrundlagen puppet
Grundlagen puppet
 
oVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und EvaluierungsergebnisseoVirt 3.5 - Einführung und Evaluierungsergebnisse
oVirt 3.5 - Einführung und Evaluierungsergebnisse
 
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
Hochleistungsspeichersysteme für Datenanalyse an der TU Dresden (Michael Kluge)
 
digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...
digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...
digitalSTROM Developer Day 2011: Jump Start in die digitalSTROM-Server Entwic...
 
Dockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdf
Dockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdfDockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdf
Dockerbank II - 03 - Szenarien des Routinebetriebs (aktualisiert).pdf
 
node.js - Eine kurze Einführung
node.js - Eine kurze Einführungnode.js - Eine kurze Einführung
node.js - Eine kurze Einführung
 
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
Fische im Rechenzentrum – Was genau ist eigentlich dieses Redfish und wozu br...
 
Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013Monitoring Openstack - LinuxTag 2013
Monitoring Openstack - LinuxTag 2013
 
OSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol Ülükmen
OSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol ÜlükmenOSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol Ülükmen
OSMC 2015 | Nagios 3/Icinga 2-Anbindung an OPSI by Detlef Krummel / Erol Ülükmen
 
Rex - Infrastruktur als Code
Rex - Infrastruktur als CodeRex - Infrastruktur als Code
Rex - Infrastruktur als Code
 
Ant im Detail
Ant im DetailAnt im Detail
Ant im Detail
 
Vagrant - Einführung & Verwendung
Vagrant - Einführung & VerwendungVagrant - Einführung & Verwendung
Vagrant - Einführung & Verwendung
 

OSMC 2011 | Collectd in der großen weiten Welt - Anbindung des Datensammlers an Monitoringlösungen by Sebastian Harl

  • 1. collectd in der großen weiten Welt Anbindung des Datensammlers an Monitoringl¨osungen Sebastian ” tokkee“ Harl <sh@teamix.net> teamix GmbH / collectd core team OSMC 2011 29. November 2011
  • 2. ¨Uber teamix • gegr¨undet 2001 • Spezialisierung auf solide Infrastruktur • Urspr¨unge: Open-Source und Netzwerke Debian Nagios Schulungen u.v.m. • Heute auch: NetApp VMWare Riverbed (WAN-Beschleunigung) Juniper N-IX (N¨urnberger Internet-eXchange) collectd in der großen weiten Welt Folie 2
  • 3. Warum collectd und $Monitoringl¨osung? • collectd ist auf das effiziente Sammeln und Speichern von Performance-Daten ausgelegt • ¨ubliche Monitoringl¨osungen k¨onnen davon profitieren und sich auf das eigentliche Monitoring konzentrieren collectd in der großen weiten Welt Folie 3
  • 4. ¨Uberblick ¨uber collectd ¨Uberblick Wichtige Eigenschaften Plugin-¨Uberblick collectd anbinden und erweitern collectd in der großen weiten Welt Folie 4
  • 5. Was ist collectd? • collectd sammelt Leistungsdaten von Rechnern • Leistungsdaten sind zum Beispiel: CPU-Auslastung Speichernutzung Netzwerkverkehr • Daten werden erhoben, verarbeitet und gespeichert • H¨aufig: Darstellung als Graphen • → Performance-Analyse, Kapazit¨atsplanung • Nicht verwechseln mit Monitoring! • Homepage: http://collectd.org/ collectd in der großen weiten Welt Folie 5
  • 6. Wichtige Eigenschaften • Daemon • Freie Software (gr¨oßtenteils GPLv2) • Portierbar (Linux, *BSD, Solaris, . . . ) • Skalierbar (OpenWrt, . . . , Cluster / Cloud) • M¨achtige Netzwerkunterst¨utzung • Effizient (Default-Aufl¨osung: 10 Sekunden) • Modular (¨uber 100 Plugins in Version 5.0) collectd in der großen weiten Welt Folie 6
  • 7. Wichtige Eigenschaften • Daemon • Freie Software (gr¨oßtenteils GPLv2) • Portierbar (Linux, *BSD, Solaris, . . . ) • Skalierbar (OpenWrt, . . . , Cluster / Cloud) • M¨achtige Netzwerkunterst¨utzung • Effizient (Default-Aufl¨osung: 10 Sekunden) • Modular (¨uber 100 Plugins in Version 5.0) collectd in der großen weiten Welt Folie 6
  • 8. 10-Sekunden-Aufl¨osung collectd in der großen weiten Welt Folie 7
  • 9. Wichtige Eigenschaften • Daemon • Freie Software (gr¨oßtenteils GPLv2) • Portierbar (Linux, *BSD, Solaris, . . . ) • Skalierbar (OpenWrt, . . . , Cluster / Cloud) • M¨achtige Netzwerkunterst¨utzung • Effizient (Default-Aufl¨osung: 10 Sekunden) • Modular (¨uber 100 Plugins in Version 5.0) collectd in der großen weiten Welt Folie 8
  • 10. Wichtige Eigenschaften • Daemon • Freie Software (gr¨oßtenteils GPLv2) • Portierbar (Linux, *BSD, Solaris, . . . ) • Skalierbar (OpenWrt, . . . , Cluster / Cloud) • M¨achtige Netzwerkunterst¨utzung • Effizient (Default-Aufl¨osung: 10 Sekunden) • Modular (¨uber 100 Plugins in Version 5.0) collectd in der großen weiten Welt Folie 8
  • 11. Verf¨ugbare Plugins (Auswahl) apache amqp apcups ascent battery bind conntrack contextswitch cpu cpufreq csv curl curl json dbi df disk dns email entropy exec filecount fscache GenericJMX gmond hddtemp interface ipmi iptables ipvs irq java libvirt load logfile madwifi match regex mbmon memcachec memcached memory Monitorus multimeter mysql netapp netlink network nfs nginx notify email ntpd nut olsrd onewire openvpn OpenVZ oracle perl ping postgresql powerdns processes protocols python routeros rrdcached rrdtool sensors serial snmp swap syslog table tail tape target scale tcpconns teamspeak2 ted thermal tokyotyrant unixsock uptime users uuid vmem vserver wireless write http xmms zfs arc collectd in der großen weiten Welt Folie 9
  • 12. Betrieb • Daemon l¨auft auf jedem Client (Ausnahme: SNMP o.¨a.) • ¨ublicherweise: ein oder mehrere zentrale Server, die Werte von Clients empfangen (Push-Modell) • First steps: install; select plugins; start daemon; enjoy ;-) collectd in der großen weiten Welt Folie 10
  • 13. Darstellung: Collection 4 (C4) • Grundidee: Daten ¨uber, z. B., JSON zur Verf¨ugung stellen • verschiedene Frontends davor m¨oglich • effiziente Handhabung von vielen Datens¨atzen durch Caching • flexible Konfiguration von Graphen collectd in der großen weiten Welt Folie 11
  • 14. ¨Uberblick ¨uber collectd Plugin-¨Uberblick CPU, Speicher, Netzwerk-I/O Netzwerk-Plugin RRDtool-Plugin Generische Plugins (¨Uberblick) Eigene Erweiterungen (¨Uberblick) collectd anbinden und erweitern collectd in der großen weiten Welt Folie 12
  • 15. Plugin-¨Uberblick • Spezielle Lese-Plugins CPU, Speicher, Netzwerk-Schnittstellen • Schreib- bzw. IO-Plugins Netzwerk-Plugin RRDtool, RRDCacheD • Generische Plugins SNMP tail PostgreSQL collectd in der großen weiten Welt Folie 13
  • 16. CPU, Speicher, Netzwerk-I/O Synopsis LoadPlugin "cpu" LoadPlugin "memory" LoadPlugin "interface" collectd in der großen weiten Welt Folie 14
  • 17. CPU, Speicher, Netzwerk-I/O Synopsis LoadPlugin "cpu" LoadPlugin "memory" LoadPlugin "interface" <Plugin interface> Interface lo Interface sit0 IgnoreSelected true </Plugin> collectd in der großen weiten Welt Folie 14
  • 18. CPU, Speicher, Netzwerk-I/O collectd in der großen weiten Welt Folie 15
  • 19. CPU, Speicher, Netzwerk-I/O collectd in der großen weiten Welt Folie 16
  • 20. CPU, Speicher, Netzwerk-I/O collectd in der großen weiten Welt Folie 17
  • 21. Netzwerk-Plugin Betriebsarten • Daten versenden ( ” Client“) • Daten empfangen ( ” Server“) • Weiterleiten ( ” Proxy“) • Unicast ( ” Punkt-zu-Punkt“) • Multicast ( ” Punkt-zu-Gruppe“) • IPv4 und IPv6 Ein Daemon f¨ur alles Rolle des Daemon h¨angt von der Konfiguration ab. collectd in der großen weiten Welt Folie 18
  • 22. Netzwerk-Plugin: Unicast collectd in der großen weiten Welt Folie 19
  • 23. Netzwerk-Plugin: Multicast collectd in der großen weiten Welt Folie 20
  • 24. Netzwerk-Plugin: Server/Client Synopsis: Client LoadPlugin "network" <Plugin "network"> Server "collectd0.musterfirma.de" Server "collectd1.musterfirma.de" Server "ff18::efc0:4a42" </Plugin> collectd in der großen weiten Welt Folie 21
  • 25. Netzwerk-Plugin: Server/Client Synopsis: Server LoadPlugin "network" <Plugin "network"> Listen "collectd0.musterfirma.de" Listen "ff18::efc0:4a42" </Plugin> collectd in der großen weiten Welt Folie 22
  • 26. Netzwerk-Plugin: Proxy collectd in der großen weiten Welt Folie 23
  • 27. Netzwerk-Plugin: Proxy Synopsis: Proxy LoadPlugin "network" <Plugin "network"> Listen "collectgw.extern.musterfirma.de" Server "collectd1.intern.musterfirma.de" Forward true </Plugin> collectd in der großen weiten Welt Folie 24
  • 28. Netzwerk-Plugin Authentifizierung / Verschl¨usselung • (seit Version 4.7.0) • Authentifizierung via HMAC-SHA-256 • Verschl¨usselung mit AES-256 (OFB) collectd in der großen weiten Welt Folie 25
  • 29. Netzwerk-Plugin Authentifizierung / Verschl¨usselung Client Nichts Sign Encrypt Server Nichts akzeptiert akzeptiert nicht m¨oglich AuthFile akzeptiert akzeptiert akzeptiert Sign nicht akzeptiert akzeptiert akzeptiert Encrypt nicht akzeptiert nicht akzeptiert akzeptiert collectd in der großen weiten Welt Folie 26
  • 30. RRDtool-Plugin • Schreibt Daten effizient in RRD-Dateien → Caching • Funktionalit¨at nun in RRDtool als RRD Caching Daemon verf¨ugbar Synopsis LoadPlugin "rrdtool" <Plugin "rrdtool"> DataDir "/var/lib/collectd/rrd" </Plugin> collectd in der großen weiten Welt Folie 27
  • 31. RRDtool-Plugin (Caching) Konfiguration <Plugin "rrdtool"> DataDir "/var/lib/collectd/rrd" CacheTimeout 3600 # 1 hour CacheFlush 86400 # 1 day WritesPerSecond 30 </Plugin> • FLUSH erm¨oglicht dennoch die graphische Darstellung von aktuellen Daten collectd in der großen weiten Welt Folie 28
  • 32. Generische Plugins (¨Uberblick) • Idee: Generische Ans¨atze, statt Speziall¨osungen • → Benutzerkonfiguration bestimmt das Verhalten • ⇒ Unterst¨utzung f¨ur neue Ger¨ate braucht i.d.R. keine neue Version von collectd • Beispiele: SNMP, tail, curl, DBI, PostgreSQL collectd in der großen weiten Welt Folie 29
  • 33. Eigene Erweiterungen (¨Uberblick) • collectd API: C, Perl, Python, Java • Externe Programme mittels unixsock- oder exec-Plugin collectd in der großen weiten Welt Folie 30
  • 34. ¨Uberblick ¨uber collectd Plugin-¨Uberblick collectd anbinden und erweitern UNIXSOCK Schnittstelle collectds Namensschema collectd-nagios collectd-nagios: Zukunftsmusik Eigene Erweiterungen collectd in der großen weiten Welt Folie 31
  • 35. Interaktion mit collectd UNIXSOCK Plugin • ¨offnet einen UNIX-Domain-Socket zur Interaktion mit dem Daemon • Text- und Zeilen-basiertes Protokoll (z. B. PUTVAL, FLUSH, LISTVAL, GETVAL) • erm¨oglicht, u.a., die Abfrage von Werten • collectd-nagios • collectdctl (ab Version 5.0) • cussh.pl: ” collectd UNIX socket shell“ collectd in der großen weiten Welt Folie 32
  • 36. UNIXSOCK Plugin: Beispiel -> | GETVAL "FQDN/load/load" <- | 3 Values found <- | shortterm=4.000000e-02 <- | midterm=6.000000e-02 <- | longterm=7.000000e-02 collectd in der großen weiten Welt Folie 33
  • 37. Namensschema • jeder Datensatz hat einen eindeutigen Identifier Hostname Plugin Name Plugin Instanz (optional) Typ Typ Instanz (optional) • hostname/plugin[-instanz]/typ[-instanz] • Beispiel: localhost/cpu-0/cpu-idle collectd in der großen weiten Welt Folie 34
  • 38. Verf¨ugbare Datens¨atze • cd /var/lib/collectd; ls **/*.rrd • collectdctl listval cpu-0/cpu-idle cpu-0/cpu-interrupt cpu-0/cpu-nice cpu-0/cpu-softirq cpu-0/cpu-steal cpu-0/cpu-system cpu-0/cpu-user cpu-0/cpu-wait interface-eth0/if_errors interface-eth0/if_octets interface-eth0/if_packets load/load memory/memory-buffered memory/memory-cached memory/memory-free memory/memory-used users/users ... collectd in der großen weiten Welt Folie 35
  • 39. collectd-nagios • Nagios-/Icinga-/Shinken-Plugin • verbindet sich zum UNIX Socket von collectd • fragt einen (WIP: mehrere) Datensatz ab • ¨uberpr¨uft ¨ubergebene Schwellwerte • kehrt mit Nagios-kompatiblen R¨uckgabewert zur¨uck collectd in der großen weiten Welt Folie 36
  • 40. collectd-nagios % collectd-nagios -h Usage: collectd-nagios <-s socket> <-n value_spec> <-H hostname> [options] Valid options are: -s <socket> Path to collectd’s UNIX-socket. -n <v_spec> Value specification to get from collectd. Format: ‘plugin-instance/type-instance’ -d <ds> Select the DS to examine. May be repeated to examine multiple DSes. By default all DSes are used. -g <consol> Method to use to consolidate several DSes. See below for a list of valid arguments. -H <host> Hostname to query the values for. -c <range> Critical range -w <range> Warning range collectd in der großen weiten Welt Folie 37
  • 41. collectd-nagios: Beispiel # adduser nagios collectd # su - nagios % collectd-nagios -s /var/run/collectd-unixsock -H FQDN -n load/load OKAY: 0 critical, 0 warning, 3 okay | shortterm=0.120000;;;; midterm=0.130000;;;; longterm=0.180000;;;; (Umbr¨uche nur auf den Folien) collectd in der großen weiten Welt Folie 38
  • 42. collectd-nagios: Beispiel % collectd-nagios -s /var/run/collectd-unixsock -H FQDN -n df/df-root -d free -d used -g percentage OKAY: 31.289281 percent | free=46196220000.000000;;;; used=101446100000.000000;;;; (Umbr¨uche nur auf den Folien) collectd in der großen weiten Welt Folie 39
  • 43. Integration in Nagios: Commands define command { command_name check_collectd command_line /.../collectd-nagios -s /.../collectd-unixsock -H $HOSTNAME$ -n $ARG1$ -d $ARG2$ -w $ARG3$ -c $ARG4$ } collectd in der großen weiten Welt Folie 40
  • 44. Integration in Nagios: Commands define command { command_name check_collectd_percentage command_line /.../collectd-nagios -s /.../collectd-unixsock -H $HOSTNAME$ -n $ARG1$ -g percentage -d $ARG2$ -d $ARG3$ -w $ARG4$ -c $ARG5$ } collectd in der großen weiten Welt Folie 41
  • 45. Integration in Nagios: Services check_collectd_percentage!df/df-root!free!used!20:!10: check_collectd!load/load!midterm!5!10 check_collectd!users/users!users!50!70 check_collectd!postgresql-webapp/users-loggedin!users!... check_collectd!tail-postfix/gauge-connections_in!value!... collectd in der großen weiten Welt Folie 42
  • 46. Zukunftsmusik: aktiver Modus Nagios collectd NEB check collectd collectd in der großen weiten Welt Folie 43
  • 47. Zukunftsmusik: aktiver Modus Nagios collectd NEB check collectd GETVAL collectd in der großen weiten Welt Folie 43
  • 48. Zukunftsmusik: aktiver Modus Nagios collectd NEB check collectd val=4711 collectd in der großen weiten Welt Folie 43
  • 49. Zukunftsmusik: aktiver Modus Nagios collectd NEB check collectd get status() collectd in der großen weiten Welt Folie 43
  • 50. Zukunftsmusik: aktiver Modus Nagios collectd NEB check collectd OK/WARN/CRIT collectd in der großen weiten Welt Folie 43
  • 51. Zukunftsmusik: aktiver Modus • ” aktiver“ Event Broker: ” embedded collectd-nagios“ • Erkennen von collectd Checks (konf. command name, custom variable, o.¨a.) • Abfrage von collectd ¨uber UNIX Socket • Auswerten der Daten • active check result an Nagios ¨ubergeben collectd in der großen weiten Welt Folie 44
  • 52. Zukunftsmusik: passiver Modus Nagios collectd NEB Hosts / Services collectd.cfg init() collectd in der großen weiten Welt Folie 45
  • 53. Zukunftsmusik: passiver Modus Nagios collectd NEB Hosts / Services collectd.cfg collectd in der großen weiten Welt Folie 45
  • 54. Zukunftsmusik: passiver Modus Nagios collectd NEB Hosts / Services collectd.cfg {v=4711,v=...} collectd in der großen weiten Welt Folie 45
  • 55. Zukunftsmusik: passiver Modus Nagios collectd NEB Hosts / Services collectd.cfg get status() collectd in der großen weiten Welt Folie 45
  • 56. Zukunftsmusik: passiver Modus Nagios collectd NEB Hosts / Services collectd.cfg OK/WARN/CRIT collectd in der großen weiten Welt Folie 45
  • 57. Zukunftsmusik: passiver Modus • ” passiver“ Event Broker: collectd Netzwerk Client • Konfiguration von gew¨unschten Werten und Schwellwerten in eigener Konfigurationsdatei (collectd.cfg) • Erzeugung von dazugeh¨origen Hosts und Services • Server f¨ur collectds Netzwerk-Plugin • Auswerten der gew¨unschten Werte • active/passive check results an Nagios ¨ubergeben collectd in der großen weiten Welt Folie 46
  • 58. Arbeitsweise von collectd core: read thread() p = get next plugin(); sleep until due(p); collectd in der großen weiten Welt Folie 47
  • 59. Arbeitsweise von collectd core: read thread() plugin1.c:read() p->callback(); collectd in der großen weiten Welt Folie 47
  • 60. Arbeitsweise von collectd plugin1.c:read() ... dispatch values(v); collectd in der großen weiten Welt Folie 47
  • 61. Arbeitsweise von collectd core: dispatch values() plugin1.c:read() ... dispatch values(v); ... plugin write(v); collectd in der großen weiten Welt Folie 47
  • 62. Arbeitsweise von collectd core: dispatch values() plugin1.c:read() ... dispatch values(v); ... plugin write(v); plugin2.c:write() ... collectd in der großen weiten Welt Folie 47
  • 63. Perl-Plugin Allgemeines • Integriert einen Perl-Interpreter (vergleichbar zu Apaches mod perl) • Instanziierung und Syntax-Analyse nur einmal • Exportiert die API (→ nicht nur Lese-Plugins m¨oglich) collectd in der großen weiten Welt Folie 48
  • 64. Perl-Plugin: Beispiel package Collectd::Plugin::Magic; use Collectd qw( :all ); sub magic_read { my $vl = { plugin => ’magic’, values => [Magic->getCurrentLevel ()] }; plugin_dispatch_values (’magic_level’, $vl); } plugin_register (TYPE_READ, ’magic’, ’magic_read’); collectd in der großen weiten Welt Folie 49
  • 65. exec-Plugin Allgemeines • F¨uhrt Programme aus • Liest von deren Standard-Ausgabe • K¨onnen ¨uber l¨angere Perioden laufen (vgl. init) collectd in der großen weiten Welt Folie 50
  • 66. exec-Plugin: Beispiel #!/bin/sh INTVL=${COLLECTD_INTERVAL:-10} CHOST="${COLLECTD_HOSTNAME:-localhost}" IDENT="$CHOST/magic/magic_level" while sleep $INTVL do VALUE=‘magic --level‘ echo "PUTVAL "$IDENT" interval=$INTVL N:$VALUE" done collectd in der großen weiten Welt Folie 51
  • 67. collectd in der großen weiten Welt Vielen Dank f¨ur die Aufmerksamkeit! Gibt es Fragen? collectd in der großen weiten Welt Folie 52
  • 68. collectd in der großen weiten Welt Kontakt: Sebastian ” tokkee“ Harl teamix GmbH, N¨urnberg <sh@teamix.net> <collectd@verplant.org> — irc.freenode.net/#collectd — http://identi.ca/collectd http://tokkee.org/events.html Artikel zum Thema collectd: http://linuxtechnicalreview.de/Vorschau/(show)/Themen/ Monitoring/Performance-Analyse-mit-Collectd collectd in der großen weiten Welt Folie 53