Thorsten Bruhns – IT-Tage 2015 – Monitoring von Oracle-Datenbanken mit check_mk

© OPITZ CONSULTING GmbH 2015 Seite 1Monitoring von Oracle-Datenbanken mit Check_MK
Thorsten Bruhns
Solution Architect
OPITZ CONSULTING GmbH
Monitoring von Oracle-
Datenbanken mit Check_MK
Frankfurt, 18.12.2015
Check_MK

Was ist Monitoring?
„Monitoring ist ein Überbegriff für alle Arten der
unmittelbaren systematischen Erfassung
(Protokollierung), Beobachtung oder Überwachung eines
Vorgangs oder Prozesses mittels technischer Hilfsmittel
(...) oder anderer Beobachtungssysteme.“
Quelle: Wikipedia

Der Referent ☺☺☺☺
Thorsten Bruhns
Solution Architect
1999 – 2003 Oracle Deutschland GmbH
2003 – OPITZ CONSULTING Deutschland GmbH
Spezialist für:
Performance-Analysen und SQL-Tuning
Hochverfügbarkeit mit RAC + Data-Guard
Nagios seit 2003
Check_MK seit 2012
Entwickler von mk_oracle

Agenda
1. Das Check_MK Monitoring System
2. mk_oraclePlugin
3. Praktisches Beispiel
4. Security in mk_oracle
5. Fazit

1 Das Check_MK Monitoring System

Entwicklung erfolgt durch Mathias Kettner GmbH
https://mathias-kettner.de/check_mk.html
Lizensiert unter der GPL
Historie
2008 im Rahmen eines RZ-Projektes entstanden
Als Addon zur bestehenden Lösung auf Basis von Nagios
2010 Gründung der Open Monitoring Distribution
Paketierung vieler Nagios-Komponenten in 1 RPM zur einfachen Installation eines
Monitoringsystems
2014 Partnerschaft Mathias Kettner OPITZ CONSULTING
Heute
Ursprüngliches Check_MK wurde modular erweitert
Ausgewachsenes Monitoring System mit zahlreichen Teilkomponenten
Historie

Check_MK => Check_MK Monitoring System
Check_MK hat über die Jahre zahlreiche Komponenten erhalten
Das Gesamtsystem bezeichnet man als Check_MK Monitoring System
Modulares System
Im Kern steht Check_MK mit Monitoring-Core
Üblich Check_MK Micro-Core oder Nagios
Zahlreiche Module als Erweiterung
Multisite (Oberfläche)
WATO (Web Administration Tool)
Business Intelligence
Event Console
Mobile…
Das Check_MK Monitoring System

Architekturschaubild

Automatisches Service Discovery
Checks für den Monitoring Core werden automatisch erkannt und generiert
Regelbasiertes System
Regeln können hierarchisch erstellt und auf Systeme vererbt werden
Neue Filesysteme können so automatisch Schwellwerte erhalten
Revolutionäres System für nagiosbasiertes Monitoring
Hohe Performance durch passive Checks
Ein aktiver Agentcheck liefert alle Daten für Checks des Ziels
Alle weiteren Checks werden über passive Checks bedient
Starke Entlastung des überwachten Systems und Monitoring Core
Umfangreiche Checksammlung
Mittlerweile über 600 implentierte Checks
Wichtigste Funktionen

Micro Core
Alternativer Monitoring Core von Mathias Kettner
Wesentlich performanter als Nagios-Core
Performancedaten
Automatische Einbindung über pnp4Nagios
OMD zur Verwaltung von Check_MK
Instanziiertes System
Mehrere Sites mit unterschiedlichen Versionen möglich
OMD (Open Monitoring Distribution) zur Installation und Verwaltung von
Sites
Projekt wurde u.a. von Mathias Kettner ins Leben gerufen
1 RPM/DEB für alle Komponenten des Monitoring Systems

Verteiltes Monitoring
Verschiedene Sites können zusammen gefaßt werden
Sehr breit skalierbar
Installation mit > 10.000 Hosts praktisch im Einsatz!
Multisite + WATO
Site kann vollständig über Browser administriert werden
Regeln können komfortable verwaltet werden
Kein Detailwissen über die Regelsyntax notwendig
Optional kann das gesamte System auch über Konfigurationsdateien verwaltet
werden => Das geht sogar parallel zu WATO!
Automatisierte Verwaltung von Hosts über CMDB-Export möglich
Agentbakery zur Konfiguration von Agenten

Check_MK Raw Edition (CRE)
GNU GPL2 Lizenz
Letzte Production Version
Support über Maillinglisten
Check_MK Enterprise Edition (CEE)
Nur mit Subscription ab 600 Euro jährlich
Zusätzlicher kommerzieller Support über Mathias Kettner
Production, Innovation und tägliche Developmentversionen
Erweiterter Funtkionsumfang
Check_MK Micro Core
Agent Bakery
Neuartiges System für Performancedaten Darstellung
Unterstützung von alten Betriebssystemen (RHEL5, SLES11SP2)
Editionen

Check_MK Appliance
Alles wie bei der CEE
Als fertiges Image für Virtualisierungsumgebungen
Hardwareappliance
Rail1
Auf Hutschiene für bis 100 Hosts, 2.000 Services
Ab 1200 Euro zzgl. Subscription
Rack1
1HE 19‘‘ Rack Server für 2500 Hosts, 50.000 Services
Ab 2-500 Euro zzgl. Subscription
Übersicht
https://mathias-kettner.de/check_mk_introduction.html
Editionen

OPITZ CONSULTING ist Partner von Mathias Kettner
Mathias Kettner ist kein Spezialist für Oracle Datenbanken
Es gibt noch weitere Partnerschaften für andere Themengebiete
OPITZ CONSULTING liefert das Know-How für das Monitoring von Oracle
Datenbanken
Neuentwicklung von mk_oracle in 2014
Seit 1.2.6 produktiv
Sehr leistungsfähiges Monitoring von Oracle Datenbanken
Unterstützt RAC, Data-Guard bzw Standby-Datenbanken
Thorsten Bruhns ist für die heutige Architektur von mk_oracle verantwortlich
Mathias hat einen wesentlichen Teil des Shellplugins beigesteuert ☺
Partnerschaft

2 mk_oracle Plugin

mk_oracle (alt) als Basis
Ohne mk_oracle hätte kein PoC mit Check_MK statt gefunden
Erste Erfahrungen und Erweiterungen am Plugin
=> DOAG 2013 ‚Monitoring von Oracle-Datenbanken mit OMD‘
Partnerschaft Mathias Kettner + OPITZ CONSULTING
2014 Redesign von mk_oracle
‚gemeinsame Session‘ von Mathias Kettner + Thorsten Bruhns Juli 2014
Zahlreiche Patches von Thorsten Bruhns
Entstehungsgeschichte bei OC

Abhängigkeiten zwischen Checks
Neuer Instance-Check wird ‚führend‘
Vermeidung unnötiger Benachrichtigungen
Unterstützt EE, SE, XE
Support für RAC und physical Standby / Data-Guard
Reduzierung der Logins mittels SYNC + ASYNC Checks
SYNC + ASYNC Checks benötigen 2 Logins pro Datenbank – für alle
Checks!
ASYNC erfordert nur alle 10 Minuten einen Login
Automatisches Erkennen neuer Objekte
Warnung nach Anlegen neuer Tablespaces, Jobs etc.
Feautures

Automatische Erkennung der Oracle-Version
Nur mögliche Checks werden ausgeführt
Plugin funktioniert ab 9.2
Optional können Checks über mk_oracle.cfg konfiguriert werden
Zentrale Konfigurationsdatei – alles ist per Parameter konfigurierbar
Mittels WATO per Regel generierbar
Erfordert Enterprise Edition
Connect zur Instance immer über Listener
Ohne Listener kann sich kein Endanwender anmelden
Warum sollte das Monitoring am Listener ‚vorbei‘ die Instance überwachen?
Unterstützt Oracle Wallet
Keine Klartextkennwörter in Konfigurationsdateien notwendig
Feautures

Remote-Monitoring seit Check_MK 1.2.7
Plugin muß nicht auf Datenbankserver ausgeführt werden
Überwachung von Datenbanken wird plattformunabhängig
Plugin braucht nur InstantClient + SQLPlus
Plugin kann notfalls auf Monitroingserver gestartet werden
Nachteile
Zu überwachende Oracleversion muß manuell konfiguriert werden
Keine Erkennung von neuen Instancen auf zu überwachenden Host
Wird als Plugin eines Agenten ausgeführt
Kann bei vielen Instancen zu längeren Laufzeiten des Agenten führen
Planung für die Zukunft
Entwicklung eines Check_MK Spezialagenten
Entkopplung Plugin von Check_MK Agent
Schafft mehr Flexibilität für die Zukunft
Alternative für Oracle auf Windows
Feautures

Überwachung von ASM
Plugin erkennt automatisch ASM
Berücksichtigt Redundancy bei Diskgruppen
Alarmierung bei Offline Disks
Optional Überwachung von ‚requirred mirror free space‘
Automatische Erkennung neuer Diskgruppen
Feautures

Plattformen
Linux
AIX, HP-UX (nur mit bash)
Solaris (aktuell in Arbeit)
Windows
Remote-Monitoring empfohlen
PowerShell-Agent hat Stabilitätsprobleme
Weiterentwicklung wird derzeitig nicht verfolgt
Oracle-Versionen
RDBMS 9.2 – 12.1
ASM 10.2 - 12.1
Kompatibilität mk_oracle

Single Instance
Die häufigste Variante
Physical Standby Database incl. Data-Guard
Connect mit ‚sysdba‘ oder ‚sysoper‘ notwendig!
Failover-Cluster
Beim Connect zur Instance die VIP und nicht die Host-IP nutzen!
Remote-Monitoring empfohlen
Vermeidet doppeltes Monitoring über beide Clusterknoten
Real Application Cluster (RAC)
Beim Connect zur Instance die VIP und nicht die Host-IP nutzen!
mk_oracle - Einsatzszenarien

ASM
Als Single Instance, Oracle Restart oder RAC
Logical Standby Database mit Einschränkungen
Ist nur extrem selten in der Praxis zu finden
Standby darf nicht auf gleichem Host wie Primary oder physical Standby
laufen
Einschränkung entfaällt mit Remote Monitoring
RAC One-Node nicht möglich
One-Node ‚verschiebt‘ ORACLE_SIDs zwischen Clusterknoten
Ist die ‚offizielle‘ Alternative zum Failover-Cluster von Oracle
Aus Kostengründen so gut wie nie genutzt

Mischkonfigurationen sind möglich
RAC + physical Standby als RAC geht auch!
Danke für die Clusterfunktionalität in Check_MK!
mk_oracle ist somit für die Zukunft gut gerüstet!
Flex ASM ist geplant
Damit entfällt wahrscheinlich auch die Einschränkung bei RAC One Node

Instance Check
Neuer Check, der eine zentrale Aufgabe übernimmt
Alle anderen Checks werden STALEs, wenn Login nicht möglich
Reduzierung von Alarmierungen, wenn Instance nicht aktiv
Prüft:
OPEN_MODE der Instance
Primary => OPEN
Physical Standby oder ASM => MOUNTED
Logins erlaubt ja/nein
Archivelogmodus ja/nein
Force Logging bei Archivelogmodus ja/nein
Uptime der Instance
mk_oracle – Checks

Prozesslimit in der Instance
Füllgrad Recovery-Area
Recovery Status der Datendateien
Erkennung Offline Disks
Maximalzeit für Dateien im ‚user managed Backup‘
Überwachung letzter Checkpoint
RMAN-Backup
Zeitraum für letztes Full, Incremental Level 0/1, Controlfile und
Archivelogbackup
mk_oracle - Checks

Undoüberwachung
Limit für undo_retention und voller Undotablespace
Data-Guard
Überprüft Transport und Apply Lag
Locks
Lang anhaltende Locks in der Instance
Long Active Sessions
Überprüfung auf lang laufende Sessions
Per Default nicht aktiv
mk_oracle - Checks

Scheduler Jobs
Überprüfung der Scheduler-Jobs
Check wurde erweitert wegen fehlenden OWNER beim Job-Namen
Tablespaces
Zusätzliche Überprüfungen
UNDO und TEMP-Tablespaces werden nicht mehr überwacht!
Im Moment nur Überwachung mit ‚free‘-Space möglich
ASM Diskgroups
Zusätzliche Überprüfungen
OFFLINE-Disks
‚Required Mirror Free Space‘ bei NORMAL oder HIGH Redundancy
mk_oracle - Checks

Logswitches
Anzahl Logswitches
Sessions
Überwachung der Sessions in der Instance
mk_oracle - Checks

3 Praktisches Beispiel

Architektur
Check_MK
Monitoring
System
Agent-Plugin
mk_oracle
Oracle
Database
Check_MK
Agent

Installation mk_oracle
Kopiere mk_oracle nach /usr/lib/check_mk/plugins
Kopiere sqlnet.ora nach $MK_CONFDIR
Konfiguration von Check_MK Plugin
mk_oracle.cfg
ASMUSER=‘<username>:<password>:<sysdba>:<hostname>:<port>‘
DBUSER=‘<username>:<password>:<sysdba>:<hostname>:<port>‘
DBUSER_<ORACLE_SID>=‘<username>:<password>:<sysdba>:<hostname>:<port>‘
Defaults
username = /
password und sysdba nicht gefüllt
hostname = localhost
port = 1521
mk_oracle – Konfiguration des Plugin

Konfiguration von Check_MK Plugin
vi $MK_CONFDIR/mk_oracle.cfg
ASMUSER="asmsnmp:asmsnmp:sysdba"
DBUSER="dbsnmp:dbsnmp:"
mk_oracle – Konfiguration des Plugin

Verbindungstest nach der Konfiguration
Debugging von Konfigurationsproblemen
Sollte nach jeder Konfiguration genutzt werden
Erspart die Fehlersuche
Funktioniert der Testmodus, dann funktioniert auch das Plugin
Bei Fehlern erfolgt die Ausgabe der genutzten Verbindungsdaten
Wie funktioniert der Testmodus?
export MK_CONFDIR=/etc/check_mk
/usr/lib/check_mk/plugins/mk_oracle –t
mk_oracle - Testmodus

/usr/lib/check_mk_agent/plugins/mk_oracle.new -t
<<<oracle_instance>>>
… Ausgabe aller Agentsections von mk_oracle
<<<oracle_asm_diskgroup>>>
-----------------------------------------------
Logincheck to Instance: +ASM Version: 12.1
Login ok User: SYS on ora12c.local
SYNC_SECTIONS= instance
ASYNC_SECTIONS= asm_diskgroup
-----------------------------------------------
Logincheck to Instance: tux2 Version: 12.1
Login ok User: SYS on ora12c.local
SYNC_SECTIONS= instance sessions logswitches undostat recovery_area
processes recovery_status longactivesessions dataguard_stats performance
ASYNC_SECTIONS= tablespaces rman jobs ts_quotas resumable locks
mk_oracle - Testmodus: Beispielausgabe

Die Oberfläche

Neuen Host einfügen/anpassen

Discovered Services

Gespeicherter Host

Aktivierung der Änderungen

Ansicht der Checks eines Hosts

Übersicht über alle Regeln

Übersicht auf Regeln für Oracle Instancen

Detailansicht einer Filesystemregel

Performance-Daten

4 Security in mk_oracle

User & Rechte
Connect als dedizierter User
Kein ‚/ as sysdba‘ wie bei sqlplus.sh empfohlen
‚physical Standby‘ benötigt zwingend ‚sysdba/sysoper‘-Recht
Limitirung von Oracle nicht von mk_oracle!
Wallet
Keine Klartextkennwörter in Konfigurationsdateien
mk_oracle.cfg ist kompatibel zum Wallet
Username=/ => Walletnutzung
tnsnames.ora notwendig
Eintrag pro ORACLE_SID erforderlich
Tnsnames.ora wird in /etc/check_mk erwartet
Keine Beeinträchtigung einer bestehenden Oracle Umgebung
mk_oracle - Security

Wallet für sicheres Login konfigurieren
Als root Environment der DB-Software setzen
mkstore -wrl /etc/check_mk/oracle_wallet -create
mkstore -wrl /etc/check_mk/oracle_wallet -
createCredential „<TNS_ALIAS>" dbsnmp geheim
vi /etc/check_mk/sqlnet.ora
SQLNET.WALLET_OVERRIDE = TRUE
mk_oracle - Wallet

4 Fazit

Check_MK ist mehr als ein klassisches Monitoringsystem
Ist aufgrund des modularen Aufbaus zu einer Gesamtlösung gewachsen
Und es wird noch mehr werden. ☺
Geringe Betreuungskosten und einfach implementierbar
Open Monitoring Distribution als Basis zur einfachen Wartung des
Monitoringservers
Alles per GUI administrierbar
Sehr schnell up and running
Check_MK kann noch viel mehr
Der Vortrag kann nur einen kurzen Einblick über die Möglichkeiten bieten
Fazit

OPITZ CONSULTING nutzt das System aktiv
Aktiver Einsatz bei MSI (Managed Services Infrastructure)
In Summe ~400 Hosts mit ~20.000 Services
mk_oracle ist stable
Nur Windows PowerShell Plugin ist manchmal problematisch
Erweiterungen
Es stehen noch viele Ideen in der Pipeline
Zeit und Sponsoring wird benötigt
Bei Fragen mich bitte ansprechen!
Fazit

Ansprechpartner bei OPITZ CONSULTING
Thorsten Bruhns, Solution Architect
OPITZ CONSULTING Deutschland GmbH
thorsten.bruhns@opitz-consulting.de
Telefon +49 6172 66 26 0 - 1541
Mobil +49 174 30 49 64 2
youtube.com/opitzconsulting
@OC_WIRE
slideshare.net/opitzconsulting
xing.com/net/opitzconsulting

Thorsten Bruhns – IT-Tage 2015 – Monitoring von Oracle-Datenbanken mit check_mk

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (15)

Ähnlich wie Thorsten Bruhns – IT-Tage 2015 – Monitoring von Oracle-Datenbanken mit check_mk

Ähnlich wie Thorsten Bruhns – IT-Tage 2015 – Monitoring von Oracle-Datenbanken mit check_mk (20)

Thorsten Bruhns – IT-Tage 2015 – Monitoring von Oracle-Datenbanken mit check_mk