Tools zur Diagnose von Weblogic Performanceengpässen und Fehlerzuständen

© OPITZ CONSULTING 2016
 überraschend mehr Möglichkeiten!
Michael Schulze, Senior Consultant
Tools zur Diagnose von Weblogic
Performanceengpässen und
FehlerzuständenDOAG Konferenz 2017 , 22.11.2017

© OPITZ CONSULTING 2016 Seite 2
Zur Person
 seit 1999 Oracle im Unix/Linux Umfeld
 OS, Datenbank, Middleware, HA, Virtualisierung
 bei Opitz Consulting seit 2015
 diverse HA-Projekte: Weblogic / FMW-Umfeld,
Exadata-Bereich
 Autor Redstack Magazin
Tools zur Diagnose von Weblogic Performanceengpässen und

Agenda
1
2
3
4
5
Einleitung in die Thematik
OS: Ressourcenprobleme diagnostizieren
Betrachtung Weblogic / FMW Teil
Analyse von Java-Problemen im WLS /
FMW Kontext
Zusammenfassung der vorgestellten Tools

Einleitung in die Thematik
 Performance und Fehleranalyse
 Klassifizierung notwendig
 OS, Weblogic/FMW, Java
 Vorstellung ausgewählter Tools
 Linux-Umfeld, plattformübergreifend bei
Weblogic/Java
1

Betrachtete Komponenten

Ressourcenprobleme OS-seitig
diagnostizieren
2
Betriebssystem (OS)
· IST-Analyse mit RDA
· Check Prerequirements: limits, Kernelparameter
· Systemressourcen analysieren (CPU, MEM, Platz)
· Ressourcenverhalten über einen Zeitraum

IST-Aufnahme: Struktur des Systems ermitteln (1)
 Verwendung von Remote
Diagnostic Agent (RDA)
 RDA über Metalink für verschiedene
Plattformen verfügbar
 http://support.oracle.com
Doc ID 314422.1
 Fragestellung:
Wie hängen Komponenten zusammen,
was wird verwendet?
 Vorteil: Vorabanalyse
 IST-Aufnahme Schritte
 Download RDA-Version z.B. für Linux-
x64 + entpacken
 Konfigurieren von RDA für jeweilige
Umgebung
 Generieren der RDA-Daten
 Auswerten der RDA-Daten mittels
Browser

 praktische Anwendung am Beispiel einer Forms-Domain
 Konfigurieren von RDA für jeweilige Umgebung
 generieren der RDA-Daten für weitere Analyse

 Auswerten der RDA-Daten
 für WLS / FMW Bereich insbesondere
Domain-Overview interessant
 Ermittlung von Aufbau und Strukturen
 bei großen Clusterumgebungen wertvolle
Grundlage

Check Prerequirements: Kernelparameter / Limits
 Gesetzte Kernelparameter prüfen:
 /etc/sysctl.conf
 mit aktuellen Werten im System
vergleichen (z.B. Shared Memory)
 OS-Limits prüfen:
 /etc/security/limits.conf
 Vergleich mit aktuellen Limits des Users

Aktuellen Systemstatus ermitteln (1)
 Zielstellung: Analyse aktueller
Systemzustand (Performance,
Auslastung)
 mit OS Mitteln möglich, aber
aufwändig
 Vorstellung von 2 Tools für einen
gezielten Überblick
 htop
 http://hisham.hm/htop/
 ncurses basiertes Tool für die
Commandline
 quasi grafisches top
 für verschiedene Plattformen verfügbar
 glances
 https://nicolargo.github.io/glances/
 Python basiertes Tool mit Commandline
und Webserverfunktionalität
 Vorteil von glances: umfassender
Ressourcenüberblick

 htop Überblick:
 Installieren aus Quelle nach Entpacken
z.B.
 top kompatibel, grafische Darstellung der
Ressourcenauslastung
 viele Optionen
 htop in Action:

 glances, es geht noch besser
 intuitive Nutzung durch Verwendung von
Farbgebung
 Python-Anwendung mit vielen Optionen
 Systemvorbereitung:
 glances setzt Python2.7 mit passendem
PIP-Modul voraus und Installation einiger
Python-Module
 Start der Anwendung:
 Und jetzt glances in Action…

 glances, alles auf einen Blick:
 Systeminfos
 Ressourcen CPU, MEM …
 Network
 Disk IO
 Filesysteme
 Prozesse
 Integriertes Webinterface
 analog zu CLI Variante möglich
 Über Browser aufzurufen, Remote
 Was will man mehr?

Systemanalyse über einen bestimmten Zeitraum (1)
 oswatcher
 Analyse von Systemressourcen über
bestimmten Zeitraum
 Bereitstellung über Metalink
 http://support.oracle.com
Doc ID 301137.1
 Bestandteil von Tracefile Analyzer (TFA)
 Beschreibung: Starten oswatcher
 Auswertung eines Zeitraums
 ASCII und GUI-Variante möglich
 Nutzung eines Java-Archives
 wenig Ressourcenanspruch, unkritisch
im Einsatz
 Tipp:
 oswatcher als festen Bestandteil
integrieren
 Vorteil: vergangene Werte verfügbar

Systemanalyse über einen bestimmten Zeitraum (2)
 oswatcher Report, Beispiel:
 Top Down Analyse

Betrachtung Weblogic (WLS) Teil
3
Weblogic / FMW-Komponenten
· IST-Analyse Domainstatus und Konfiguration:
AdminConsole, EM, WLST
· Logfileanalyse
· Verwendung von ADRCI

Status Check Domain (1)
 Nutzung der Adminconsole
 Fragestellung: Zustand
Domainkomponenten, Fehlerzustände,
Verfügbarkeit Datasources
 Möglichkeit: Enterprise Manager
 insbesondere für Administration und
Zustandsermittlung von FMW-
Komponenten sinnvoll (z.B. Forms,
SOA..)

 über Weblogic Scripting Tool
 hier im Bsp. mittels WLST unter Eclipse
(OEPE)
 Thema detaillierter in meiner
veröffentlichten Artikelreihe
 https://www.opitz-
consulting.com/fileadmin/user_upload/Collater
als/Artikel/red-stack-magazin-2017-
02_WebLogic-WLST-Programmierung-unter-
Eclipse-mit-dem-Oracle-OEPEPlug-in-und-
PyDev_Schulze_sicher.pdf

 Prüfen gesetzte Java Optionen
(z.B. MEM-Parameter)
 Ermittlung java-Prozesse auf OS-Ebene
 Check / Vergleich mit Konfiguration:
 Check Memory-Ressourcen über
AdminConsole

Logfileanalyse in Weblogic (1)
 Weblogic Logfiles
 $DOMAIN_HOME/servers/<SERVER>/logs
 $DOMAIN_HOME/nodemanager
 hierbei sind zu unterscheiden
 Domain-Log (enthält alles)
 AdminServer-Log
 jeweilige ManagedServer-Logs
 Nodemanager-Log
 Suche, Filterung
 Logfile nach BEA-, ORA- o.ä. durchsuchen
 gefundene Klassifizieren nach z.B.
WARNING, ERROR
 Recherche Fehlermeldungen
 z.B: Weblogic-Fehler:
https://docs.oracle.com/cd/E24329_01/d
oc.1211/e26117/chapter_bea_messages
.htm
 ORA- Fehler in Logfiles deuten auf
Backend-Datenbank Probleme hin
 müssen auf DB-Zielsystemen
weiterverfolgt werden

 glogg
 Tool zur Unterstützung der
Logfileanalyse (allgemein)
 http://glogg.bonnefon.org/download.
html
 für verschiedene Betriebssysteme
 Beispiel eines AdminServer.log
 Filterung durch farbige
Unterscheidung z.B. nach String-
Kriterien wie: ERROR, WARNING
möglich
 weiterer Vorteil: Direktsuche nach Einzelstrings

 Verwendung von ADRCI
 Automatic Diagnostic Repository
Command Interpreter
 insbesondere aus dem Oracle-DB-
Umfeld bekannt kann aber auch in
Weblogic/FMW-Umgebungen
verwendet werden
 schnellere Ermittlung von
Fehlermeldungen mit ARDCI möglich
 bestehende Issues und relevante
Meldungen werden dort angezeigt
 Diagnosepaket für Oracle Support kann
generiert werden
 Beispiel in einer Forms-Domain

Analyse von Java Problemen im WLS
/ Fusion Middleware (FMW) Kontext
4
Java Prozesse
· Erstellen und Auswertung Threaddumps
· Einsatz von Java Mission Control (JMC), Flight
Recorder (JFR)
· aktuelle Situation und Zeitraumbetrachtung durch
Nutzen von Java Flightrecorder

Threaddump erzeugen, Analyse und Auswertung (1)
 Vorbereiten der Weblogic Umgebung
 Fehlersimulation in Weblogic
 StuckTreadForFree, Application die dieses
Verhalten erzeugen kann
 http://www.munzandmore.com/2012/ora/w
eblogic-stuck-threads-howto
 Application muss zunächst deployed
werden
 Aufruf über Browser
 Im Beispiel: 3 Threads mit Laufzeit von
700s die Last erzeugen
 Zustand ist Grundlage für die folgenden
Analysen
 deployed application
 Erzeugen des Fehlerzustands

 Erzeugen eines Thread Dumps
 über AdminConsole:
 Enviroment > Servers > [SERVER] >
Monitoring > Threads
 über WLST:
 wlst starten, connect zum Server,
erstellen
 File: Thread_Dump_[SERVER].txt wird
in aktuellen Pfad geschrieben
 über OS:
 kill -3 PID (Threaddump wird in
STDOUT geschrieben)

 Auswertung des Threaddumps
 Threadlogic
https://github.com/roskens/threadlogic
 Samurai
http://samuraism.jp/samurai/en/index.html
 ermöglichen strukturierte Analyse von
Java-Threads zu best. Zeitpunkt
 hier: Threadlogic zur Analyse des TD
 blockierte Threads (erzeugt von
StuckTreadForFree)
 htop zeigt Last
 Analyse in komplexen Umgebungen
aufwändig

Analyse von Java Prozessen im Weblogic Umfeld (1)
 Java Mission Control (JMC) und
Flight Recorder (JFR) nutzen
 JMC stammt aus Jrockit JVM (BEA)
 in jeder Java Installation (ab v7u40)
enthalten
 Nutzung von JMC / JFR erzeugt
Lizenzkosten wenn in
Produktionsumgebungen verwendet
 ermöglicht “Realtime Java Prozess
Monitoring” und Aufzeichnung über
Zeitraum (JFR-Feature)
 GUI und Commandline
 Freischaltung von JFR erforderlich
 über setDomainEnv.sh
 erst aktiv nach Restart der Weblogic-
Komponente
 setzen über JDK-Commandline
Tool (jcmd)
 ermitteln der Prozesse
 setzen und prüfen des Features

 JMC Realtime Monitoring
 starten der GUI (ggf. setzen $DISPLAY
erforderlich
 wählen des Java-Prozesses
 Realtime Monitor nach erzeugtemm
Fehler mit StuckTreadForFree

 Flight Recorder nutzen für
Zeitraumbetrachtung
 Nach der Aufzeichnung kann .jfr File
ausgewertet werden
 Lastverhalten des Prozesses und
STUCK Threads

Zusammenfassung der vorgestellten Tools
 os specific
 domain specific
 java specific

Fazit
 Problemanalyse stark von jeweiliger Installation und
Kundenumgebung abhängig
 IST-Analyse immer erforderlich
 Unterstützung der Problemanalyse durch:
 vorhandene On-Board Werkzeuge
 Tools aus dem Oracle Stack
 ausgewählte 3rd Party Anwendungen
6

Fragen

Tools zur Diagnose von Weblogic Performanceengpässen und Fehlerzuständen

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Tools zur Diagnose von Weblogic Performanceengpässen und Fehlerzuständen

Ähnlich wie Tools zur Diagnose von Weblogic Performanceengpässen und Fehlerzuständen (20)

Mehr von OPITZ CONSULTING Deutschland

Mehr von OPITZ CONSULTING Deutschland (20)

Tools zur Diagnose von Weblogic Performanceengpässen und Fehlerzuständen