Weitere ähnliche Inhalte
Ähnlich wie LogFile Auswertung (log analysis) (20)
Mehr von Rainer Gerhards (13)
LogFile Auswertung (log analysis)
- 1. Copyright © 2004 Adiscon GmbH www.adiscon.com
Logfile AuswertungLogfile Auswertung
„Getting it there and getting„Getting it there and getting
something out of it...“something out of it...“
Rainer GerhardsRainer Gerhards
AdisconAdiscon
- 2. Copyright © 2004 Adiscon GmbH www.adiscon.com
Worum es geht...Worum es geht...
SammlungSammlung undund AuswertungAuswertung vonvon
System-ProtokolldateienSystem-Protokolldateien
• NutzenNutzen
• MöglichkeitenMöglichkeiten
• SchwierigkeitenSchwierigkeiten
• LösungenLösungen
DenkansätzeDenkansätze
• KEINE Produktpräsentation!KEINE Produktpräsentation!
• KEINE fertigen Lösungen!KEINE fertigen Lösungen!
- 3. Copyright © 2004 Adiscon GmbH www.adiscon.com
Was beinhalten Logs?Was beinhalten Logs?
Betriebsmanagement-InfosBetriebsmanagement-Infos
Securitymanagement-InfosSecuritymanagement-Infos
• Benutzeran- und -abmeldungenBenutzeran- und -abmeldungen
• Nachrichtenverkehr (Firewall, Router, ...)Nachrichtenverkehr (Firewall, Router, ...)
• erkannte Viren/Malwareerkannte Viren/Malware
• Zugriffe auf DatenobjekteZugriffe auf Datenobjekte
• Ressourcenprobleme (out of space...)Ressourcenprobleme (out of space...)
• und viel, viel mehr...und viel, viel mehr...
- 4. Copyright © 2004 Adiscon GmbH www.adiscon.com
Nutzen von LogsNutzen von Logs
KapazitätsplanungenKapazitätsplanungen
FehleranalyseFehleranalyse
(Realzeit-)Alarmierung(Realzeit-)Alarmierung
BeweissicherungBeweissicherung
Forensische AnalyseForensische Analyse
(Interne) Auditierung(Interne) Auditierung
Achtung!Achtung!
• DatenschutzDatenschutz
• Mitbestimmungsrechte BetriebsratMitbestimmungsrechte Betriebsrat
- 5. Copyright © 2004 Adiscon GmbH www.adiscon.com
„„getting it there...“getting it there...“
Logs liegen auf einzelnen GerätenLogs liegen auf einzelnen Geräten
es muss zentralisiert werden, umes muss zentralisiert werden, um
Gesamtbild zu erhaltenGesamtbild zu erhalten
Herstellerlösungen decken oft nurHerstellerlösungen decken oft nur
einen Teilbereich abeinen Teilbereich ab
- 6. Copyright © 2004 Adiscon GmbH www.adiscon.com
LogquellenLogquellen
Geräte (Router, Firewall) mit syslogGeräte (Router, Firewall) mit syslog
*NIX syslog*NIX syslog
Windows Event LogsWindows Event Logs
TextdateienTextdateien
DatenbanktabellenDatenbanktabellen
serielle Geräteserielle Geräte
......
- 7. Copyright © 2004 Adiscon GmbH www.adiscon.com
Zugang zu Log-QuellenZugang zu Log-Quellen
je nach Systemje nach System
• unterschiedlicher Zugriffunterschiedlicher Zugriff
• unterschiedliches Meldungsformatunterschiedliches Meldungsformat
• unterschiedliche Aussagekraftunterschiedliche Aussagekraft
Selbst gleiche Geräte, inSelbst gleiche Geräte, in
unterschiedlichen Releases, erzeugenunterschiedlichen Releases, erzeugen
unterschiedliche Log-Meldungenunterschiedliche Log-Meldungen
APIs in hohem Maße inkompatibelAPIs in hohem Maße inkompatibel
- 8. Copyright © 2004 Adiscon GmbH www.adiscon.com
Lösung - syslogLösung - syslog
syslog ist kleinste gemeinsame Untermengesyslog ist kleinste gemeinsame Untermenge
ursprünglich entstanden im Umfeld vonursprünglich entstanden im Umfeld von
sendmailsendmail
de-facto Standard (späte „Standardisierung“de-facto Standard (späte „Standardisierung“
bisher nur über einen informational RFC)bisher nur über einen informational RFC)
extrem einfach zu implementieren (undextrem einfach zu implementieren (und
daher sehr große Unterstützung)daher sehr große Unterstützung)
sollte eine Logquelle kein syslogsollte eine Logquelle kein syslog
unterstützen, gibt es bestimmt einenunterstützen, gibt es bestimmt einen
Konverter dafür (z.B. EventReporter fürKonverter dafür (z.B. EventReporter für
Windows Event Log)Windows Event Log)
syslog ist in der Praxis erprobt und bewährtsyslog ist in der Praxis erprobt und bewährt
- 9. Copyright © 2004 Adiscon GmbH www.adiscon.com
syslog: formatsyslog: format
kurze Textmeldung (< 1024 byte)kurze Textmeldung (< 1024 byte)
Übermittlung via UDP (ungesichert)Übermittlung via UDP (ungesichert)
Facility/Severity: Numerische WerteFacility/Severity: Numerische Werte
für Filterungfür Filterung
KEINE Spezifikation des TextteilesKEINE Spezifikation des Textteiles
(anders als z.B. SNMP)(anders als z.B. SNMP)
<38>Nov 12 15:11:26 su(pam_unix)[2246]:
session opened for user root by
rger(uid=500)
- 10. Copyright © 2004 Adiscon GmbH www.adiscon.com
syslog: Der Meldungsinhalt...syslog: Der Meldungsinhalt...
leidiges Problemleidiges Problem
keine Standardisierung in Sichtkeine Standardisierung in Sicht
jeder Entwickler schickt, was er fürjeder Entwickler schickt, was er für
richtig hält – und in dem Format, inrichtig hält – und in dem Format, in
dem er es für richtig hält...dem er es für richtig hält...
Nachbearbeitung der MeldungenNachbearbeitung der Meldungen
erforderlicherforderlich
verschiedene Analysetoolsverschiedene Analysetools
- 11. Copyright © 2004 Adiscon GmbH www.adiscon.com
syslog: Bittere Pillen...syslog: Bittere Pillen...
Probleme aus der PraxisProbleme aus der Praxis
• MeldungsverlusteMeldungsverluste
• einfach zu fälscheneinfach zu fälschen
• einfach mitzuleseneinfach mitzulesen
Fortentwicklung des ProtokollsFortentwicklung des Protokolls
• IETF Arbeitsgruppe seit ca. 2000IETF Arbeitsgruppe seit ca. 2000
• syslog-protocol - neues Format, Layerssyslog-protocol - neues Format, Layers
• syslog-sign - Signaturensyslog-sign - Signaturen
• RFC 3195 (syslog-reliable) – sichere undRFC 3195 (syslog-reliable) – sichere und
verschlüsselte Übertragungverschlüsselte Übertragung
Für viele Probleme finden sich Lösungen –Für viele Probleme finden sich Lösungen –
man muss nur nachdenken...man muss nur nachdenken...
- 12. Copyright © 2004 Adiscon GmbH www.adiscon.com
Aufbau der Log-InfrastrukturAufbau der Log-Infrastruktur
TypischTypisch
• Systeme so konfigurieren, dass auch tatsächlichSysteme so konfigurieren, dass auch tatsächlich
relevanterelevante Logs erzeugt werdenLogs erzeugt werden
• Lieferung der Logdaten an ein zentrales SystemLieferung der Logdaten an ein zentrales System
• evtl. (Near)-RealTime Alertingevtl. (Near)-RealTime Alerting
• Auswertung auf dem zentralen SystemAuswertung auf dem zentralen System
je nach Aufgabenstellung natürlich gänzlichje nach Aufgabenstellung natürlich gänzlich
verschiedene Strukturenverschiedene Strukturen
• DatenschutzDatenschutz
• Beweissicherung / AuditierungBeweissicherung / Auditierung
- 13. Copyright © 2004 Adiscon GmbH www.adiscon.com
Beispiel: Relay-ArchitekturBeispiel: Relay-Architektur
- 14. Copyright © 2004 Adiscon GmbH www.adiscon.com
Speicherung der LogdateienSpeicherung der Logdateien
DatenbankenDatenbanken
• einfache Abfrageeinfache Abfrage
• für große Logmengen ungeeignetfür große Logmengen ungeeignet
(Durchsatz)(Durchsatz)
TextdateienTextdateien
• sehr viel besserer Durchsatzsehr viel besserer Durchsatz
• von vielen Tools unterstütztvon vielen Tools unterstützt
• in der interaktiven Analyse problematischin der interaktiven Analyse problematisch
Gespeicherte Logs müssen besondersGespeicherte Logs müssen besonders
gegen Manipulation geschützt werden!gegen Manipulation geschützt werden!
- 15. Copyright © 2004 Adiscon GmbH www.adiscon.com
„„getting something out of it...“getting something out of it...“
The common item to look for whenThe common item to look for when
reviewing log files is anything thatreviewing log files is anything that
appears out of the ordinary.appears out of the ordinary.
CERT Coordination CenterCERT Coordination Center
Intrusion Detection ChecklistIntrusion Detection Checklist
- 16. Copyright © 2004 Adiscon GmbH www.adiscon.com
Einige Auswertungsverfahren...Einige Auswertungsverfahren...
Basierend auf SignaturenBasierend auf Signaturen
• kown badkown bad
• „„artificial ignorance“ (Marcus Ranum)artificial ignorance“ (Marcus Ranum)
Basierend auf StatistikenBasierend auf Statistiken
„„Never before seen“Never before seen“
- 17. Copyright © 2004 Adiscon GmbH www.adiscon.com
Known BadKnown Bad
vergleichbar Virensignaturdateienvergleichbar Virensignaturdateien
bekannte Muster von Attackenbekannte Muster von Attacken
besondere Problematik: je nachbesondere Problematik: je nach
meldendem System/Version könnenmeldendem System/Version können
die Signaturen unterschiedlich seindie Signaturen unterschiedlich sein
- 18. Copyright © 2004 Adiscon GmbH www.adiscon.com
Beispiele „Known Bad“ IBeispiele „Known Bad“ I
Nimda:Nimda:
204.120.69.195 - - [18/Sep/2001:09:35:19204.120.69.195 - - [18/Sep/2001:09:35:19
-0500] "GET /scripts/..%-0500] "GET /scripts/..%
%35%63../winnt/system32 /cmd.exe?/c+dir%35%63../winnt/system32 /cmd.exe?/c+dir
HTTP/1.0" 400 215 "-" "-"HTTP/1.0" 400 215 "-" "-"
Sendmail Exploits:Sendmail Exploits:
Jul 21 01:25:49 ariel sendmail[308]:Jul 21 01:25:49 ariel sendmail[308]:
BAA00307: to=lamarbroc@delphi.com,BAA00307: to=lamarbroc@delphi.com,
ctladdr=":/bin/mail root@ariel.sdsc.eductladdr=":/bin/mail root@ariel.sdsc.edu
</etc/passwd", delay=00:00:34, mailer=smtp,</etc/passwd", delay=00:00:34, mailer=smtp,
relay=bos1h.delphi.com. (192.80.63.8),relay=bos1h.delphi.com. (192.80.63.8),
stat=Sent (Ok.)stat=Sent (Ok.)
- 19. Copyright © 2004 Adiscon GmbH www.adiscon.com
Beispiele „Known Bad“ IIBeispiele „Known Bad“ II
Buffer Overflows:Buffer Overflows:
Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]:Jan 02 16:19:45 xxx.xxx.xxx.xxx rpc.statd[351]:
gethostbyname error forgethostbyname error for
^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750^X÷ÿ¿^X÷ÿ¿^Y÷ÿ¿^Y÷ÿ¿^Z÷ÿ¿^Z÷ÿ¿^[÷ÿ¿^[÷ÿ¿bffff750
804971090909090687465676274736f6d616e797265206520726f7804971090909090687465676274736f6d616e797265206520726f7
220726f66220726f66
bffff718bffff718
bffff719 bffff71abffff719 bffff71a
bffff71bbffff71b
!!
!!
- 20. Copyright © 2004 Adiscon GmbH www.adiscon.com
Known Good /Known Good /
Artificial IgnoranceArtificial Ignorance
bekannte Log-Einträge werdenbekannte Log-Einträge werden
ausgefiltertausgefiltert
Parameter in den Einträgen erfordernParameter in den Einträgen erfordern
oft spezielle Beachtungoft spezielle Beachtung
Nur die verbleibenden Einträge werdenNur die verbleibenden Einträge werden
beachtetbeachtet
ACHTUNG: „Gute“ Einträge könnenACHTUNG: „Gute“ Einträge können
auch von (erfolgreichen) Attackenauch von (erfolgreichen) Attacken
erzeugt worden sein.erzeugt worden sein.
- 21. Copyright © 2004 Adiscon GmbH www.adiscon.com
StatistikenStatistiken
Betrachtet werdenBetrachtet werden
• bestimmte Messzahlen (z.B.bestimmte Messzahlen (z.B.
Verkehrsvolumen)Verkehrsvolumen)
• (syslog-) Meldungsvolumen selbst(syslog-) Meldungsvolumen selbst
Vergleich von aktuellem Wert zuVergleich von aktuellem Wert zu
statistischem Mittelwertstatistischem Mittelwert
Signifikante Abweichungen könnenSignifikante Abweichungen können
auf ein Problem hindeutenauf ein Problem hindeuten
• ABER: Feiertage können signifikanteABER: Feiertage können signifikante
Abweichungen erzeugen...Abweichungen erzeugen...
- 22. Copyright © 2004 Adiscon GmbH www.adiscon.com
Never before SeenNever before Seen
Besonders beachtenswert sindBesonders beachtenswert sind
• Ereignisse, die noch NIEMALS aufgetretenEreignisse, die noch NIEMALS aufgetreten
sind (Marcus Ranum, loganlysis list)sind (Marcus Ranum, loganlysis list)
• Ereignisse, die extrem selten auftretenEreignisse, die extrem selten auftreten
(Rainer Gerhards, „Needle in Haystack“)(Rainer Gerhards, „Needle in Haystack“)
Vorsicht: Neue Software-VersionenVorsicht: Neue Software-Versionen
oder Geräte können Ergebnisoder Geräte können Ergebnis
temporär verfälschen!temporär verfälschen!
- 23. Copyright © 2004 Adiscon GmbH www.adiscon.com
Automatische Analyse IAutomatische Analyse I
Gefahr von „false positives“ sehr hochGefahr von „false positives“ sehr hoch
zu viel Automatik kann evtl. selbst zuzu viel Automatik kann evtl. selbst zu
denial of service genutzt werden:denial of service genutzt werden:
• auto-Regel (basierend auf „kown bad“)auto-Regel (basierend auf „kown bad“)
schließt Firewall für IPs, von denenschließt Firewall für IPs, von denen
Attacken ausgehenAttacken ausgehen
• Attackierender spooft Pakete mit fremdenAttackierender spooft Pakete mit fremden
IPs für einen gesamten RangeIPs für einen gesamten Range
• Ergebnis: unsere Regel sperrt dieErgebnis: unsere Regel sperrt die
gespooften IPs aus... autsch ;)gespooften IPs aus... autsch ;)
- 24. Copyright © 2004 Adiscon GmbH www.adiscon.com
Automatische Analyse IIAutomatische Analyse II
automatische Alarme sollten manuellautomatische Alarme sollten manuell
überprüft werdenüberprüft werden
automatische Aktionen könnenautomatische Aktionen können
verwendet werden, wenn diesverwendet werden, wenn dies
zwingend erforderlich erscheint. Dannzwingend erforderlich erscheint. Dann
müssen aber alle Konsequenzenmüssen aber alle Konsequenzen
durchdacht werden!durchdacht werden!
- 25. Copyright © 2004 Adiscon GmbH www.adiscon.com
Unterstützung der manuellenUnterstützung der manuellen
AnalyseAnalyse
Komprimierung und KonsolidierungKomprimierung und Konsolidierung
notwendignotwendig
dem Analysierenden muss der Zugangdem Analysierenden muss der Zugang
zu den Low-Level Informationenzu den Low-Level Informationen
einfach möglich sein (oftmals kann nureinfach möglich sein (oftmals kann nur
damit eine endgültige Entscheidungdamit eine endgültige Entscheidung
gefällt werden)gefällt werden)
- 26. Copyright © 2004 Adiscon GmbH www.adiscon.com
ZusammenfassungZusammenfassung
Log-Dateien beinhalten sehr hilfreicheLog-Dateien beinhalten sehr hilfreiche
InformationenInformationen
Strategie zum zentralen SammelnStrategie zum zentralen Sammeln
zwingend erforderlichzwingend erforderlich
In heterogenen Umgebungen istIn heterogenen Umgebungen ist
syslog oft die einzige Möglichkeit, hatsyslog oft die einzige Möglichkeit, hat
aber Restriktionenaber Restriktionen
In der Analyse nicht nur aufIn der Analyse nicht nur auf
Automatiken verlassen.Automatiken verlassen.
- 27. Copyright © 2004 Adiscon GmbH www.adiscon.com
Fragen?Fragen?
rgerhards@adiscon.comrgerhards@adiscon.com
www.adiscon.comwww.adiscon.com
www.monitorware.comwww.monitorware.com
Adiscon GmbH
Franz-Marc-Str. 144
50374 Erftstadt
0800-ADISCON (0800/2347266)
info@adiscon.com
- 28. Copyright © 2004 Adiscon GmbH www.adiscon.com
Weitere Interessante LinksWeitere Interessante Links
www.loganalysis.orgwww.loganalysis.org
www.sans.orgwww.sans.org
http://www.dshield.com/http://www.dshield.com/
www.syslog.cc/ietf/www.syslog.cc/ietf/
http://www.ietf.org/html.charters/syslohttp://www.ietf.org/html.charters/syslo
g-charter.htmlg-charter.html
http://www.monitorware.com/en/workihttp://www.monitorware.com/en/worki
nprogress/nature-of-syslog-data.phpnprogress/nature-of-syslog-data.php
http://www.monitorware.com/en/workihttp://www.monitorware.com/en/worki
nprogress/Needle-in-Haystack.phpnprogress/Needle-in-Haystack.php
- 29. Copyright © 2004 Adiscon GmbH www.adiscon.com
DanksagungDanksagung
Der Autor möchte sich insbesondereDer Autor möchte sich insbesondere
bei Dr. Tina Bird vonbei Dr. Tina Bird von
www.loganalysis.org für diewww.loganalysis.org für die
Überlassung einiger Beispiele ausÜberlassung einiger Beispiele aus
Ihrem Loganalyse-Seminar bedanken.Ihrem Loganalyse-Seminar bedanken.