E-learning Log processing Chapitre 1

1. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Pourquoi la gestion des logs ?
Les logs (ou traces) sont souvent peu ou mal exploités de part notamment leur
quantité. Cependant, ils révèlent un grand nombre d’informations comme par
exemple :
-Des tentatives d’intrusion
-Des erreurs système
-L’état de machines ou de services
-La fréquentation de sites
-Etc …
Elasticsearch, logstash , Kibana
(plus Redis et bien d’autres …)

2. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Outil de collecte, analyse et stockage des logs. Développé en Jruby.
Mise en forme des logs et enrichissement via filtres et Grok ( chapitre 3 de
formation)
Export des données en base de donnée Elasticsearch, fichier txt.
Traitement de flux de logs parallèle pour un même stockage.

3. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
SGBD Clé-Valeur scalable No-SQL.
Ecrit en C ANSI.
N’existe pas en mode cluster.
Conserve l’intégralité des données en RAM ou en mémoire virtuelle.
Principe de réplication maître/esclave pour la répartition de charge.

4. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Crée par Shay Banon
Ecrit en Java.
Elasticsearch est un moteur de recherche open-source basé sur Lucene avec
une architecture type cloud computing.
Il repose sur une BD No-SQL avec des flux d’information en JSON.

5. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Interface web permettant de rechercher des infos stockées par logstash et
Elasticsearch.
Sujet du deuxième chapitre de ce cours.
Permet de créer des outils d’analyse de logs grâce à des tableaux de bord
personnalisés.

6. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
L’ensemble ELK conduit donc à une avancée dans la matière de traitement de la
donnée et est voué à un avenir radieux, notamment en ce qui concerne les
futures problématiques de voiture connectée.
Les possibilités sont immenses et seule la limite de stockage s’impose dans ce
véritable écosystème.
Le second chapitre portera sur l’utilisation de Kibana pour exploiter les logs.

7. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING
Architecture technique à PSA
4 clusters applicatifs : Test, Preprod, Prod, Mon

8. Log Processing Elasticsearch
Chapitre 1 : ELK chez PSA
QUERY FILTERING