Le processus ETL (Extraction, Transformation, Chargement)

Salah Eddine BENTALBA (+15K Connections)
ETL (Extract,Transform and Load)
Extraction, Transformation et
Chargement

BENTALBA
Salah Eddine
«Consultant IT »
Le Processus

Source de données

ETL

Entrepôt de données

Staging

DataWareHouse

DataMarts
Extraction

 Méthodes de Chargement : Chargement initial (Full) et les
chargements incrémentiels (Delta).

Données Sources

Full Load

Delta Load

Données dans le staging
Extraction

 Etudier les sources pour définir sa stratégie de chargement.

Push

Staging

Pull
Source de
données

ETL
Push- Pull
Extraction

Les questions à se poser selon la stratégie choisie pour définir les
caractéristiques de votre système :
 Quelle est la disponibilité de mes sources de données ?
 Comment y accéder ?
 Comment faire des chargements incrémentiels ?
 Quel est le temps d'un chargement incrémentiel moyen, ai-je la
possibilité de recharger des données dans le cas où mon processus de
chargement échoue ?
 Quelle politique vais-je utiliser dans le cas d'échec de chargement ?
Transformation

Les questions à se poser avant de commencer cette étape :
 Quels sont les champs les plus sujets à erreurs ?
 Ai-je les moyens de corriger les erreurs automatiquement ?

 Comment permettre à un utilisateur de corriger les erreurs ?
 Quelle politique vais-je utiliser pour le traitement des erreurs
(fichier log, table dans BD) ?
 Comment montrer à l'utilisateur final que des données n'ont pas
été totalement chargées à cause d'erreurs ?
Transformation

Les données d’entrepôt doivent être :

Dé-normalisées

Nettoyées

Contextualisées

Chargées en DW
 Etape Critique.

Load

 Chargement des données dans l’entrepôt cible.
 Utiliser une requête Insert SQL ou bien une insertion en bloc
massif (bulk insert).
 Des questions qu'il faut se poser lors de cette étape :





Que faire si un chargement échoue ?
Ai-je les moyens de revenir à l'état avant le chargement ?
Puis-je revenir dans le temps d'un chargement donné ?
Comment valider mon chargement, comment détecter les erreurs ?
Métadonnées

 Données décrivant l’environnement décisionnel.
 Clé de réussite de tout projet décisionnel.
 Assurent l'interopérabilité entre les systèmes.
Quel Outil ?

Les éléments à prendre en compte dans le choix de votre ETL :

Taille de
l'entreprise

Taille de la
structure
informatique

Culture
d'entreprise

Maturité des
solutions
Facebook.com/bentalba.Salaheddine

Me Suivre

Twitter.com/salahBentalba
slideshare.com/salahBentalba

About.me/salaheddine.bentalba

Ma.linkedin.com/in/salaheddinebentalba
1 von 11

Más contenido relacionado

Was ist angesagt?

PFE BI - INPTPFE BI - INPT
PFE BI - INPTriyadadva
31.7K views90 Folien
TalendTalend
TalendKlee Group
5.6K views25 Folien
Etl -Etl -
Etl -Khouloud Ben Cheikh
872 views18 Folien
Partie2BI-DW2019Partie2BI-DW2019
Partie2BI-DW2019Aziz Darouichi
2.1K views73 Folien

Was ist angesagt?(20)

PFE BI - INPTPFE BI - INPT
PFE BI - INPT
riyadadva31.7K views
TalendTalend
Talend
Klee Group5.6K views
Etl -Etl -
Etl -
Khouloud Ben Cheikh872 views
Partie2BI-DW2019Partie2BI-DW2019
Partie2BI-DW2019
Aziz Darouichi2.1K views
Présentation data warehouse etl et olapPrésentation data warehouse etl et olap
Présentation data warehouse etl et olap
Cynapsys It Hotspot1.9K views
Présentation bi 1.0Présentation bi 1.0
Présentation bi 1.0
Alexandre Bodin10.5K views
DataWarehouseDataWarehouse
DataWarehouse
nzuguem1.8K views
PfePfe
Pfe
Abderrahmane Filali6.5K views
Conception et Réalisation d'un Data WarehouseConception et Réalisation d'un Data Warehouse
Conception et Réalisation d'un Data Warehouse
Abderrahmane Filali44.2K views
Cours Big Data Chap5Cours Big Data Chap5
Cours Big Data Chap5
Amal Abid3.7K views
Business intelligenceBusiness intelligence
Business intelligence
Ahmed Mesellem2.3K views
Projet Bi - 3 - Alimentation des donnéesProjet Bi - 3 - Alimentation des données
Projet Bi - 3 - Alimentation des données
Jean-Marc Dupont11.3K views
BddwdmBddwdm
Bddwdm
Demahom Didjoub3.7K views
La Business Intelligence La Business Intelligence
La Business Intelligence
Khchaf Mouna3K views
Projet BI - 1 - Analyse des besoinsProjet BI - 1 - Analyse des besoins
Projet BI - 1 - Analyse des besoins
Jean-Marc Dupont77.8K views
Technologies pour le Big DataTechnologies pour le Big Data
Technologies pour le Big Data
Minyar Sassi Hidri10.1K views

Más de Salah Eddine BENTALBA (+15K Connections)(13)

Initiation à l'intégration avec biztalk serverInitiation à l'intégration avec biztalk server
Initiation à l'intégration avec biztalk server
Salah Eddine BENTALBA (+15K Connections)1.5K views
Dream to achieve Dream to achieve
Dream to achieve
Salah Eddine BENTALBA (+15K Connections)1.5K views
Differences site vitrine, institutionnel et marchandDifferences site vitrine, institutionnel et marchand
Differences site vitrine, institutionnel et marchand
Salah Eddine BENTALBA (+15K Connections)3.5K views
SAP BW Architecture SAP BW Architecture
SAP BW Architecture
Salah Eddine BENTALBA (+15K Connections)2K views
La vie associative et son impactLa vie associative et son impact
La vie associative et son impact
Salah Eddine BENTALBA (+15K Connections)853 views
Cycle de projet décisionnelCycle de projet décisionnel
Cycle de projet décisionnel
Salah Eddine BENTALBA (+15K Connections)1.8K views
Présentation "Bonnes pratiques de sécurité sur le web"Présentation "Bonnes pratiques de sécurité sur le web"
Présentation "Bonnes pratiques de sécurité sur le web"
Salah Eddine BENTALBA (+15K Connections)1.2K views
Présentation LO-Cockpit , SAPPrésentation LO-Cockpit , SAP
Présentation LO-Cockpit , SAP
Salah Eddine BENTALBA (+15K Connections)3.8K views
Dossier informatique E-SEHATIDossier informatique E-SEHATI
Dossier informatique E-SEHATI
Salah Eddine BENTALBA (+15K Connections)4.9K views
Plan d’affaires E-SEHATIPlan d’affaires E-SEHATI
Plan d’affaires E-SEHATI
Salah Eddine BENTALBA (+15K Connections)6.4K views
Présentation E-SEHATI , STartup Week end FES Présentation E-SEHATI , STartup Week end FES
Présentation E-SEHATI , STartup Week end FES
Salah Eddine BENTALBA (+15K Connections)3.4K views
Présentation E-SEHATIPrésentation E-SEHATI
Présentation E-SEHATI
Salah Eddine BENTALBA (+15K Connections)2.8K views
Présentation Projet de fin d'étudesPrésentation Projet de fin d'études
Présentation Projet de fin d'études
Salah Eddine BENTALBA (+15K Connections)131.9K views

Le processus ETL (Extraction, Transformation, Chargement)

  • 1. ETL (Extract,Transform and Load) Extraction, Transformation et Chargement BENTALBA Salah Eddine «Consultant IT »
  • 2. Le Processus Source de données ETL Entrepôt de données Staging DataWareHouse DataMarts
  • 3. Extraction  Méthodes de Chargement : Chargement initial (Full) et les chargements incrémentiels (Delta). Données Sources Full Load Delta Load Données dans le staging
  • 4. Extraction  Etudier les sources pour définir sa stratégie de chargement. Push Staging Pull Source de données ETL Push- Pull
  • 5. Extraction Les questions à se poser selon la stratégie choisie pour définir les caractéristiques de votre système :  Quelle est la disponibilité de mes sources de données ?  Comment y accéder ?  Comment faire des chargements incrémentiels ?  Quel est le temps d'un chargement incrémentiel moyen, ai-je la possibilité de recharger des données dans le cas où mon processus de chargement échoue ?  Quelle politique vais-je utiliser dans le cas d'échec de chargement ?
  • 6. Transformation Les questions à se poser avant de commencer cette étape :  Quels sont les champs les plus sujets à erreurs ?  Ai-je les moyens de corriger les erreurs automatiquement ?  Comment permettre à un utilisateur de corriger les erreurs ?  Quelle politique vais-je utiliser pour le traitement des erreurs (fichier log, table dans BD) ?  Comment montrer à l'utilisateur final que des données n'ont pas été totalement chargées à cause d'erreurs ?
  • 7. Transformation Les données d’entrepôt doivent être : Dé-normalisées Nettoyées Contextualisées Chargées en DW
  • 8.  Etape Critique. Load  Chargement des données dans l’entrepôt cible.  Utiliser une requête Insert SQL ou bien une insertion en bloc massif (bulk insert).  Des questions qu'il faut se poser lors de cette étape :     Que faire si un chargement échoue ? Ai-je les moyens de revenir à l'état avant le chargement ? Puis-je revenir dans le temps d'un chargement donné ? Comment valider mon chargement, comment détecter les erreurs ?
  • 9. Métadonnées  Données décrivant l’environnement décisionnel.  Clé de réussite de tout projet décisionnel.  Assurent l'interopérabilité entre les systèmes.
  • 10. Quel Outil ? Les éléments à prendre en compte dans le choix de votre ETL : Taille de l'entreprise Taille de la structure informatique Culture d'entreprise Maturité des solutions