FME WT 2014: (FR) Validation et controle qualité des géodonnées

CONNECT. TRANSFORM. AUTOMATE.
Validation et Contrôle qualité
des données avec FME
Bruno De Lat
Ingenieur Geodata et chef de projet GIS

Contenu
 Pourquoi valider et contrôler les données?
 Que peut-on contrôler?
 Schéma (Modèle de données)
 Valeurs des attributs
 Géométrie
 Workflow de Validation avec FME Desktop et FME
Server
 Exemples

Pourquoi valider et contrôler
les données?
 De mauvaises données peuvent avoir des conséquences
importantes (financières, humaines, planification)

Pourquoi valider et contrôler
les données?
 FME Desktop et FME Server sont des outils
puissants pour contrôler les données et fournir un
feedback.
 Beaucoup d’utilisateurs de FME utilisent FME pour
la validation et le contrôle qualité des données.

Que peut-on contrôler?
 Schéma (Modèle de données)
 Valeurs des attributs
 Géométrie

 Schéma
 Type d’entité
 Présence d’un attribut
 Nom de l’attribut
 Type de données attributaires
 Système de coordonnées

 Schéma
Contrôle du Schéma– Principales ressources
 Schema (Any Format) Reader
 FeatureTypeFilter
 StatisticsCalculator
 AttributeClassifier
 XMLValidator
 JSONValidator

 Schéma
Schema(Any Format) Reader

 Schéma
FeatureTypeFilter

 Schéma
StatisticsCalculator

 Schéma
AttributeClassifier

 Schéma
XMLValidator

 Schéma
JSONValidator

 Valeurs des attributs
 Présence de l’attribut
 Type de données (numérique, alpha etc)
 Valeur dans une plage ([min – max])
 Pas de doublons

Valeurs des attributs – Principales ressources
 Tester and TestFilter
 AttributeClassifier
 AttributeRangeFilter & AttributeFilter
 NullAttributeMapper
 Matcher
 DuplicateRemover
 StringSearcher
 StatisticsCalculator

Valeurs des attributs
Tester
TestFilter

NullAttributeMapper
 Lire différents ‘types’ de valeurs NULL
 Ecrire différents ‘types’ de valeurs NULL

DuplicateRemover

 Géométrie en 2D et 3D
 Intersections
 Orientation
 Sommets (vertex) en double
 Géométrie invalide
 etc

 Géométrie
Géométrie – Principales ressources
 GeometryValidator
 GeometryFilter
 Matcher
 SpatialFilter
 SliverRemover & SpikeRemover
 AreaCalculator & LengthCalculator
 OrientationExtractor

 Géométrie
GeometryValidator
 12 tests (encore plus de tests dans les prochaines
versions)
 Intégration d’anciens transformers (SelfIntersector)
 Vérifier (Check) et réparer (Repair)

 Géométrie
GeometryValidator

 Géométrie
GeometryFilter
 Nouveau style dans FME 2014

 Géométrie
Matcher
 Combinaison de la géométrie et des attributs
 Y compris avec une tolérance pour les vertex
intermédiaires

 Géométrie
SpatialFilter
 Examine toutes les relations spatiales possibles

 Géométrie
SliverRemover
 Identifie et corrige les trous ou les superpositions
de données

 Géométrie
SpikeRemover
 Identifie et corrige ‘spikes’ (pic)
 Angle maximum des ‘spikes’ (pic)

Workflow de Validation avec
FME Desktop et FME Server
 FME Workbench:
 Règles de validation
 Tester sur ou plusieurs problèmes
 Corrections
 Automatique vs Manuel
 Writers
 Rapport avec les statistiques des erreurs
 Fichier géographique avec la localisation des erreurs
et un message détaillé
 Desktop = Travail en local

Workflow de validation avec
FME Server
 Input data via
 email
 téléchargement
 directory watcher (notifie FME Server quand un
fichier est ajouté à un dossier)
 Taches planifiées
 Les résultats et les rapports sont envoyés par
email, download, navigateur, FTP…
 Totalement automatique
 Les utilisateurs ne doivent pas avoir de
connaissances, ni de licence FME

Exemples
 Statistique des erreurs dans Excel

Exemples
 Statistique des erreur en HMTL

Exemples
 Location des erreurs
 Message

Exemple: Workflow avec FME
Server
User/Editor
using ArcGIS
FME Server
Download MyData
Validate MyData
Upload MyData
Extract & Lock
Upload & Unlock
User uses web interface to
interact with FME
Author using FME Desktop to model
Validated
data
Data
being edited
Data editor environment
FME Author environment
Publish Workbench
to FME Server
Data
to be edited
Data ready
for upload
Database Server
PC
Citrix
Network Disk
Query
Server administrator
monitoring FME server
No
Yes
Log file
AWIS
Informix
Spatial Datablade
Productie
AWIS
Informix
Spatial Datablade
Staging
ETL
Cancel Download

Centre de formation de GIM
Qualité des géodonnées
 Théorie (Matin)
 Introduction: Aperçu de la qualité des géodonnées
 Sources d’erreurs possibles et comment les éviter
 Comment construire des géodonnées de qualité
 Fixer les normes de qualité
 Les techniques de contrôle de la qualité
 Pratique (Après-midi)
 Session A: ArcGIS
 Session B: FME
 Où et Quand?
 Mardi 27 mai 2014 en néerlandais (Heverlee)
 Mercredi 19 novembre 2014 en néerlandais (Heverlee)

Résumé
 La qualité des géodonnées est importante!
 FME est idéal pour détecter les erreurs
 FME est idéal pour corriger les erreurs

Merci!
 Des Questions?
 Pour plus d’informations:
 Bruno De Lat
 bruno.delat@gim.be
 GIM
 http://www.gim.be

FME WT 2014: (FR) Validation et controle qualité des géodonnées

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Similaire à FME WT 2014: (FR) Validation et controle qualité des géodonnées

Similaire à FME WT 2014: (FR) Validation et controle qualité des géodonnées (20)

Plus de GIM_nv

Plus de GIM_nv (20)

FME WT 2014: (FR) Validation et controle qualité des géodonnées