Les puits de données, piliers du SI. Extrait de la présentation dans le cadre du symposium C2P-ClubUrba-EA 4 juin 2015

1. 1
LES PUITS DE DONNÉES
Exposé au 6 ième Symposium C2P-Club Urba-EA
René Mandel Vice-Président Club Urba-EA
Emeline Marcoux Urbaniste SIHM
4/6/15
Valoriser les données
Paul Signac

2. 2
Les « données de référence» au cœur du SI.
 Statiques vs Dynamiques
 Positionnement des « puits »
Objectifs des Puits
 Mettre en cohérence les flux et échanges
 Synchroniser, qualifier
 Migrer
Principes
 Modélisation
 Effet « Janus »
 Migration, Qualité, Analytics
Sommaire

3. © Club Urba-EA
3
Données Statiques vs Dynamiques
 Au cœur du SI
 Statiques
• Identification des personnes, produits, structures,
 Dynamiques
• Flux opérationnels : parcours client, cycles
productifs, administratifs, …
 Pourquoi ce distinguo ?
 Processus de mise à jour :
• MDM : réingénierie
• Puits : identiques
 Subsidiarité :
• MDM : par le modèle d’architecture
• Puits : par granularité

4. Exemple des contacts commerciaux :
Des événements de parcours à tracer sur
tous canaux, et à synchroniser
Cli
ent
Adre
sses
Rés
ea
u
Age
nt
Comment orchestrer ce ballet ?

5. © Club Urba-EA
5
Extranet Entités
SI EntitésSI Entités SI Entités
RéférentielsStrtucturesOrganisation
RéférentielProduitsServices
RéférentielPersonnes
Puit Evénements
commerciaux
Puit
Prestations
Visions 360° (moteur de recherche, corbeille, GED…)
Configurateurs
ORCHESTRATEUR DES ECHANGES & REPARTITEUR DE FLUX
(interopérabilité)
Puit
Equipement
Autres
puits…
SI GRC
SI
Gestion
Autre SI
Extranets Mobiquité
RéférentielNomenclatures
Les piliers du SI
Middle
Back
FrontSI GRC
Positionnement des Puits

6. © Club Urba-EA
6
Objectifs des Puits
 Simplifier le SI
 Lutter contre la complexification des échanges
 Décloisonner les silos, converger (généricité du modèle)
 Mettre en cohérence (identités, localisations, dates)
 Synchroniser
 Faciliter la migration
 Mixer ancien patrimoine SI et nouveaux composants
 Orientation « service » (Daas)
 Capitaliser sur les données
 Mettre en qualité
 Hybrider (Big Data, NoSQL…)
 Gouvernance « Light »
6

7. © Club Urba-EA
7
Simplifier
N X P fluxN X P conversions de format
Besoin de simplification et de flexibilité
• Effet « spaghetti »
• Multiplication des modalités d’échange
• Les « formats pivots » ne règlent pas
la complexité des latences
• Complexification « au fil de l’eau »

8. On aboutit à …

9. © Club Urba-EA
9
Simplifier
N X P fluxN X P conversions de format
Référentiel
Source
GRC
Source
gestion
Source
externe
Vision
360
Décisionnel Partenaire
PuitsPuits Conversions
de format
Moteur de
recherche
Besoin de simplification et de flexibilité
• Effet « spaghetti »
• Multiplication des modalités d’échange
• Les « formats pivots » ne règlent pas
la complexité des latences
• Complexification « au fil de l’eau »

10. © Club Urba-EA
10
Les principes
Des données …
Un«grain»
atomiquetri-daté
Partagées 360°
Cohérentes, subsidiaires
Pures, filtrées,
Transparentes, canoniques
Fraîches, Synchronisées,
Historisées , tracées

11. © Club Urba-EA
11
Modéliser le grain
 Modéliser le grain le plus fin pertinent
• Attaché à un « fait »
• Identifié : occurrence de l’objet, de la personne, …
• Localisé : géo-localisé, positionné
• 3 dates (fait, vision, technique)
• « Etats » de ses cycles de vie
 Exemples
• Accident, sinistre,
• Activité d’une ressource
• Cycle de vie d’une Personne, d’un produit, …
• Trajet, circulation,
• Production d’une unité d’œuvre,
• Parcours client

12. © Club Urba-EA
12
Le modèle tri-daté
est daté
Date du
fait
Le
Fait
observé
Date de
vision
La
Vision
instrument
Date
technique
L’outil
Cycle de vie
de l’objet
Parcours de
vision
Cycle
technique

13. © Club Urba-EA
13
Le modèle tridaté
 Le fait est daté :
 date du fait, → cycle de vie de l’objet
 La vision est datée :
 vision en anticipation (le fait prévu), vision sur le
fait (le fait réel), vision en recul (retour sur le fait :
retour d’expérience, enrichissement), → parcours de
vision
 L’instrument d’observation est daté :
 date technique (date de saisie, date d’acquisition,
date du fichier, …), codification des sources
(canaux), des états → cycle des mises à jour (mise
en qualité, précisions,…),

14. © Club Urba-EA
14
Modèle type d’un grain
Lieu Où QuandDates
Evén
eme
nt
Quoi
Etat-
canal
Identi
té
QuiObjet
Référencement
Informations
Acteurs Typage

15. © Club Urba-EA
15
Eliminer la complexité due aux dialectes
 Les mêmes données s’échangent dans
différentes logiques (flux, stock, lots,…) et
latences (synchrone, asynchrones) :
 Stock à date (fichier, téléchargement, …)
 Variation de stock entre dates (différentiel)
 Messages au fil de l’eau désynchronisés
(messagerie)
 Messages synchrones, invocation de services
 En s’appuyant sur divers protocoles et
standards (FTP, REST, XML, CSV…), et
architectures (ESB,…)

16. © Club Urba-EA
16
Eliminer la complexité due aux dialectes
Stock, Delta, Flux
Asynchrone, Synchrone

17. © Club Urba-EA
17
Eliminer la complexité due aux dialectes
Stock, Delta, Flux
Asynchrone, Synchrone
XML
Connecteur
Fichier
Message
Services
Web
EDI
Administrat
ion
Gestion des
Contrats
Accès MDM
Gestion
cohérence
Gestion des
Services
Gestion
Sécurité
Cœur du puits
Grain
tri-daté

18. © Club Urba-EA
18
Puits de
données
Web
Gestion contrat Comptabilité ODS
Web
CRM
Référentiel
s de
données
Interopérabilité
Orchestration
des échanges
Répartiteur
De flux
Puits de
données
Interopérabilité multi-mondes
18 Synchroniser

19. © Club Urba-EA
19
Migrer : effet « Janus »
Avec l’existant :
• Non intrusif
• Interposition dans
les échanges
(leurre)
• Intégration
« lâche »
Avec les projets :
• Catalogue de
services de
données
disponibles
• En avance de
phase
Historisation interne pour tout tracer et restituer toutes les latences
Utilisation de routines d’intégration de données du marché

20. © Club Urba-EA
20
Puits : pivot de la migration
 Pivot applicatif :
 Nécrose : dé commissionnement progressif
 Couveuse : nouveau composant
 Hybridation des mondes :
 Données modélisées classiques
 Données monde open source
 Pivot d’architectures
 Le fonctionnement en Daas cache les choix et évolutions
d’architecture : données (SQL, NoSQL, …), plateformes
(MBaaS,…)
 Ouverture au-delà de l’espace « souverain »
 Avec l’Écosystème
 Open Data

21. © Club Urba-EA
21
Qualité, analytics
 Puits et point de vérité (données Golden)
 Le puits gère le cycle de mise en qualité, et
mémorise les différents états
 Il trace le point de vérité
 L’alignement des silos source peut être progressif
(mise en cohérence par évolutions applicatives)
 Puits et ODS, Data Lake
 Assainit l’amont opérationnel
 Engage le rapprochement Big Data,
 Synergie Data Lake (données immuables)

22. © Club Urba-EA
22
Data Lake divisionniste (micro-services)
Paul Signac
1906

23. MERCI
Pour plus d’information,
contactez
23
Mandel René
Rene.mandel@oresys.fr
Emeline Marcoux
Emeline.MARCOUX@sihm.fr
4/6/15