1. Mise en place d’une
plateforme
Business Intelligence
Open Source
Présenté par :
Membres du jury :
M. Jamal GOULLA
M. Jean Pierre LIPS
M. Mohammed RAMDANI
M. Pierre CRESCENZO
M. Reda CHERQUI
Projet de fin d’études en entreprise
Année universitaire 2012 - 2013
Ecole Marocaine des
Sciences de l’Ingénieur
Université Nice Sophia
Antipolis
Lyonnaise des Eaux de
Casablanca
3. Plan
09/06/2015
3 / 40
Jamal GOULLA Présentation du projet de fin d’études en entreprise
Contexte du projet
Gestion de projet
Outils décisionnels
Réalisation et mise en œuvre
Analyse et modélisation
4. Lyonnaise des Eaux de Casablanca
Opérateur de services publics
Gestion déléguée
Depuis le 1er août 1997
Plus de 5 millions d’habitants
Plus de 3400 employés
4 métiers
Distribution d’électricité
Distribution d’eau potable
Gestion de l’éclairage publique
Gestion de l’assainissement liquide
La Lydec 4 / 40
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
5. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Actionnaires de la Lydec 5 / 40
• Présence mondial
• Au Maroc depuis 1912
• Métiers de l’eau et des
déchets
• société d'investissement du
groupe CDG
• Filiale de FinanceCom
• Compagnie d'assurance
SUEZ Environnement
Fipar Holding
RMA Watania
Bourse de Casablanca
• Marché officiel d’actions
• 8 000 000 de titres
• Capitalisation de 2,5
milliards de dirhams
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
6. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Gouvernance Interne 6 / 40
Direction générale
Directiond'administrationfinancière
Directiondesressourceshumaines
Directiondecommunicationetde
développementdurable
DirectiondesSystèmes
d'Information
Directiontechnique
Directiond'exploitation,d'électricité
etd'éclairagepublique
Directiondesfonctionsdesupport
Directiondesopérations
Directiond'auditinterneet
d'inspectiongénérale
Directiondegestiondecontrat
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
7. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Département d’acceuil 7 / 40
Direction des systèmes
d'information
Département
Architecture Département
Télécoms
Département
Logistique
Département
Développement
Département
Exploitation
Chef du département
Administrateurs
télécom
Exploitants
télécom
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
8. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Contexte du projet 8 / 40
Refonte du système téléphonique de la Lydec en VoIP.
Communication unifiée.
nouveaux modèles de
communication
accroitre la productivité
améliorer la relation client
simplifier la gestion des
systèmes et réseaux
répondre à la vision de
l’entreprise
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
9. Cisco Unified Communications Manager
Système édité par Cisco qui permet de traiter les communications dans une entreprise.
Annuaire
Services standards
Services spécifiques
Accès opérateurs
Collaboration
Messagerie unifiée
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
CUCM 9 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
11. PhonexOneCisco Unified
ContactCisco Unified
Meeting Place
Cisco Webex
Cisco Unified Communications
Conferencing
CiscoUnifiedCommunication
Manager
Opérateurs
télécoms
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Problématique 11 / 40
Mise en place d’une plateforme Business Intelligence
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
12. Entrepôt de
données
Magasins de
données
Cubes
OLAP
Sources
internes
Sources
externes
Reporting
Tableaux de
bords
Feed-backutilisateurs
Production
ServirCharger
Extraire
Nettoyer
Transformer
Charger
ETL
Environnement Décisionnel
Documenter
Collecter Stocker Distribuer Exploiter
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Architecture décisionnelle 12 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
13. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Plan 13 / 40
Contexte du projet
Gestion de projet
Outils décisionnels
Réalisation et mise en œuvre
Analyse et modélisation
14. Mener une analyse des besoins fonctionnels et
techniques.
Concevoir les datamarts nécessaires.
Mettre en place et configurer les outils
nécessaires.
Réaliser les flux d’alimentation des datamarts, les cubes
OLAP et développer les rapports.
La restitution au métier.
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Objectifs 14 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
15. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Risques 15 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
RISQUES
Gestion de
projet
Techniques
Humains
Fonctionnels
Retard par rapport au planning.
Tâches non accomplies.
Perte des données (panne matériel).
Instabilité de l'environnement.
Le projet est de taille excessive.
Les interfaces ne répondent pas aux
attentes des utilisateurs.
Compétences techniques
insuffisantes.
16. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Rôles et tâches 16 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
17. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Planning prévisionnel 17 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
18. Phase I
Phase II
Lancement et
Organisation du Projet
Prise en charge de projet
2 jours
Phase III
Etudes & Modélisation
26 jours
Phase IV
Réalisation et tests
Déploiement
Phase V
39 jours
46 jours
8 jours
15 mars 2013 - 18 mars 2013
18 mars 2013 - 19 Avril 2013
23 Avril 2013 - 27 Mai2013 (DM model)
11 Juin 2013 - 2 Juillet 2013
29 Mai 2013 - 7 Juin (DM model)
4 Juillet 2013 - 3 Septembre 2013
5 Sptembre 2013 - 16 Septembre
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Déroulement 18 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
19. Ecarts 19 / 40
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
+ 5j Taille du projet.
+ 1j Multitude d’outils.
+ 3j Complexité de la tâche.
+ 5j Complexité de la tâche.
+1j Allocation de mémoire JVM.
- 6j Maitrise (DM modèle).
- 2j Solution intégrée.
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
20. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Plan 20 / 40
Contexte du projet
Gestion de projet
Outils décisionnels
Réalisation et mise en œuvre
Analyse et modélisation
21. Un Datawarehouse permet d’intégrer des sources de
données hétérogènes à des fins d’analyse.
La modélisation d’un entrepôt de données se base sur
deux concepts: les faits et les dimensions.
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Modélisation
multidimensionnelle 21 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
22. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Conception 22 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
23. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
QOS 23 / 40
Qualité de service (QoS) est un ensemble de technologies
pour la gestion du trafic réseau.
Voice Quality représente le rapport qualité / clarté d'un
appel téléphonique sur un réseau.
Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
QOS
perte
de
paquets
gigue
latence
24. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Conception 24 / 40Contexte
du projet
Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
25. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Plan 25 / 40
Contexte du projet
Gestion de projet
Outils décisionnels
Réalisation et mise en œuvre
Analyse et modélisation
26. Pourquoi les DSI se tournent-ils vers l’Open
Source ?
En fonction des besoins, certaines solutions
s’avèreront plus pratiques et adaptées que
d’autres.
Il faut faire une étude comparative entre
toutes les solutions de BI open source.
OSBI 26 / 40
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Gestion de
projet
Outils
décisionnels
Analyse et
modélisation
Contexte
du projet
Réalisation
27. Critère Poids Pentaho BI Spago BI
Une communauté en ligne active et un forum riche. 5
Solution 100% Open Source (tous les modules sont libres). 5
Documentation détaillée et accessible en ligne. 5
Implémentation d’une sécurité avancée. 3
Dispose d’une interface Web riche et ergonome. 3
Donne accès aux fonctions d’administration. 1
Solution flexible et facilement paramétrable. 1
Création de requête intuitive via une interface graphique. 1
Les indicateurs sont capables d’actualiser leurs données sans
intervention de l’utilisateur (Reporting en temps réel).
3
Des profils différents sont disponibles pour les utilisateurs, les
développeurs et les administrateurs.
3
Score 64 74
Poids 1: Faible 3: Moyen 5: Important
Scoring Faible Moyen Bon
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Suite BI 27 / 40Gestion de
projet
Outils
décisionnels
Analyse et
modélisation
Contexte
du projet
Réalisation
28. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
SpagoBI 28 / 40Gestion de
projet
Outils
décisionnels
Analyse et
modélisation
Contexte
du projet
Réalisation
29. Critère Poids Talend TOS Pentaho DI
Intégration native avec la solution SpagoBI. 5
Une communauté en ligne active et un forum riche. 3
Solution 100% Open Source (tous les modules sont libres). 3
Documentation détaillée et accessible en ligne. 3
Développement des jobs avec un modèle graphique à base d’étapes. 1
Dispose d’une interface intuitive et ergonome. 1
Permet de suivre l’exécution des transformations ETL en temps réel. 3
Intégration d’un planificateur de tâches. 3
Des connecteurs sont disponibles pour se connecter aux principales
bases de données, annuaires, Web Services et différents types de fichiers
(texte, CSV, Excel, XML)
5
Score 72 58
Poids 1: Faible 3: Moyen 5: Important
Scoring Faible Moyen Bon
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Choix d’ETL 29 / 40Gestion de
projet
Outils
décisionnels
Analyse et
modélisation
Contexte
du projet
Réalisation
30. ETL
Réseau
LAN
Administrateur
Fichiers CDR et
CMR
CUCM
DB PhonEX One
DB ICM AW/HDS
Facture
Opérateur
télécom 1
Facture
Opérateur
télécom 2
Jobs Talend
Schémas OLAP
Mondrian
Fichiers JRXML
Managers et
Administrateurs
Editeur graphique de Schémas
OLAP Mondrian Workbench Générateur de
rapports
Suite SpagoBI
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Architecture de la plateforme 30 / 40Gestion de
projet
Outils
décisionnels
Analyse et
modélisation
Contexte
du projet
Réalisation
31. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Plan 31 / 40
Contexte du projet
Gestion de projet
Outils décisionnels
Réalisation et mise en œuvre
Analyse et modélisation
32. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Job ETL 32 / 40Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
Contexte
du projet
33. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Tableau Croisé
Dynamique 33 / 40Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
Contexte
du projet
34. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Portail Web 34 / 40Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
Contexte
du projet
35. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Reporting 35 / 40Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
Contexte
du projet
36. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Rapports 36 / 40Gestion de
projet
Outils
décisionnels
Réalisation
Analyse et
modélisation
Contexte
du projet
37. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Etat d’avancement 37 / 40
Etude de l’existant.
Etude fonctionnelle.
Etude comparative et benchmarking des
outils composant la solution.
Conception des Datamarts.
Réaliser les schémas OLAP.
Développement des jobs ETL.
Rédaction des manuels utilisateurs.
Modélisation des cubes.
Elaborer l’architecture de la plateforme.
Installation et intégration des outils.
Développement des rapports.
Développement des tableaux de bords.
38. La version livrée permettra de considérer une
plateforme open source comme solution aux
besoins de reporting.
Etendre l’accés aux rapports et tableaux de bord
au mobile.
Le projet décisionnel se veut agile et itérative, pour
accompagner les évolutions métier.
Dans le future, il est sera question d’optimiser les
jobs ETL et déployer plus de rapports et TB.
09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Perspectives 38 / 40
39. 09/06/2015Jamal GOULLA Présentation du projet de fin d’études en entreprise
Bilan 39 / 40
Professionnel
Apprendre un nouveau métier.
Familiarisation avec les outils OSBI.
Gestion et organisation de travail.
Domaine du décisionnel.
Mettre en pratique et enrichir les connaissances
acquises lors de ma formation académique.
Personnel
Patience et détermination.
Responsabilité.
Communication.
Savoir-faire.
Réseau social.
MERCI pour votre attention
40. Mise en place d’une
plateforme
Business Intelligence
Open Source
Présenté par :
Membres du jury :
M. Jamal GOULLA
M. Jean Pierre LIPS
M. Mohammed RAMDANI
M. Pierre CRESCENZO
M. Reda CHERQUI
Projet de fin d’études en entreprise
Année universitaire 2012 - 2013
Ecole Marocaine des
Sciences de l’Ingénieur
Université Nice Sophia
Antipolis
Lyonnaise des Eaux de
Casablanca
Hinweis der Redaktion
Je me présente, Jamal Goulla élève ingénieur à l’EMSI et à l’UNICE où je prépare un Master2 Miage NTDP
Je remercie tout d’abord l’audience pour avoir répondu présent
Messieurs honorables memebres du jury merci d’avoir accepter d’évaluer mon travail,
travail qui conciste à la mise en place d’une solution BI open source analysant les données relatives aux communications traitées le départemetntélécom de la lydec
Mon stage s’est déroulé sur une durée de 6 mois au sein de la lydec du 15/03 au 15/09 date à laquelle la solution a été livrée
Sans plus tarder le plan de la présentation est le suivant
Je commencerai par le contexte général du projet
Pour ensuite présenté les asxpects de gestion de projet
Suivi par l’analyse et modélisation
Les outils utilisés lors du projet
Enfin la derniere partie concerne la réalisation et mise en oeuvre
LYDEC est un opérateur de services.
Ces missions lui ont été confiées dans le cadre d'un contrat de gestion déléguée signé en 1997 par lesCommunes urbaines.
Lydec gere les ressources de plus de 5 millions d’habitants du grand Casablanca confendu avec plus de 3400 employés
L'activité est structurée autour de quatre métiers :
Depuis juillet 2005, Lydec est une entreprise cotée en bourse. Son capital se répartit de la manière suivante :
Suez Environnement l’activité de SUEZ ENVIRONNEMENT comprend l’alimention en eau potable, services d'assainissement et la collecte des déchets.
RMA Watanya Filiale de FinanceCom, RMA Watanya est une compagnie d'assurance, née en 2005, de la fusion des compagnies RMA et Al Watanya. Il a rejoint le capital de Lydec en 2005.
Fipar Holding société d'investissement du groupe Caisse de Dépôt et de Gestion, premier investisseur institutionnel du pays. Fipar Holding a pour vocation de détenir des participations minoritaires et stratégiques dans les secteurs industriels, financiers et de services, avec un objectif de rendement financier à moyen et long terme.
Actionnariat flottant à la Bourse des valeurs de Casablanca Bourse des Valeurs de Casablanca (BVC) est le marché officiel des actions au Maroc.
La Lydec est organisée en plusieurs directions J’ai effectué mon stage au sein de la DSI
Plus précisement dans le département télécom.
Les administraeurs et exploitants télécom avec à leur tête un chef de département
ont pour mission la gestion de la structure télécom de l’entreprise,
ceci comprend la structure réseau et téléphonique ainsi que l’administration des solutions logiciels
Mise en place un système de Téléphonie sur permet
- ouvrir la voie à de nouveaux modèles de communication
- accroitre la productivité,
- améliorer la relation client,
- simplifier la gestion des systèmes et réseaux
- répondre à la vision de l’entreprise.
Services standards: messagerie vocale, Appels internes/externes..
Services spécifiques: Clic to call à partir de l’annuaire ou d’un dialer ; Filtrage patron/secrétaire
Les accès opérateur: choix de garder une relation d’interdépendance avec les fournisseurs d’accès téléphoniques, assurer un routage intelligent en fonction des destinations
La messagerie unifiée: avoir l’ensemble des messages vocaux et fax directement sur la plateforme de messagerie électronique
Collaboration: L’un des objectifs de la migration vers une infrastructure IP est de tirer profit du travail multimédia
Cette solution est complétée par les applications de messagerie unifiée, de centre d’appels, de travail collaboratif, de mobilité, d’administration et de Taxation.
Fonction d’accueil centralisé : L’accueil téléphonique passant par des numéros publics de Lydec.
Applications WEB: LYDEC souhaite intégrer les fonctionnalités WEB aux niveaux de toutes les applications téléphoniques proposées.
L’administration et la supervision : La solution d’administration du système téléphonique offrir aux administrateurs un outil simple et intégré de gestion de la plateforme téléphonique. Cet outil devra être centralisé et permettre l’accès à distance via le web.
Le centre de relation client: LYDEC dispose de centres d’appels virtuels pour la relation client externe et interne gérés par une même plate-forme. L’objectif étant d’offrir, à tout moment et en temps réel, un service répondant aux attentes de ses clients à travers tout type de contact : Téléphonie, Fax, Web, Mail
Taxation et plafonnement: L’outil de taxation proposé doit pouvoir centraliser l’ensemble des tickets de taxation des sites
Le réseau de LYDEC est composé de 20 sites:
2 sites principaux le premier situé au Siège Diouri et un deuxième à un site de backup.
18 sites distants situés dans les agences et délégations.
L’ensemble des sites distants sont connectés aux deux sites centraux.
WebEx de Cisco exploitent des options de conférence audio et vidéo basées sur le résea
L’appli de conferencing qui complète la solution CUCM cree des fichiers plats contenant des infos sur les conferences,
L’app de centre d’appel stocke toutes les informations relatives au centre de contact dans 2 BD
La BD de PhonexOne contient les infos sur les frais des comm
CUCM genere 2 fichiers CDR et CMR journal des appel et de qualité
Prod : Données heterognes
Externe : internet, WS, BD des clts et partenaires
DM ayant un sujet commun
Pour mettre en place la plateforme BI, nous nous sommes fixés les objectifs suivants :
Mener une analyse des besoins fonctionnels et techniques.
Concevoir les datamarts nécessaires et la réalisation de leurs flux d’alimentation.
Mettre en place et configurer les outils nécessaires.
Répondre aux exigences de reporting et disposer de tableaux de bord spécifiques.
Délivrer la bonne information, au bon temps, à la bonne personne et sous le bon format.
Intégrer et fusionner toutes les données transactionnelles.
La restitution au métier.
Lors de la phase de planification j’ai pu dégager 4 familles de risques à savoir
Planification ETL + documentation + configuration d’entreopot des MetaData + Modelisation DB
Le PP est organisé en 6 pahes avec une balidation à la fin de chaque phase
Durant le deroulement du projet La premiere ajustation apporté au PP est la méthodologie de travail
Suite aux conseils de mes encadrants, j’ai conçu et réaliser un DM modele pour bien cerner les difficultes de ces taches
Les faits étant ce que je voulais analyser et les dimensions, les données suivant les quelles seront analysés ces faits.
Plusieurs facteurs influent sur la qualité des communications sur IP.
Les facteurs les plus cruciaux de la qualité de la voix sont la latence des paquets (retard), gigue des trames et la perte de paquets.
Lorsque ces valeurs sont petites alors la QoS doit avoir une grande valeur.
la gigue est la variation de la latence au fil du temps. Il est la différence de délai de transmission de bout en bout entre des paquets choisis dans un même flux de paquets
L'offre de progiciels Business Intelligence Open Source disponibles est en effet désormais en phase avec les exigences attendues pour la majorité d'applications d'entreprise.
Red Hat vient de publier son premier « Observatoire de l’open source » qui compile les réponses de 387 DSI (en France) issus du secteur public, de l’éducation, de l’IT, des télécoms, de la finance et de l’industrie.
SpagoBI est une suite décisionnelle. Cette suite, la seule entièrement Open Source.
SpagoBI s’appuie sur un ensemble de projet open source connexes et permet de puissantes.
SpagoBI propose une vingtaine de composant (ou «moteurs») complémentaires:
Reporting: JasperReport, BIRT, Accessible report, BO.
Analyse Multidimensionnelle: Jpivot/Mondrian, JPalo/Mondrian,JPXMLA.
DataMining : Weka.
Analyse géographique : GEO, GIS.
Tableaux de bord : outils KPI et COCKPIT.
ETL : Talend.
Pour illustrer la phase de reporting
Besoins reporting non couverts par le progiciel SAP, je souligne que les deux solutions peuvent cohexister vu que Talend permet d’integer les données des modules de SAP installés.