Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos :-)

1. Les journées
SQL Server 2013
Un événement organisé par GUSS
#JSS2013

2. Les journées
SQL Server 2013
Romain Casteres
MVP SQL Server
Consultant BI
@PulsWeb
Yazid Moussaoui
Consultant Senior BI
MCSA 2008/2012
Etienne Pommier
Ingénieur Etude &
Développement .Net
Big Data & BI
Retour d’expérience
Un événement organisé par GUSS
#JSS2013

3. Merci à nos sponsors
#JSS2013

4. Agenda
Planning
o
o
o
o
o
o
o
Besoin Clients : APVX
Pourquoi la Big Data ?
Présentation de Hadoop
Offre Microsoft : HDInsight
Complémentarité BI & Big Data
Architecture mise en place
Démos 
#JSS2013

5. Besoin Client : APVX
Aide à la prévision des ventes
 Besoin d’analyse des réseaux sociaux
 Poids des campagnes réalisées sur les réseaux
 Trouver une relation entre les ventes et ce qui se dit
sur les réseaux
#JSS2013

6. Pourquoi la Big Data ?
Volume,
Variété & Vitesse
#JSS2013

7. La tendance
#JSS2013

8. Framework Apache Hadoop
 HDFS
Ecriture
Lecture
#JSS2013

9. Framework Apache Hadoop
 Map & Reduce
#JSS2013

10. Apache Hadoop, Hortonworks, Hdinsight
Apache Hadoop
•
•
•
•
•
•
•
•
Hive : Gestionnaire des données distribuées (SQL Like)
Pig : Scripting ETL
Sqoop : Transfer des données entre Hadoop et des SGBDR
Hbase : Base de données non relationnelle
Hcatalog : services de méta données
Mahout : Langage de programmation pour le Machine Learning
Flume : Intégrateur de logs
Oozie : Ordonnanceur
…
HDInsight
• HDP 1.3 pour Windows
 On Azure
 On Premise
• Scale Out for Pay As You Go
• Windows Azure PowerShell
• CodePlex .Net SDK
• Microsoft Hive ODBC Driver
#JSS2013

11. Plate-forme Big Data Microsoft
Volume x Variety x Velocity x Visualization = Value
MARKETPLACE
SERVICES ET DONNEES
EXTERNES
Polybase
Polybase
Native Query
#JSS2013

12. Architecture
WASB
#JSS2013

13. Architecture
WASB
#JSS2013

14. La solution sur Windows Azure
• Un Azure Web Site (ASP
.Net MVC 4)
• Un Cloud Service
• Un Compte de stockage (Tables et Blobs)
• Une SQL Database
#JSS2013

15. Le site
• Interface de gestion
• Azure Active Directory Authentification
#JSS2013

16. Le Cloud Service
#JSS2013

17. RÉCUPÉRATION DE DONNÉES TWITTER
#JSS2013

18. Architecture
WASB
#JSS2013

19. Création du cluster HDInsight
 Nombre de Nœud
 Hive Meta Données
 Stockage
 Activation de l’accès distant
 Installation du Driver Hive ODBC
 Linked Server
#JSS2013

20. Hive
 Table Externe
 Table Interne
 UDF : User Defined Functions
#JSS2013

21. Flux des données
Windows Azure Storage Blob
Azure Network
Hadoop On Azure
Compute Node
#JSS2013

22. Automatisation via SSIS
 Création d’un package SSIS
SSIS HDInsight Tasks
 Création d’une source de données ODBC
http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight
#JSS2013

23. Architecture
WASB
#JSS2013

24. Exploitation des données
2 scénarios : « BI d’entreprise » ou « BI en Self-Service »
BI
d’entreprise
Integration
Services
POWER BI
Power
Query
Excel
SQL Server
Power Pivot
Excel
SSAS
Tabular
Power View
SharePoint
Power View
Excel
#JSS2013

25. Integration des données avec SSIS
BI
d’entreprise
SQL Server Integration
Services
Importation des table Hive vers une
base de donnée locale
Source : Table Hive
SELECT
Theater,
ScreenAuthorizationNumber,
Screen,
Title,
TitleId
FROM lecture
Destination : Table SQL Server
Connexion ODBC
#JSS2013

26. Analyse et restitution des données
Analysis Services
•
•
•
Mode Serveur
Cube tabulaire
Langage DAX
SharePoint
Server
BI
d’entreprise
SQL Server
2012
Instance Analysis
Services
Power View for SharePoint
•
•
Intégration à SharePoint
Publication et partage
•
•
•
Création de rapports en self-service
Drag & Drop
Analyse des données issues de
PowerPivot ou d’Analysis Services
PowerPoint
•
Instance SQL Server
DWH
#JSS2013

27. BI en self-service avec Excel 2013
POWER BI
Excel 2013
POWER
QUERY
POWER
PIVOT
POWER
VIEW
#JSS2013

28. Power Query
POWER BI
• ETL destiné à l’utilisateur
• Import Data
From Hadoop File (HDFS)
From Windows Azure HDInsight
#JSS2013

29. Power Pivot
•
POWER BI
Création du modèle de données à partir de sources
distinctes :
– Tables SQL Server
– Table hive intégrés au modèle via Power Query
#JSS2013

30. Power View
•
•
POWER BI
Création de rapport Ad-hoc interactif
Source de donnée :
– Classeur de Modèle Power Pivot
– Modèle Tabulaire SSAS (Power View mode SharePoint)
#JSS2013

31. Questions ?
Merci !
#JSS2013
#JSS2013