-- session présentée dans le cadre du SQLSaturday Montréal 2017 -- Azure Data Lake est LA technologie "big data" maison de Microsoft. En provenance de MS Research (nom de code Cosmos), elle est utilisée en interne par les équipes X-Box, Bing, O365 depuis quelques années déjà. Cette technologie est disponible depuis l'été dernier dans Azure et s'enrichit mois après mois. ADL, concrètement, c'est quoi ? C'est la possibilité de stocker et analyser une quantité illimitée de données et de requêter avec un nouveau langage : le U-SQL

1. SQLSaturday Montreal 2017
Azure Data Lake
Le Big Data 2.0

2. SQLSaturday Montreal 2017
Jean-Pierre Riehl
Practice Manager Data & BI
@djeepy1
http://blog.djeepy1.net
MVP Data Platform
French Data
Community Leader

3. SQLSaturday Montreal 2017
Agenda
 Azure Data Lake, c’est quoi ?
 Azure Data Lake Store
 Azure Data Lake Analytics
 Outillage
 Coder en U-SQL
 Etendre ADLA
 ADL avec PowerShell
 Q&R

4. SQLSaturday Montreal 2017
Azure Data Lake, c’est quoi ?

5. SQLSaturday Montreal 2017
Un peu d’histoire
 Microsoft a besoin d’une technologie pour analyser des
Péta-octets de données
 2007-2008 - MS Research crée « Cosmos »
 2011-2012 - Le phénomène Big Data démarre

6. SQLSaturday Montreal 2017
Azure Data Lake
Solution « Big Data » managée proposée sur Azure
 ADL Store : un système de stockage distribué de type HDFS
 ADL Analytics : un moteur de requêtage « analytique »
 U-SQL : La simplicité du SQL, la puissance de .NET

7. SQLSaturday Montreal 2017
Cortana Analytics Suite
Transform data into intelligent action
Business
apps
Custom
apps
Sensors
and devices
People
Automated
Systems
Data Collection ToolsData Collection Tools

8. SQLSaturday Montreal 2017
Azure Data Lake
Analytics
Storage
Azure Data Lake Analytics
Azure Data Lake Storage
HDInsight
(“managed clusters”)
U-SQL
Azure Blob

9. SQLSaturday Montreal 2017
Azure Data Lake Store

10. SQLSaturday Montreal 2017
Azure Data Lake Store
 Pushing the Limits !!!
 Pas de limite sur les tailles de fichier / stockage
 « massive throughput, low latency »
 Sécurité avancée (type NTFS/POSIX)
 Compatible HDFS, WebHDFS
 « Optimisé pour l’analytique »

11. SQLSaturday Montreal 2017
Azure Blob vs. ADL Store
 Le prix :
 ADL : 34€ / To / mois
 Azure Blob : 20€ / To / mois*
* Hot LRS, First 100TB
?

12. SQLSaturday Montreal 2017
Azure Data Lake Store
Focus Sécurité
 Chiffré avec Azure Key Vault
 Authentification moderne (OAuth, MFA,
etc.)
 Intégration Azure Active Directory
 Autorisation avec ACL (type POSIX)
 Audit

13. SQLSaturday Montreal 2017
Azure Data Lake Store

14. SQLSaturday Montreal 2017
Azure Data Lake Analytics

15. SQLSaturday Montreal 2017
Azure Data Lake Analytics
Les arguments Marketing
 “Elastic analytics service”
 “all data, at any size”
 “No Limits to Scale”

16. SQLSaturday Montreal 2017
Azure Data Lake Analytics
 Service PaaS
 Mode batch (on parle de « job »)
 Modèle de tarification à l’exécution
 Sécurité et Audit
 Optimisé pour ADL Store
 Langage dédié : U-SQL
Les + :

17. SQLSaturday Montreal 2017
Azure Data Lake Analytics

18. SQLSaturday Montreal 2017
U-SQL

19. SQLSaturday Montreal 2017
Le language U-SQL
Les basiques de SQL
 Clauses de base
 SELECT, FROM, WHERE
 GROUP BY, JOIN, OVER
 Fonctionne sur des données
structurées et non-structurées
 Modèle relationnel pour les
méta-données
La puissance de .NET
 C# Expressions
 Code Behind
 Types
 Fonctions
 Agrégats
 Extractors / Outputters
 Processors
 Réutilisation d’Assemblies .NET

20. SQLSaturday Montreal 2017
Usages U-SQL
Source @DoktorKermit

21. SQLSaturday Montreal 2017
Ma 1ere requête U-SQL
@checkins =
EXTRACT [Date] DateTime,
[Checkins] int,
[DenRatio] string, [MayorRatio] string,
[Category] string, [Subcategory] string,
Venue string, Country string, City string,
Latitude string, Longitude string
FROM "/Samples/Data/Djeepy1Foursquare/Export-ADL-20170305.csv"
USING Extractors.Csv(skipFirstNRows : 1);
@resByCat =
SELECT [Category],
COUNT( * ) AS NbCheckins
FROM @checkins
GROUP BY [Category];
OUTPUT @resByCat
TO "/Samples/Data/Djeepy1Foursquare/Out-ByCat-FirstQuery.csv"
USING Outputters.Csv();
Extraction des données
Schema-on-Read
Manipulation des données
Sortie

22. SQLSaturday Montreal 2017
Ma 1ere requête U-SQL

23. SQLSaturday Montreal 2017
Exécution d’un job

24. SQLSaturday Montreal 2017
L’exécution d’un job U-SQL
Job
Scheduler &
Queue
Front-EndService
Vertex Execution
Consume
Local
Storage
Data Lake
Store
Author
Plan
Compiler Optimizer
Vertexes
running in
YARN
Containers
U-SQL
Runtime
Optimized
Plan
Vertex Scheduling
On containers
Job Manager
USQL
Compiler
Service &
USQL Catalog

25. SQLSaturday Montreal 2017
Plan d’exécution (aka “Job Graph”)
Le job est découpé en
Vertex
Les vertex sont organisés par
“type de travail”
(SuperVertex)
“Job Graph”

26. SQLSaturday Montreal 2017
Ma 1ere exécution

27. SQLSaturday Montreal 2017
Ma première exécution

28. SQLSaturday Montreal 2017
Analyse de l’exécution
5 DLAU
allouées
1 DLAU
consommée

29. SQLSaturday Montreal 2017
Data Lake Analytical Unit
 ADLAU : unité d’exécution d’un Job
 ADLAU = 1 VM avec 2 cœurs et 6Go de RAM
 Déclaratif : on indique combien d’ADLAU on souhaite
 Les Vertex sont « affectés » sur des ADLAU pour exécution
 La facturation se fait sur les ADLAU allouées

30. SQLSaturday Montreal 2017
Tarification

31. SQLSaturday Montreal 2017
Outillage

32. SQLSaturday Montreal 2017
Visual Studio
 Intellisense
 Exécution locale
 Visualisation des jobs
 Optimisation
 Replay
 Debug
Téléchargez
Azure Data Lake Tools

33. SQLSaturday Montreal 2017
Etendre ADLA

34. SQLSaturday Montreal 2017
Etendre U-SQL avec .NET
 C# Expressions
 UDFs : Fonctions
 UDAGGs : Agrégats
 UDOs : Opérations (Extractors, Outputters)
 PROCESS : traitements

35. SQLSaturday Montreal 2017
Etendre U-SQL

36. SQLSaturday Montreal 2017
ADL avec PowerShell

37. SQLSaturday Montreal 2017
ADL Store - commandes

38. SQLSaturday Montreal 2017
ADL Analytics - commandes

39. SQLSaturday Montreal 2017
Azure Data Lake & PowerShell

40. SQLSaturday Montreal 2017
Merci !
Questions…
…et réponses