Lors de cette session nous suivrons un flux de données tout au long d’un cycle de l’architecture Lambda. Dans le scénario que nous vous proposons, nous verrons comment récupérer, traiter et transformer des signaux envoyés par des capteurs de température pour les exploiter au sein de rapports en temps réel ou au sein de dashboards d’analyses.

1. AMBIENT INTELLIGENCEAMBIENT INTELLIGENCE
tech days•
2015
#mstechdays techdays.microsoft.fr

2. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
#mstechdays techdays.microsoft.fr

3. tech.days 2015#mstechdaysObjets connectés & architecture Lambda

4. tech.days 2015#mstechdaysObjets connectés & architecture Lambda

5. tech.days 2015#mstechdaysObjets connectés & architecture Lambda

6. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Event Hubs

7. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub

8. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Variété:
• Vélocité:
• Volume:
• Sécurité:
• Buffer:
• Durable:
• Latency:
• Low Cost:
Event Hub by the Numbers

9. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Conceptual Overview of Event Hubs
Event
Publisher
Event Hub
Consumer Group
Partition
Partition
Partition
Reader
Reader
Reader
Event
Consumer
HTTPS
ou
AMQP 1.0
+ SDKs
AMQP 1.0
+
SDKs

10. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hubs

11. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
Publication d’événements
Partition 1
Partition 2
Partition N
L’objet envoie
son ID comme
clef de partition
f(x)
Event Hub a une fonction
statique de hashing
partitionId = f(clef partition)
A

12. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Event Hub
Event Hub Partitions
Partition 1
Partition 2
Partition N
messages d’un
même objet
vont vers la
même partition
f(x)
L’objet envoie
son ID comme
clef de partition
Event Hub a une fonction
statique de hashing
partitionId = f(clef partition)
A

13. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Consumer Group
Event Hub
Event Hub Consumers
Partition 1
Partition 2
Partition N
f(x)
Reader 1
Reader 2
Reader N
Consumer Group
Reader 1
Reader 2
Reader N
HDInsight
Storm / NRT
A
B
messages d’un
même objet
vont vers la
même partition
L’objet envoie
son ID comme
clef de partition
Event Hub a une fonction
statique de hashing
partitionId = f(clef partition)

14. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Event Hubs
• HDInsight Storm
• …

15. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• HDInsight Storm
• Stream Analytics
• Machine Learning

16. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Ingère des millions d’évènements
par secondes
• Ingère et traite des données envoyées par des
applications/objets connectés
• Solution avec montée en charge intégrée
Traitement des données en
continue
• Transformer, enrichir, opérations temporelles
• Détection des patterns et des anomalies
Corrélation du flux de données
avec des données de référence

17. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Pas d’acquisition de matériel
Pas de maintenance
Pas d’expertise de déploiement
Installation et paramétrages via le portail Azure
Pas de logiciel à installer et à maintenir
Mise à l’échelle en fonction des
besoins

18. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Création d’une solution de
traitement en temps réel
grâce à un langage proche
du T-SQL
Filtrer, agréger, joindre des flux de données avec
quelques lignes de T-SQL
Fonctions temporelles nativement intégrées
Développer et maintenir
une solution Stream
Analytics via le portail Azure
Rapid DevelopmentDéveloppement
rapide

19. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Monitoring intégré
Surveiller la performance de votre solution
via le portail Azure.
Accès aux journaux d’évènements

20. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Data Source Collect Process ConsumeDeliver
Event Inputs
- Event Hub
- Azure Blob
Transform
- Temporal joins
- Filter
- Aggregates
- Projections
- Windows
- Etc.
Enrich
Correlate
Outputs
- SQL Azure
- Azure Blobs
- Event Hub
Azure
Storage
• Temporal Semantics
• Guaranteed delivery
• Guaranteed up time
Azure Stream Analytics
Reference Data
- Azure Blob

21. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Stream Analytics
Récupération en temps reel avec données de réf.

22. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Source: http://fr.hortonworks.com/hdp/

23. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Hadoop et Microsoft

24. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
HDInsight
Blobs Azure (wasb://) HDFS (hdfs://)
Hive Pig HCatalog AmbariMap/Reduce
Sqoop
Oozie
Azure UX SDK Azure
WebHcat/
Templeton
RDP
Storm
Yarn
HBase

25. tech.days 2015#mstechdaysObjets connectés & architecture Lambda

26. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Storm

27. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Parser
Tableau
de bord
…
…

28. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Storm
Analyse des températures en temps réel

29. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• SQL DB
• SQL Server, Oracle DB, … (IaaS)
• HDInsight HBase
• Document DB
• Storage Tables
• Mongo DB (Marketplace)
• Cassandra (IaaS)
• …

30. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Storage Blobs
• (Storage Tables)
• Hadoop (IaaS) HDFS
• (HDInsight HDFS)

31. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• HDInsight
• Hadoop on IaaS
(Hortonworks, Cloudera, …)
• Data Factory
• Machine Learning
• (Azure Batch (HPC) )
• (Web Jobs)
• (Worker Role)
• …

32. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool
(SSIS, etc)
EDW
(SQL Svr, Teradata, etc)
Extract
Original Data
Load
Transformed
Data
Transform
BI Tools
Data Marts
Data Lake(s)
Dashboards
Apps

33. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool
(SSIS, etc)
EDW
(SQL Svr, Teradata, etc)
Extract
Original Data
Load
Transformed
Data
Transform
BI Tools
Ingest (EL)
Original Data
Data Marts
Data Lake(s)
Dashboards
Apps

34. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
ETL Tool
(SSIS, etc)
EDW
(SQL Svr, Teradata, etc)
Extract
Original Data
Load
Transformed
Data
Transform
BI Tools
Ingest (EL)
Original Data
Scale-out
Storage &
Compute
(HDFS, Blob Storage,
etc)
Transform & Load
Data Marts
Data Lake(s)
Dashboards
Apps
Streaming data

35. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
BI Tools
Data Marts
Data Lake(s)
Dashboards
Apps
Data Hub
(Storage & Compute)
Data Sources
(Import From)
Move data
among Hubs
Data Hub
(Storage & Compute)
Data Sources
(Import From)
Ingest
Connect & Collect Transform & Enrich Publish
Information Production:
Ingest
Move to data mart, etc

36. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Azure Data Factory : vue d’ensemble

37. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
Data Factory
Script PIG dans cluster HDInsight existant

38. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
• Power BI
• Web Sites
• Excel App
• …

39. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
SignalR, d3js, Excel
http://www.asp.net/signalr
http://d3js.org/
How to: Create your first content app for Excel with "Napa" Office 365
Development Tools

40. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
Activez vos bénéfices Azure jusqu’à
115€ de ressources mensuelles
offertes
115€ /mois
x5 membres
x3 ans
= 4 175€ de ressources offertes
http://azure.com http://aka.ms/azurepourmsdn
150€ de ressources offertes
Sans engagement
Pour tous
Un mois d’essai offert
http://www.microsoft.com/bizspark/
Pour les startups
Bizspark
= 49 000€ de ressources offertes
pendant un an
Pour les abonnés
MSDN

41. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
Inscrivez-vous : http://aka.ms/pepiniereazure
Coaching technique et business
Ressources
Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à
votre disposition de l’aide personnalisée.
Visibilité

42. tech.days 2015#mstechdaysObjets connectés & architecture Lambda tech.days 2015#mstechdays
http://notes.mstechdays.fr

43. tech.days 2015#mstechdaysObjets connectés & architecture Lambda
© 2015 Microsoft Corporation. All rights reserved.
tech days•
2015
#mstechdays techdays.microsoft.fr