Le modèle traditionnel de traitement des données dans un système décisionnel est arrivé à maturité et atteint ses limites quant au traitement de nouveaux types de données issues des objets connectés, capteurs, données de réseaux sociaux,… Hadoop constitue une des pierres angulaires pour intégrer ces données diverses. Afin de simplifier la transition vers ces nouvelles perspectives, APS et les technologies de virtualisation tels que Polybase permettent de moderniser l’existant en toute simplicité. Dans cette session, nous allons détailler les différents scénarii d’architectures et de cas d’usages possibles pour la modernisation du système décisionnel avec l’utilisation de Polybase via des démonstrations pour répondre aux questions de type : 1. En quoi l’utilisation d’Hadoop permet de répondre aux défis d’alimentation, de collecte des données (ETL) et d’archivage à moindre coût ? 2. Qu’apporte Polybase dans APS avec Hadoop par rapport à un système traditionnel dans un monde où les volumes de données continuent à croitre et à se complexifier et où la consommation des données tend à être en temps réel?

1. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
#mstechdays techdays.microsoft.fr

2. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
Hadoop Expérimentation
External Table
Data integration
Social channels
Analytics
Big Data
Disponibilité
Performance
Datawarehouse moderne
Azure
Détection de fraude
Scalabilité
Customer experienceBig SQL No SQL New SQL
Hive
Predictive maintenance
Machine Learning
Règlementation et archive
Hortonworks
Real-Time
Map Reduce
Statistical models
Unstructured Data
Sécurité
Hybrid
Datasources
BI
Internal systems
Customer services
Advanced Analytics
Data Lake
Data Hub
Health Care
Manufacturing
Retail
Financialsl
Marketing
HR
Innovation

3. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
Réponse Microsoft : Analytics platform System -

4. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
Ajout de
Capacité Ajout de
Capacité

5. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
Intégration en simplicité d’Hadoop
Analytics
Platform
System
Hortonworks
(Windows, Linux),
Cloudera
Microsoft Azure
HDInsight
Azure Cloudera VMS
Microsoft
HDInsight
Result set
PolyBase
Select…

6. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
Intégration des données
Archivage des données

7. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
AdvendureWorks / Factsales
Scénario fonctionnel : Evolution des ventes
Fichiers formats RCF

8. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
CREATE EXTERNAL DATA SOURCE HDP_Source
WITH (TYPE = HADOOP,
LOCATION = 'hdfs://10.9.50.11/',
JOB_TRACKER_LOCATION = '10.9.50.11:50300'
);
CREATE EXTERNAL DATA SOURCE WABS_Source
WITH (TYPE = HADOOP,
LOCATION = 'wasbs://customer@cust.blob.core.windows.net/'
);

9. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
CREATE EXTERNAL FILE FORMAT
WITH ( = ,
(
= '|',
DATE_FORMAT = '',
= False)
);
CREATE EXTERNAL FILE FORMAT
WITH ( = ,
(
= '|',
DATE_FORMAT = ''),
= 'org.apache.hadoop.io.compress.GzipCodec'
);
CREATE EXTERNAL FILE FORMAT
WITH ( = ,
= 'org.apache.hadoop.hive.serde2.columnar.LazyBinaryColumnarSerDe',
= 'org.apache.hadoop.io.compress.DefaultCodec'
);

10. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
CREATE EXTERNAL TABLE [my_Schema].[my_Table] (
[C_Timestamp] datetime2(7) NULL,
…
[LineageID] varchar(40) NULL
)
WITH (LOCATION='/user/lionelp/my_Folder',
DATA_SOURCE = HDP_Source,
FILE_FORMAT = my_GZipFileFormat,
REJECT_TYPE = VALUE,
REJECT_VALUE = 0
);

11. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
Système intelligent : de la
collecte des données temps
réel jusqu’à l’analyse predictive
pour répondre aux défis de la
sécurité

12. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
Stream Analytics
TransformIngest
Antivirus logs
Present &
decide
Devices /OS
Social Data
Event Hubs HDInsight
Azure Data
Factory
Azure SQL DB
Azure Blob Storage
Azure Machine
Learning
Power BI
Web
dashboards
Mobile devices
DW / Long-term
storage
Predictive analytics
Event & data
producers
APS
DW historique (faits + dim)
+ Analyse temps réel social datas
Données Tweets
Données Logs
Analyse avancée et prédictive

13. tech.days 2015#mstechdaysMicrosoft Analytics Platform System
7x moins cher que Teradata
3x plus rapide
Respect obligation réglementaire
Compréhension des fluctuations de revenus
163x plus rapide
Powerful analytics platform to improve
performance and customer services. The
bank implemented a Microsoft SQL Server
2012 Parallel Data Warehouse appliance to
increase productivity by 40 percent for faster
response to business needs.
“Coeo have enabled us to rapidly deliver ROI to the business, achieve
incredible efficiencies and even introduce Agile project methodologies that
have made everyone’s lives easier. They are consistently impressive.
Solution largement déployée

14. tech.days 2015#mstechdaysMicrosoft Analytics Platform System tech.days 2015#mstechdays
Activez vos bénéfices Azure jusqu’à
115€ de ressources mensuelles
offertes
115€ /mois
x5 membres
x3 ans
= 4 175€ de ressources offertes
http://azure.com http://aka.ms/azurepourmsdn
150€ de ressources offertes
Sans engagement
Pour tous
Un mois d’essai offert
http://www.microsoft.com/bizspark/
Les Ressources Azure
Pour les startups
Bizspark
= 49 000€ de ressources offertes
pendant un an
Pour les abonnés
MSDN

15. tech.days 2015#mstechdaysMicrosoft Analytics Platform System tech.days 2015#mstechdays
L’accompagne
Inscrivez-vous : http://aka.ms/pepiniereazure
Coaching technique et business
Ressources
La Pépinière Microsoft Azure
Visibilité
Une équipe à Microsoft pour vous accompagner dans votre projet cloud et mettre à
votre disposition de l’aide personnalisée.

16. tech.days 2015#mstechdaysMicrosoft Analytics Platform System

17. © 2015 Microsoft Corporation. All rights reserved.
tech days•
2015
#mstechdays techdays.microsoft.fr