SlideShare ist ein Scribd-Unternehmen logo
1 von 21
Downloaden Sie, um offline zu lesen
BI and Big Data:
practical experience
Future Of Data
Mathias Kluba
Architecte Technique Data Management
SGCIB
Busines Intelligence (BI)
et
Big Data ?
Staging / ODS
Source data
Data Sources
EL
Datawarehouse
Single aggregated view
ETL ETL
DataMarts
Specific views
Data Quality - Data Cleansing Data Quality – Completeness
Ad Hoc Query
Reporting
Data Quality – Data Accuracy
Ad Hoc Query
Reporting
Reporting
Data Mining
Staging / ODS
Source data
Data Sources
EL
Datawarehouse
Single aggregated view
ETL ETL
DataMarts
Specific views
Big Data – BI Offloading
Reporting
Data Mining
Ad Hoc Query
Reporting
Staging / ODS
Source data
Data Sources
EL
Datawarehouse
Single aggregated view
ETL ETL
DataMarts
Specific views
Reporting
Data Mining
Ad Hoc Query
Reporting
http://hortonworks.com/blog/how-pioneering-banks-adopt-hadoop-for-enterprise-data-management/
ODBC Driver compatibility ?
Hive QL specificity ?
Kerberos ?
Low Latency ? Indexes ?
Spark SQL
- Pas d’intégration Ranger
- Pas réussi à l’intégrer à Knox
- Compatibilité Kerberos+Tableau impossible
Phoenix
- Compatible Microstrategy
- Pas d’impersonation/authentification sur le Query Server
- Pas de support des HBase Namespaces*
*en 4.7.0 avec HDP 2.5, support depuis la 4.8.0
Solr
- Compatible Microstrategy mais pas Tableau
Hawq
- Protocol/SQL de PostgreSQL… mais pas tout à fait
Drill
- Peut-être la bonne solution, pas assez de tests…
https://github.com/airbnb/supersethttps://github.com/Quantiply/grafana-plugins/tree/master/features/druid
- Pas de SQL!! Utilisable uniquement avec les IHMs Web
- Pas de sécurité !!! Difficile de faire du Multi-tenant
- Uniquement time-series
- Certaines fonctions d’agrégations difficile à implémenter
- Performance du « orienté colonne » !
- Scalabilité
- Utilise HDFS pour le stockage historique
- Ingestion temps réel depuis Kafka
- L’IHM… c’est un bon début…
- Bug sur l’authentification LDAP
- Bug sur la gestion des Namespaces HBase
- Configuration du Cube parfois complexe
- Tableau fonctionne bien, pas Microstrategy
- Driver ODBC uniquement Windows
- Pas trop multi-tenant
- Scalabilité, supporte de gros volume de cube
- SQL!! Et API REST!
- Facile à installer: utilise les composants de la stack Hadoop
Staging / ODS
Source data
Data Sources
EL
Datawarehouse
Single aggregated view
ETL ETL
DataMarts
Specific views
- SSAS Tabular Models: limité à la RAM
- Temps de chargement de Hadoop vers le cube
- Très bonnes performances avec l’orienté colonne in-memory
- Technologie mature
- Compatibilité Excel / PowerBI
- Fonctions d’agrégations complexes
- Modèle de visibilité puissant
Future Of Data Paris - BI and Big Data

Weitere ähnliche Inhalte

Andere mochten auch

Hadoop & devOps : better together
Hadoop & devOps : better togetherHadoop & devOps : better together
Hadoop & devOps : better togetherMaxime Lanciaux
 
Future of Data Meetup : Boontadata
Future of Data Meetup : BoontadataFuture of Data Meetup : Boontadata
Future of Data Meetup : BoontadataAbdelkrim Hadjidj
 
Standards for PhD education
Standards for PhD education Standards for PhD education
Standards for PhD education ORPHEUS
 
Lion One Presentation - December 2016
Lion One Presentation  - December 2016Lion One Presentation  - December 2016
Lion One Presentation - December 2016LionOneMetals
 
Presentacion 7 pasos para tener finanzas sanas
Presentacion 7 pasos para tener finanzas sanasPresentacion 7 pasos para tener finanzas sanas
Presentacion 7 pasos para tener finanzas sanasSandra Ramirez Vazquez
 
Lion One Presentation - January 2017
Lion One Presentation  - January 2017Lion One Presentation  - January 2017
Lion One Presentation - January 2017LionOneMetals
 
Advance Hive, NoSQL Database (HBase) - Module 7
Advance Hive, NoSQL Database (HBase) - Module 7Advance Hive, NoSQL Database (HBase) - Module 7
Advance Hive, NoSQL Database (HBase) - Module 7Rohit Agrawal
 
Improving Your Productivity
Improving Your ProductivityImproving Your Productivity
Improving Your ProductivityRussell Cummings
 
Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)
Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)
Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)Matt Fuller
 
Pig and Pig Latin - Module 5
Pig and Pig Latin - Module 5Pig and Pig Latin - Module 5
Pig and Pig Latin - Module 5Rohit Agrawal
 
Converting your Revenue Targets into Cash
Converting your Revenue Targets into CashConverting your Revenue Targets into Cash
Converting your Revenue Targets into CashRussell Cummings
 
[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALES
[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALES[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALES
[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALESHUB INSTITUTE
 
Hadoop/HBase POC framework
Hadoop/HBase POC frameworkHadoop/HBase POC framework
Hadoop/HBase POC frameworkDoug Chang
 
Oozie in Practice - Big Data Workflow Scheduler - Oozie Case Study
Oozie in Practice - Big Data Workflow Scheduler - Oozie Case StudyOozie in Practice - Big Data Workflow Scheduler - Oozie Case Study
Oozie in Practice - Big Data Workflow Scheduler - Oozie Case StudyFX Live Group
 
Presto at Facebook - Presto Meetup @ Boston (10/6/2015)
Presto at Facebook - Presto Meetup @ Boston (10/6/2015)Presto at Facebook - Presto Meetup @ Boston (10/6/2015)
Presto at Facebook - Presto Meetup @ Boston (10/6/2015)Martin Traverso
 

Andere mochten auch (20)

Hadoop & devOps : better together
Hadoop & devOps : better togetherHadoop & devOps : better together
Hadoop & devOps : better together
 
Future of Data Meetup : Boontadata
Future of Data Meetup : BoontadataFuture of Data Meetup : Boontadata
Future of Data Meetup : Boontadata
 
Data science for CRM in banks
Data science for CRM in banksData science for CRM in banks
Data science for CRM in banks
 
Presentacion de heidy2
Presentacion de heidy2Presentacion de heidy2
Presentacion de heidy2
 
Standards for PhD education
Standards for PhD education Standards for PhD education
Standards for PhD education
 
Lion One Presentation - December 2016
Lion One Presentation  - December 2016Lion One Presentation  - December 2016
Lion One Presentation - December 2016
 
Hepatitis..
Hepatitis..Hepatitis..
Hepatitis..
 
Presentacion 7 pasos para tener finanzas sanas
Presentacion 7 pasos para tener finanzas sanasPresentacion 7 pasos para tener finanzas sanas
Presentacion 7 pasos para tener finanzas sanas
 
Lion One Presentation - January 2017
Lion One Presentation  - January 2017Lion One Presentation  - January 2017
Lion One Presentation - January 2017
 
Advance Hive, NoSQL Database (HBase) - Module 7
Advance Hive, NoSQL Database (HBase) - Module 7Advance Hive, NoSQL Database (HBase) - Module 7
Advance Hive, NoSQL Database (HBase) - Module 7
 
Veracity think bugdata #2 6.7.2015
Veracity think bugdata #2   6.7.2015Veracity think bugdata #2   6.7.2015
Veracity think bugdata #2 6.7.2015
 
Improving Your Productivity
Improving Your ProductivityImproving Your Productivity
Improving Your Productivity
 
Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)
Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)
Presto Testing Tools: Benchto & Tempto (Presto Boston Meetup 10062015)
 
Pig and Pig Latin - Module 5
Pig and Pig Latin - Module 5Pig and Pig Latin - Module 5
Pig and Pig Latin - Module 5
 
Scribd y issuu
Scribd y issuuScribd y issuu
Scribd y issuu
 
Converting your Revenue Targets into Cash
Converting your Revenue Targets into CashConverting your Revenue Targets into Cash
Converting your Revenue Targets into Cash
 
[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALES
[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALES[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALES
[HUBFORUM] DATAWORDS - SOCIAL MEDIA & CULTURES LOCALES
 
Hadoop/HBase POC framework
Hadoop/HBase POC frameworkHadoop/HBase POC framework
Hadoop/HBase POC framework
 
Oozie in Practice - Big Data Workflow Scheduler - Oozie Case Study
Oozie in Practice - Big Data Workflow Scheduler - Oozie Case StudyOozie in Practice - Big Data Workflow Scheduler - Oozie Case Study
Oozie in Practice - Big Data Workflow Scheduler - Oozie Case Study
 
Presto at Facebook - Presto Meetup @ Boston (10/6/2015)
Presto at Facebook - Presto Meetup @ Boston (10/6/2015)Presto at Facebook - Presto Meetup @ Boston (10/6/2015)
Presto at Facebook - Presto Meetup @ Boston (10/6/2015)
 

Ähnlich wie Future Of Data Paris - BI and Big Data

Les données on-premise et dans le cloud. Quelles options ?
Les données on-premise et dans le cloud. Quelles options ?Les données on-premise et dans le cloud. Quelles options ?
Les données on-premise et dans le cloud. Quelles options ?Microsoft
 
SSAS 2012 : Multidimensionnel et tabulaire au banc d'essai
SSAS 2012 : Multidimensionnel et tabulaire au banc d'essaiSSAS 2012 : Multidimensionnel et tabulaire au banc d'essai
SSAS 2012 : Multidimensionnel et tabulaire au banc d'essaiMicrosoft Technet France
 
La caisse à outils de la visualisation d'informations
La caisse à outils de la visualisation d'informationsLa caisse à outils de la visualisation d'informations
La caisse à outils de la visualisation d'informationsChristopheTricot
 
JSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big DataJSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big DataGUSS
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobreGeoffrey Felix
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM France Lab
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteMicrosoft
 
Sahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStackSahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStackALTIC Altic
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaMicrosoft
 
Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...
Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...
Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...serge luca
 
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataPetit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataMarc Bojoly
 
Hadoop et son écosystème
Hadoop et son écosystèmeHadoop et son écosystème
Hadoop et son écosystèmeKhanh Maudoux
 
Aspectize meetup
Aspectize meetupAspectize meetup
Aspectize meetupAspectize
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
 
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...AZUG FR
 
La BI, Power BI, et SQL Server 2014
La BI, Power BI, et SQL Server 2014La BI, Power BI, et SQL Server 2014
La BI, Power BI, et SQL Server 2014SCALA
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDenodo
 
SPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données localesSPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données localesNicolas Georgeault
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Jean-Pierre Riehl
 

Ähnlich wie Future Of Data Paris - BI and Big Data (20)

Les données on-premise et dans le cloud. Quelles options ?
Les données on-premise et dans le cloud. Quelles options ?Les données on-premise et dans le cloud. Quelles options ?
Les données on-premise et dans le cloud. Quelles options ?
 
SSAS 2012 : Multidimensionnel et tabulaire au banc d'essai
SSAS 2012 : Multidimensionnel et tabulaire au banc d'essaiSSAS 2012 : Multidimensionnel et tabulaire au banc d'essai
SSAS 2012 : Multidimensionnel et tabulaire au banc d'essai
 
La caisse à outils de la visualisation d'informations
La caisse à outils de la visualisation d'informationsLa caisse à outils de la visualisation d'informations
La caisse à outils de la visualisation d'informations
 
JSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big DataJSS2014 – Hive ou la convergence entre datawarehouse et Big Data
JSS2014 – Hive ou la convergence entre datawarehouse et Big Data
 
NoSQL et Big Data
NoSQL et Big DataNoSQL et Big Data
NoSQL et Big Data
 
Paris Tug - Session d'octobre
Paris Tug - Session d'octobreParis Tug - Session d'octobre
Paris Tug - Session d'octobre
 
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
IBM Bluemix Paris meetup - Big Data & Analytics dans le Cloud - Epitech- 2016...
 
Azure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides KeynoteAzure Camp 9 Décembre 2014 - slides Keynote
Azure Camp 9 Décembre 2014 - slides Keynote
 
Sahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStackSahara : Hadoop as Service avec OpenStack
Sahara : Hadoop as Service avec OpenStack
 
Azure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmediaAzure Camp 9 Décembre - slides session développeurs webmedia
Azure Camp 9 Décembre - slides session développeurs webmedia
 
Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...
Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...
Ce que tout dba doit savoir sur la configuration et l'optimisation de SQL Ser...
 
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigDataPetit-déjeuner MapReduce-La révolution dans l’analyse des BigData
Petit-déjeuner MapReduce-La révolution dans l’analyse des BigData
 
Hadoop et son écosystème
Hadoop et son écosystèmeHadoop et son écosystème
Hadoop et son écosystème
 
Aspectize meetup
Aspectize meetupAspectize meetup
Aspectize meetup
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data Virtualization
 
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
Gab17 lyon - La BI traditionnelle est une histoire du passée. Impacts de la r...
 
La BI, Power BI, et SQL Server 2014
La BI, Power BI, et SQL Server 2014La BI, Power BI, et SQL Server 2014
La BI, Power BI, et SQL Server 2014
 
Discovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data VirtualizationDiscovery Session France: Atelier découverte de la Data Virtualization
Discovery Session France: Atelier découverte de la Data Virtualization
 
SPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données localesSPS Montréal 2018 - La passerelle de données locales
SPS Montréal 2018 - La passerelle de données locales
 
Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?Cloud et BI, quelle architecture pour 2014 ?
Cloud et BI, quelle architecture pour 2014 ?
 

Mehr von Mathias Kluba

Analytics et Big Data, une histoire de cubes...
Analytics et Big Data, une histoire de cubes...Analytics et Big Data, une histoire de cubes...
Analytics et Big Data, une histoire de cubes...Mathias Kluba
 
Soutenance Stage Licence
Soutenance Stage LicenceSoutenance Stage Licence
Soutenance Stage LicenceMathias Kluba
 
ALT.Net Juin 2012 - Specflow
ALT.Net Juin 2012 - SpecflowALT.Net Juin 2012 - Specflow
ALT.Net Juin 2012 - SpecflowMathias Kluba
 

Mehr von Mathias Kluba (6)

Analytics et Big Data, une histoire de cubes...
Analytics et Big Data, une histoire de cubes...Analytics et Big Data, une histoire de cubes...
Analytics et Big Data, une histoire de cubes...
 
Soutenance Stage Licence
Soutenance Stage LicenceSoutenance Stage Licence
Soutenance Stage Licence
 
Hands on Sonar
Hands on SonarHands on Sonar
Hands on Sonar
 
ALT.Net Juin 2012 - Specflow
ALT.Net Juin 2012 - SpecflowALT.Net Juin 2012 - Specflow
ALT.Net Juin 2012 - Specflow
 
Alt.net spring.net
Alt.net spring.netAlt.net spring.net
Alt.net spring.net
 
Alt.net spring.net
Alt.net spring.netAlt.net spring.net
Alt.net spring.net
 

Future Of Data Paris - BI and Big Data

  • 1. BI and Big Data: practical experience Future Of Data
  • 2. Mathias Kluba Architecte Technique Data Management SGCIB
  • 4. Staging / ODS Source data Data Sources EL Datawarehouse Single aggregated view ETL ETL DataMarts Specific views Data Quality - Data Cleansing Data Quality – Completeness Ad Hoc Query Reporting Data Quality – Data Accuracy Ad Hoc Query Reporting Reporting Data Mining
  • 5. Staging / ODS Source data Data Sources EL Datawarehouse Single aggregated view ETL ETL DataMarts Specific views Big Data – BI Offloading Reporting Data Mining Ad Hoc Query Reporting
  • 6. Staging / ODS Source data Data Sources EL Datawarehouse Single aggregated view ETL ETL DataMarts Specific views Reporting Data Mining Ad Hoc Query Reporting
  • 8.
  • 9.
  • 10. ODBC Driver compatibility ? Hive QL specificity ? Kerberos ? Low Latency ? Indexes ?
  • 11.
  • 12. Spark SQL - Pas d’intégration Ranger - Pas réussi à l’intégrer à Knox - Compatibilité Kerberos+Tableau impossible Phoenix - Compatible Microstrategy - Pas d’impersonation/authentification sur le Query Server - Pas de support des HBase Namespaces* *en 4.7.0 avec HDP 2.5, support depuis la 4.8.0 Solr - Compatible Microstrategy mais pas Tableau Hawq - Protocol/SQL de PostgreSQL… mais pas tout à fait Drill - Peut-être la bonne solution, pas assez de tests…
  • 13.
  • 15. - Pas de SQL!! Utilisable uniquement avec les IHMs Web - Pas de sécurité !!! Difficile de faire du Multi-tenant - Uniquement time-series - Certaines fonctions d’agrégations difficile à implémenter - Performance du « orienté colonne » ! - Scalabilité - Utilise HDFS pour le stockage historique - Ingestion temps réel depuis Kafka
  • 16.
  • 17. - L’IHM… c’est un bon début… - Bug sur l’authentification LDAP - Bug sur la gestion des Namespaces HBase - Configuration du Cube parfois complexe - Tableau fonctionne bien, pas Microstrategy - Driver ODBC uniquement Windows - Pas trop multi-tenant - Scalabilité, supporte de gros volume de cube - SQL!! Et API REST! - Facile à installer: utilise les composants de la stack Hadoop
  • 18.
  • 19. Staging / ODS Source data Data Sources EL Datawarehouse Single aggregated view ETL ETL DataMarts Specific views
  • 20. - SSAS Tabular Models: limité à la RAM - Temps de chargement de Hadoop vers le cube - Très bonnes performances avec l’orienté colonne in-memory - Technologie mature - Compatibilité Excel / PowerBI - Fonctions d’agrégations complexes - Modèle de visibilité puissant