BigDataBx #1 - Journée BigData à la CCI de Bordeaux

#BigData = Smart Business
un outil de transformation des entreprises
Aadel Benyoussef
Excelerate Systems France
Aadel.Benyoussef@ExcelerateSystems.net
+33 (0)5 24 61 56 81

#Innovation De Nouvelles Solutions pour de Vieux Problèmes De Nouvelles Solutions pour de Nouveaux Problèmes

DMC DeLorean Adjugée à 541.200 $

#Innovation De Nouvelles Solutions pour de Vieux Problèmes ? De Nouvelles Solutions pour de Nouveaux Problèmes ?

Au début de notre ère numérique…
Informatique d’Entreprise
•Affaire de Spécialistes
•Centralisée
•Inaccessible hors de l’entreprise

Au début de notre ère numérique…
Informatique d’Entreprise
•Affaire de Spécialistes
•Centralisée
•Inaccessible hors de l’entreprise
Informatique Personnelle
•Mac .vs. PC
•Individuelle
•Isolée

Notre environnement Numérique… aujourd’hui !
›Application d’Entreprise
›Bureautique
›Internet
›Email
›Réseaux Sociaux
›Objets connectés
›e-commerce
›Banque en ligne
›Jeux en réseau
›Apps Mobiles
›Sauvegarde et Transport de données
›Échange / Partage
›… etc.

Les Entreprises s’intéressent à … Nous !

Les Entreprises s’intéressent à … Nous !
Moi
Opinions
•Ce que j’Aime
Passions
•Mes Hobbies
Coordonnées
•Comment et où me joindre
Avatars
•Mes apparences
Profession
•Quel est mon métier et où je travail
Réputation
•Ce que l’on dit sur moi
Expression
•Ce que je dis
Audience
•Qui je connais
Certificats
•Qui peut certifier de mon identité
Publications
•Ce que je partage
Achats
•Ce que j’achète, quand et où

Évolution de la Données
10% - Données Structurées
1980 2014
90 % - Données Non-Structurées
+3 trillion Go de données créées en 2013…
 Plus de 90% sont des données non structurées
 500 quadrillion de fichiers
1 Trillion = 1018, soit un milliard de milliards.
1 Quadrillion = 1024
Des changements
considérables lors
des 30 dernières
années
Applications Internet
Smartphones &
Tablettes
Machines intelligentes
Capteurs
Quantités
doublent
tous les 2 Ans

Les 3V qui imposent le changement-Volume-Variété-Vitesse

les Entreprises veulent gérer toutesles données
Toutes les données Produites en Interne et en ExterneMais aussi à toutes les données qui la Concernent
Source : IBM

| Mobile | Cloud | BigData | Sécurité |
4 grands changements qui touchent le marché du matériel, des logiciels et des services informatiques.
Regard à travers 1 seul prisme :
le Mobileest l’élément essentiel de Productionet de Consommationdes données.
le Cloudest l’environnement où les données sont Stockées.
le BigDataest l’ensemble des technologies qui permettent d’Exploiter, Analyseret Restituerles données.
La Protection des Donnéesest le critère Essentielpour l’établissement de la Relation de Confiancede l’ensemble.
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFrance
Analyse #1

Comment les données sont- elles produites?
Notre façon d’accéder aux données est en pleine mutation.
•La hausse des usages avec les appareils mobiles apporte des changements radicaux dans l'informatique pour les entreprises car ces nouveaux outils ont envahi le lieu de travail et également l’environnement privé.
•La mobilité marque le début d'un changement fondamental de stockageque ce soit au sein de l’appareil, ou dans le nuage (Cloud) pour que les données soient disponibles à tout moment, n'importe où ! En 201575% de tous les dispositifs ‘informatiques’ seront des smartphones, des tablettes et des Objets Connectés

Comment les données sont- elles stockées, gérées et utilisées?
•La production de l'information numérique est en constante hausse.
•Comment les données sont-elles stockées et gérées ?
•Où les données sont-elles stockées ?
Savoir comment toutes les données sont utiliséespar une organisation de n'importe quelle taille est vital.
SI Cloud60%
SI interne40%
Prévisionde la RépartitionCentre de Donnéesà H2020

19
#BigData… on change d’ère

La route du Changement
Déterminer l’environnement opérationnel1

Déterminer l’environnement opérationnel
Analyser un cas d’usage12

Déterminer l’environnement opérationnel
Analyser un cas d’usage
Identifier les Compétences123

BigBangHadoop
Doug !
Pourquoi cet éléphant jaune ?

Ecosystèmes Hadoop
Source : Datameer
+400 Partenaires
Technologies et Services

Les avantages de l'Open Source au-delà de l’éthique, il est question de :
Facilité d’Adoption
Acquisition et démonstration de la Valeuravec des investissements maîtrisables1

Les avantages de l'Open Sourceau-delà de l’éthique, il est question de :
Innovation et Développement Rapide
Développement communautaire: les meilleurs ingénieurs de beaucoup de sociétés Collaborentpour résoudre les problèmes et Imaginerde nouveaux concepts2

Les avantages de l'Open Sourceau-delà de l’éthique, il est question de :
Souplesse
Un Standard Ouvertet indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3

Les avantages de l'Open Source au-delà de l’éthique, il est question de :
Souplesse
Un Standard Ouvertet indépendant des fournisseurs, ce qui encourage une large intégration de la technologie3
Pas de dépendance «Editeur»
Pas de données ou processus «propriétaires" –la sélection des fournisseurs est uniquement sur la Qualité des Services4

PourquoiutiliserHadoop ?
•Le moins Couteux (100% OpenSource)
•Pour traiter des Peta-Octets de données
•Le plus Rapide actuellement
•Pour les Traitements Parallèles
•Le Meilleur à ce jour
•Pour apporter des Solutions à tous les problèmes de traitement de Données Massives

Quelle importance accordez vous, dans la sélection d’un vendeur de BigData aux critères suivants:
7
8
9
Source: King Research, 3922 Respondents
Evolutivité
Performance
Flexibilité
Fiabilité du vendeur
Technologie Sécurisée
Intégration avec d'autres systèmes
Coût
Techniquement Supérieur aux autres
Logiciel Open Source

#1Choix de
l’Environnement Opérationnel

Quels sont les éléments qui déterminent votre choix de fournisseur de solution BigData?
6
6,5
7
7,5
8
8,5
9
Formations
Services de Consulting
Recommandations
Support Technique
Richesse des Fonctionnalités

0%
20%
40%
60%
Quelles infrastructures pensez-vous améliorer avec des solutions BigData ?
Traitements ETL
Bases de Données Analytiques
Stockage
Entrepôts de Données
Système Central (Mainframe)

Quels sont les principaux avantages recherchés dans une solutions BigData d’entreprise
10%
30%
50%
70%
Amélioration des Analyses de Données
Amélioration du Traitement de Données
Prendre de Meilleures Décisions, Plus Rapidement
Augmenter la Valeur marchande des Données
Améliorer l‘Efficacité Opérationnelle
Acquérir un Avantage Concurrentiel

15%
25%
35%
45%
Quelles sont vos principaux développements BigData?
Recherche / Innovation
Analyse Comportementale
Connaissance des Clients
Ciblage de Marché
Analyse de l‘Expérience Client
Amélioration Opérationnelle

Retour sur le “Data Warehouse”
Applications
OLTP
Applications

Retour sur le “Data Warehouse”
Data Warehouse
Query
Extract
Transform
Load
Transform
Architecture généralement déployé sur un SGBD Relationnel
S.I centralisée = "Enterprise Data Warehouse"
Applications
OLTP
Applications

Applications
Défis communs dans les environnements DW
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform

Applications
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
Transformations de données est lentes, SLA manqué

Applications
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
2
2
Requêtes lentes, QoSdégradé et des opportunités manquées.

Applications
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Transform
1
1
1
2
2
3
Nécessité d’Archivage pour économiser l’espace de stockageLes données archivées ne peuvent pas fournir une Valeur.

Applications
OLTP
Applications
Data Warehouse
Query
Extract
Transform
Load
Business
Intelligence
Transform
1
1
1
2
2
3
Nécessité d’archiver.
Les données archivées ne peuvent pas fournir une Valeur.
4
Pression constante pour acheter de nouvelles capacités de stockage et unités de calculs juste pour maintenir la qualité de service actuel.
Pas de place pour étendre les possibilités.
Pas de place pour l’innovation.

# Validation de
l’Environnement Opérationnel

Les Changements dans le Système d’Information des Entreprises
Logs
Files
Web Data
Relational Databases
IDEs
BI / Analytics
Enterprise Reporting
Enterprise Data Warehouse
Online Serving Systems
Manager
SYSTEM OPERATORS
ENGINEERS
ANALYSTS
BUSINESS USERS
Web/Mobile Applications
CUSTOMERS
Sqoop
Sqoop
Sqoop
Flume
Flume
Flume
Modeling Tools
DATA SCIENTISTS
DATA ARCHITECTS
Meta Data/ ETL Tools
ODBC, JDBC,
NFS, HTTP

Distribution BigDataUne puissante plate-forme BigData basée sur Apache
•Clouderaest le plus grand contributeur au projet Hadoop
•CDHest la plus utilisée et la 1èredistribution Hadoop 100% Open Source prête à l’emploi pour les entreprises
•Intègre les projets les plus populaires liées à Hadoop dans un package unique, testé rigoureusement et qui garantit une fiabilité maximale lors de la mise en production.
La liste des distributions Hadoop : http://wiki.apache.org/hadoop/Distributions%20and%20Commercial%20Support
+400 Partenaires
Technologies et Services

Une Plate- forme pour Stocker toutes les données
•Stockage et Traitement par Lots
•HDFS + NoSQL
•Gestionnaire de processus batch
BATCH
PROCESSING
(MapReduce, Hive, Pig)
WORKLOAD MANAGEMENT
STORAGE FOR ANY TYPE OF DATA
UNIFIED, ELASTIC, RESILIENT, SECURE
Filesystem
(HDFS)
Online NoSQL
(Hbase)

Ouverte avec des méthodes d‘Accès à toutes les données
•Fournir de multiples options pour intégrer les données
•S'appuyant sur les niveaux de compétences et les investissements existants
BATCH
PROCESSING
ANALYTIC
SQL
(Impala)
SEARCH
ENGINE
(RealTimeSearch)
MACHINE
LEARNING
(Mahut, Datafu)
STREAM
PROCESSING
(Spark)
WORKLOAD MANAGEMENT
Filesystem
(HDFS)
Online NoSQL
(Hbase)

Prêt pour l'entreprise avec uneSécurité Garantie et la Supervision Globale
•Sécurité et Protection des données et outils pour les Audits
•Haute disponibilité avec sauvegarde automatique et reprise après sinistre
•Système de Gestion Globale
BATCH
PROCESSING
ANALYTIC
SQL
(Impala)
SEARCH
ENGINE
(RealTimeSearch)
MACHINE
LEARNING
(Mahut, Datafu)
STREAM
PROCESSING
(Spark)
3RDPARTY
APPS
WORKLOAD MANAGEMENT
DATA
MANAGEMENT
SYSTEM
MANAGEMENT
Filesystem
(HDFS)
Online NoSQL
(Hbase)

Nouvelle Approche «Software»
Traditionnelle
•Monolithique
•Stockage Centralisé
•RDBMS
•Schéma de Donnée d’abord
•PropriétaireSoftware Big Data
•Distribué
•Stockage et Exécutionau niveau du Node
•Toutes les Données Brutes
•Open Source

Nouvelle Approche «Hardware»
56
Matériel Traditionnel
Matériel exotique
•Gros Serveur Central
•SAN
•RAID
Coût élevé
Évolutivité limitéeMatériel Big Data
Matériel de base
•Racks de boîtes de pizza
•Ethernet
•JBOD
Vite Rentable
Évolutivité illimitée

Nouvelles Possibilités grâce aux technologies du BigData
Moteurs de Recommandations
Analyse de Sentiments
Modélisation des Risques
Détection de la Fraude
Analyse de Campagne Marketing
Analyse du taux de désabonnement des clients
Analyse Social Graph
Réseau de surveillance
Data Analytics
Source: Cloudera “Ten Common Hadoopable Problems”

BigDataCas d’Usages !
•Moteurs de Recommandations:
les géants du Web et les sites de e-commerce qui utilisent Hadoop, l’utilisent pour proposer à leurs clients des produits et services basés sur l'analyse du profil utilisateur et les données comportementales.
LinkedIn, Facebook, Twitter utilisent cette approche pour alimenter son "personnes que vous connaissez peut-être", tandis qu’Amazon l’utilise pour proposer des produits liés aux habitudes d’achats pour les consommateurs en ligne.

•Analyse de Sentiments:
Utilisé en conjonction avec Hadoop, et des outils avancés d'analyse de texte, essentiellement non structuré des médias sociaux et des publications et blogs de réseautage social, y compris les tweets et messages Facebook, afin de déterminer le sentiment des utilisateurs liés à des entreprises particulières, des marques ou des produits.
L'analyse peut se concentrer sur une analyse macro- sentiment jusqu'au sentiment de chaque utilisateur.

•Modélisation des Risques:
les entreprises financières, les banques et d'autres utilisent Hadoop et Entrepôts de données nouvelle génération pour analyser de grands volumes de données transactionnelles pour déterminer le risque et l'exposition des actifs financiers, afin de préparer des scenarii potentiels "what- if" basés sur le comportement du marché simulé, et de marquer des clients potentiels pour le risque.

•Détection de la Fraude:
Utiliser les techniques du BigData pour combiner le comportement des clients, historiques et données transactionnelles pour détecter les activités frauduleuses.
Les sociétés de cartes de crédit, par exemple, utiliser les technologies BigData pour identifier le comportement transactionnel qui indique une forte probabilité d'une carte volée.

•Analyse campagne de marketing:
Les départements de marketing dans les industries ont longtemps utilisé la technologie pour surveiller et évaluer l'efficacité des campagnes de marketing.
BigData permet aux équipes de marketing d’intégrer l'augmentation des volumes de données de plus en plus granulaires pour augmenter la précision de l'analyse.

BigDataCas d’Usages ! (suite.)
•Analyse du taux de désabonnement des clients:
Les entreprises utilisent Hadoop et les technologies de BigData pour analyser les données du comportement des clients pour identifier les modèles qui indiquent que les clients sont plus susceptibles de les quitter pour un service ou fournisseur concurrent.
Des actions peuvent alors être prises pour ‘sauver’ et garder les clients les plus rentables.

•Analyse Social Graph:
les données de prochaine génération et les données de réseaux sociaux sont extraites pour déterminer quels clients ont le plus d'influence sur les autres à l'intérieur de réseaux sociaux.
Ceci aide les entreprises à déterminer quels sont leurs «plus importants», clients qui ne sont pas toujours ceux qui achètent le plus de produits ou dépensent le plus, mais ceux qui ont tendance à influer sur le comportement d'achat d’autres personnes.

•Data Analytics:
utiliser Hadoop et les grandes technologies connexes pour intégrer des données provenant de canaux d'interaction client cloisonnés tels que centres d'appels, chat en ligne, Twitter, etc… pour avoir une vision complète de l'expérience client.
Cela permet aux entreprises de comprendre l'impact d'un canal d'interaction client dispose sur un autre afin d'optimiser l'expérience client dans son ensemble du cycle de vie.

•Réseau de surveillance:
Hadoop et d'autres technologies BigData sont utilisés pour ingérer, analyser et afficher les données collectées à partir des serveurs, périphériques de stockage et autres matériels informatique pour permettre aux administrateurs de surveiller l'activité du réseau et de diagnostiquer les goulots d'étranglement et autres problèmes.
Ce type d'analyse peut également être appliqué à d'autres formes de réseaux, notamment des Réseaux de Transport afin d'améliorer l'efficacité énergétique.

•Recherche et développement:
les entreprises, comme les fabricants de produits pharmaceutiques, utilisent Hadoop pour passer au peigne fin les volumes énormes de texte basé sur la recherche et d'autres données historiques pour aider au développement de nouveaux produits.

…
Streaming Sources
-Logs
-Apps
-File systems
-Servers
-Devices
Relational Sources
-Databases
-Data Warehouse
Analyseavancée
AnalysePrédictive
Recherchetemps réelet exploration “RootCause”
Exploration, Reporting, Visualisation, Correlation
BATCH
PROCESSING
ANALYTIC
SQL
SEARCH
ENGINE
MACHINE
LEARNING
STREAM
PROCESSING
3RDPARTY
APPS
WORKLOAD MANAGEMENT
DATA
MANAGEMENT
SYSTEM
MANAGEMENT
ENTERPRISE DATA HUB
Filesystem
Online NoSQL#BigData !

Analyser toutes les données et pas seulement les métadonnées. BigData pour l’Analyse et la Prévention contre la Fraude et les IntrusionsBigData pour l’Analyse et les investigationsBigData pour l’Analyse PrédictiveBigData pour la Protection Proactive
#Cloud #BigData #Security #Mobile@ExcelSysFrance ExcelerateSystemsFranceSecData–XL

Solution pour toutes les Entreprises

#3 Identifier les Compétences

Comment ?
Obstacles à l'adoption du BigData
Le manque de ressources et de compétences qualifiées
Selon McKinsey, à horizon 2018;
les États-Unis devront faire face à une pénurie de :
•140.000 à 190.000 personnes avec des compétences d'analyse de données
•1,5 million d’analystes avec le savoir-faire minimum leur permettant utiliser l'analyse de données massives pour prendre des décisions efficaces. En France; Vu le faible taux de pénétration de ces nouveaux modèles de BigData dans les entreprises, la pénurie devrait être proportionnellement plus importante.

Les Nouveaux Métiers
Pour Réaliser des Projets en utilisant les technologies du BigData
ChiefData Officer(CDO) : la responsabilité du CDO concerne les données et leur état : Valeur, Qualité, Fiabilitéet doit en garantir la Cohérenceet Gouvernance. Les données peuvent être d’origine interne ou externe, privée ou publique
Data Scientist: est chargé de développer les outils adaptés au besoin pour Collecter, Analyser et faire parler les données numériques et, de les présenter sous un format simple et compréhensible (DataVizualisation)
Data Analyst: va manipuler les données une fois que la base est opérationnelle, afin de faire remonter les informations nécessaires pour les prises de décisions.
Et faire évolution les métiers du Marketing , de la Vente, des Architectes, des Administrateurs Réseaux, de DBA… avec des programmes de formations adaptées.

Excelerate Systems +30 Experts CertifiésCloudera
•Depuis 2011, nous avons développé un réseau de consultants hautement qualifiés.
•Architectes,
•Administrateurs,
•Développeurs,
•Analystes, Statisticiens
•Data Scientistes
•Nous avons réalisé plusieurs projets dans divers secteurs d’activités.
•e-Commerce
•Jeux
•e-Gouvernement
•Banque et Finance
•Grande Distribution
•Marketing
•Communication
•Sécurité et Protection des Données

Des Experts accessibles mondialement
•France
•2 Développeur Certifié Cloudera
•1 Administrateur Certifié Cloudera
•2 Data Scientiste & Analyste
•1 Expert DataViz
Canada
1 Développeur Certifié Cloudera
États Unis
1 Développeur Certifié Cloudera,
1 Administrateur Certifié Cloudera
1 Data Scientiste
Mexique
1 Administrateur Certifié Cloudera
Brésil
2 Développeurs Hadoop (Sao Paulo, Belém,
1 Administrateur Certifié Hadoop (Belém)
1 Développeur HBase(Rio)
Chine
1 Administrateur Certifié Cloudera,
1 Développeur Certifié Cloudera,
Inde 2 Administrateurs Certifiés Cloudera, 2 Développeurs Certifiés Cloudera,
Chili 1 Développeur Cert.
Excelerate Systems Offices
Espagne 1 Développeur Cert.

+100 Clients nous font confiance…

Qui sommes-nous ?
•Entreprise Privée, Fondée en 2007 à Seattle, Washington USA
•Des bureaux pour l’Europe à Bordeaux(France), pour l’Amérique Latine à Mexico(Mexique) et présence dans +20 pays
•Offre Riche dans 4 catégories
1.BigData, Cloud et Virtualisation.
2.Sécurité et Protection des Données et Optimisation des S.I
3.Gestion et Sécurité du Mobile en Entreprise et le CRM-Mobile.
4.Connectivité au Systèmes Centraux et l’intégration des Mainframes

Merci de votre attention
@ExcelSysFrance
ExcelerateSystemsFranceExcelerate Systems -BigData, Cloud & Security Community
#Security
#BigData
#Cloud
#Mobile

BigData .|. Cloud .|. MobileDataProtection

BigDataBx #1 - Journée BigData à la CCI de Bordeaux

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie BigDataBx #1 - Journée BigData à la CCI de Bordeaux

Ähnlich wie BigDataBx #1 - Journée BigData à la CCI de Bordeaux (20)

Mehr von Excelerate Systems

Mehr von Excelerate Systems (16)

BigDataBx #1 - Journée BigData à la CCI de Bordeaux