SlideShare ist ein Scribd-Unternehmen logo
1 von 11
HUG France #1 - 15 Mars 2012


Intégrer Hadoop dans votre SI via un
     outil graphique open source




      Ce support est mis à disposition selon les termes de la Licence Creative Commons
      Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. -
      http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Cédric Carbone

                                                                                                               CTO


                                                                                                               Board Member


                                                                                                               Board Member


Interests:
   #DataIntegration #ETL #DataQuality #MDM #ESB #BigData #Hadoop

Contact:
  ccarbone_at_talend.com                                                                     @carbone
                    Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                                       - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
What’s Map/Reduce?




            Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                               - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Vision
Democratize         de·moc·ra·tize Verb /di’mäkrə,tīz/

   1.   Introduce a democratic system or democratic principles

   2.   Action taken by a group of people

   3.   Make (something) accessible to everyone
Talend Open Studio for Big Data




             Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                                - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                   - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Extraction/Loading from/to




http://www.screencast.com/users/rdubois.contact/folders
    /HadoopIntegrationWithTalend/media/24f53512-
    a059-401c-bff3-4b5af140a7c9




                                Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                                                   - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Transformation thanks Pig




http://www.screencast.com/users/rdubois.contact/folders
    /HadoopIntegrationWithTalend/media/24f53512-
    a059-401c-bff3-4b5af140a7c9

http://www.screencast.com/users/rdubois.contact/folders
    /HadoopIntegrationWithTalend/media/6dd80814-
    d6d3-44d0-bbda-aeb01646eede
                                Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                                                   - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
Others connectors: Sqoop, Hbase, Hive




             Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                                - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
What’s new in the 5.1 release (GA in May) ?
Talend Open Studio for Big Data 5.1:
    Support last version of Apache Hadoop, HDP, CDH, MapR…
    Support Oozie (provisionning and scheduling)
    Support Kerberos for HDFS


Move Hadoop in OSGi with feature ready for Apache Karaf and Apache Talend
  Runtime
    OSGi bundles for Hadoop Core (annotation, auth et common)
    OSGi bundles for Hadoop HDFS, Hive, MapReduce and ZooKeeper
    Enhancement for previous OSGi bundles (register OSGi services thanks
     blueprint…)
    Thanks OSGi services, create Karaf command and Mbeans for Karaf to
     manage Hadoop


                         Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
                                            - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
#1 HUG France 15 Mars 2012
Merci pour votre attention et venez nous
    rencontrez pour la 3e mi-temps !




      Ce support est mis à disposition selon les termes de la Licence Creative Commons
      Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. -
      http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Weitere ähnliche Inhalte

Ähnlich wie Talend Open Studio for Big Data (powered by Apache Hadoop)

Cohabitation Logiciels Libres et propriétaires
Cohabitation Logiciels Libres et propriétairesCohabitation Logiciels Libres et propriétaires
Cohabitation Logiciels Libres et propriétaires
Michel-Marie Maudet
 

Ähnlich wie Talend Open Studio for Big Data (powered by Apache Hadoop) (20)

Hadoop prêt pour l'Entreprise
Hadoop prêt pour l'EntrepriseHadoop prêt pour l'Entreprise
Hadoop prêt pour l'Entreprise
 
Un introduction à Pig
Un introduction à PigUn introduction à Pig
Un introduction à Pig
 
Spark une alternative à Hadoop MapReduce pour le Datamining
Spark une alternative à Hadoop MapReduce pour le DataminingSpark une alternative à Hadoop MapReduce pour le Datamining
Spark une alternative à Hadoop MapReduce pour le Datamining
 
Une introduction à Hive
Une introduction à HiveUne introduction à Hive
Une introduction à Hive
 
Introduction à HDFS
Introduction à HDFSIntroduction à HDFS
Introduction à HDFS
 
Utilisation de git avec Delphi
Utilisation de git avec DelphiUtilisation de git avec Delphi
Utilisation de git avec Delphi
 
Comment travailler avec les logiciels Open Source
Comment travailler avec les logiciels Open SourceComment travailler avec les logiciels Open Source
Comment travailler avec les logiciels Open Source
 
Une introduction à HBase
Une introduction à HBaseUne introduction à HBase
Une introduction à HBase
 
Une introduction à MapReduce
Une introduction à MapReduceUne introduction à MapReduce
Une introduction à MapReduce
 
20080513 - Paris Jug - Maven à La Demande
20080513 - Paris Jug - Maven à La Demande20080513 - Paris Jug - Maven à La Demande
20080513 - Paris Jug - Maven à La Demande
 
Amener vos applications Dockerisées jusqu’en production avec XebiaLabs
Amener vos applications Dockerisées jusqu’en production avec XebiaLabs �Amener vos applications Dockerisées jusqu’en production avec XebiaLabs �
Amener vos applications Dockerisées jusqu’en production avec XebiaLabs
 
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
Introduction à Drupal. Pourquoi Drupal est, en toute objectivité, le meilleur...
 
Le choix de l'Open Source
Le choix de l'Open SourceLe choix de l'Open Source
Le choix de l'Open Source
 
Introduction à Google Web Toolkit (GWT) - Philippe Kernevez - February 2009
Introduction à Google Web Toolkit (GWT) - Philippe Kernevez - February 2009Introduction à Google Web Toolkit (GWT) - Philippe Kernevez - February 2009
Introduction à Google Web Toolkit (GWT) - Philippe Kernevez - February 2009
 
Google+ To RSS As A Service
Google+ To RSS As A ServiceGoogle+ To RSS As A Service
Google+ To RSS As A Service
 
[AzureCamp 24 Juin 2014] Azure Media Services par Xavier Pouyat
[AzureCamp 24 Juin 2014] Azure Media Services par Xavier Pouyat[AzureCamp 24 Juin 2014] Azure Media Services par Xavier Pouyat
[AzureCamp 24 Juin 2014] Azure Media Services par Xavier Pouyat
 
Drupagora 2013 : introduction drupal
Drupagora 2013 :  introduction drupalDrupagora 2013 :  introduction drupal
Drupagora 2013 : introduction drupal
 
Vis ma vie de chef de projet Drupal | Drupagora 2013, Paris
Vis ma vie de chef de projet Drupal | Drupagora 2013, ParisVis ma vie de chef de projet Drupal | Drupagora 2013, Paris
Vis ma vie de chef de projet Drupal | Drupagora 2013, Paris
 
Cohabitation Logiciels Libres et propriétaires
Cohabitation Logiciels Libres et propriétairesCohabitation Logiciels Libres et propriétaires
Cohabitation Logiciels Libres et propriétaires
 
Auris solutions-fbs-futur-web
Auris solutions-fbs-futur-webAuris solutions-fbs-futur-web
Auris solutions-fbs-futur-web
 

Mehr von Modern Data Stack France

Mehr von Modern Data Stack France (20)

Stash - Data FinOPS
Stash - Data FinOPSStash - Data FinOPS
Stash - Data FinOPS
 
Vue d'ensemble Dremio
Vue d'ensemble DremioVue d'ensemble Dremio
Vue d'ensemble Dremio
 
From Data Warehouse to Lakehouse
From Data Warehouse to LakehouseFrom Data Warehouse to Lakehouse
From Data Warehouse to Lakehouse
 
Talend spark meetup 03042017 - Paris Spark Meetup
Talend spark meetup 03042017 - Paris Spark MeetupTalend spark meetup 03042017 - Paris Spark Meetup
Talend spark meetup 03042017 - Paris Spark Meetup
 
Paris Spark Meetup - Trifacta - 03_04_2017
Paris Spark Meetup - Trifacta - 03_04_2017Paris Spark Meetup - Trifacta - 03_04_2017
Paris Spark Meetup - Trifacta - 03_04_2017
 
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
Hadoop meetup : HUGFR Construire le cluster le plus rapide pour l'analyse des...
 
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
HUG France Feb 2016 - Migration de données structurées entre Hadoop et RDBMS ...
 
Hadoop France meetup Feb2016 : recommendations with spark
Hadoop France meetup  Feb2016 : recommendations with sparkHadoop France meetup  Feb2016 : recommendations with spark
Hadoop France meetup Feb2016 : recommendations with spark
 
Hug janvier 2016 -EDF
Hug   janvier 2016 -EDFHug   janvier 2016 -EDF
Hug janvier 2016 -EDF
 
HUG France - 20160114 industrialisation_process_big_data CanalPlus
HUG France -  20160114 industrialisation_process_big_data CanalPlusHUG France -  20160114 industrialisation_process_big_data CanalPlus
HUG France - 20160114 industrialisation_process_big_data CanalPlus
 
Hugfr SPARK & RIAK -20160114_hug_france
Hugfr  SPARK & RIAK -20160114_hug_franceHugfr  SPARK & RIAK -20160114_hug_france
Hugfr SPARK & RIAK -20160114_hug_france
 
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
HUG France : HBase in Financial Industry par Pierre Bittner (Scaled Risk CTO)
 
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
Apache Flink par Bilal Baltagi Paris Spark Meetup Dec 2015
 
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
Datalab 101 (Hadoop, Spark, ElasticSearch) par Jonathan Winandy - Paris Spark...
 
Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015
Record linkage, a real use case with spark ml  - Paris Spark meetup Dec 2015Record linkage, a real use case with spark ml  - Paris Spark meetup Dec 2015
Record linkage, a real use case with spark ml - Paris Spark meetup Dec 2015
 
Spark dataframe
Spark dataframeSpark dataframe
Spark dataframe
 
June Spark meetup : search as recommandation
June Spark meetup : search as recommandationJune Spark meetup : search as recommandation
June Spark meetup : search as recommandation
 
Spark ML par Xebia (Spark Meetup du 11/06/2015)
Spark ML par Xebia (Spark Meetup du 11/06/2015)Spark ML par Xebia (Spark Meetup du 11/06/2015)
Spark ML par Xebia (Spark Meetup du 11/06/2015)
 
Spark meetup at viadeo
Spark meetup at viadeoSpark meetup at viadeo
Spark meetup at viadeo
 
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamielParis Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
Paris Spark meetup : Extension de Spark (Tachyon / Spark JobServer) par jlamiel
 

Talend Open Studio for Big Data (powered by Apache Hadoop)

  • 1. HUG France #1 - 15 Mars 2012 Intégrer Hadoop dans votre SI via un outil graphique open source Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 2. Cédric Carbone CTO Board Member Board Member Interests: #DataIntegration #ETL #DataQuality #MDM #ESB #BigData #Hadoop Contact: ccarbone_at_talend.com @carbone Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 3. What’s Map/Reduce? Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 4. Vision Democratize de·moc·ra·tize Verb /di’mäkrə,tīz/ 1. Introduce a democratic system or democratic principles 2. Action taken by a group of people 3. Make (something) accessible to everyone
  • 5. Talend Open Studio for Big Data Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 7. Extraction/Loading from/to http://www.screencast.com/users/rdubois.contact/folders /HadoopIntegrationWithTalend/media/24f53512- a059-401c-bff3-4b5af140a7c9 Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 8. Transformation thanks Pig http://www.screencast.com/users/rdubois.contact/folders /HadoopIntegrationWithTalend/media/24f53512- a059-401c-bff3-4b5af140a7c9 http://www.screencast.com/users/rdubois.contact/folders /HadoopIntegrationWithTalend/media/6dd80814- d6d3-44d0-bbda-aeb01646eede Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 9. Others connectors: Sqoop, Hbase, Hive Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 10. What’s new in the 5.1 release (GA in May) ? Talend Open Studio for Big Data 5.1:  Support last version of Apache Hadoop, HDP, CDH, MapR…  Support Oozie (provisionning and scheduling)  Support Kerberos for HDFS Move Hadoop in OSGi with feature ready for Apache Karaf and Apache Talend Runtime  OSGi bundles for Hadoop Core (annotation, auth et common)  OSGi bundles for Hadoop HDFS, Hive, MapReduce and ZooKeeper  Enhancement for previous OSGi bundles (register OSGi services thanks blueprint…)  Thanks OSGi services, create Karaf command and Mbeans for Karaf to manage Hadoop Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 11. #1 HUG France 15 Mars 2012 Merci pour votre attention et venez nous rencontrez pour la 3e mi-temps ! Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Hinweis der Redaktion

  1. 400 personnes 150 personnes en R&D, R&D Paris/Allemagne/Ireland/Kiev/Belorussie/Pekin/US (rien aux UK/Italie). 2006 DataIntegration 2007 Produit commercial BusinessModel Ouverture 2008DQ 2009 MPx 2010 MDM 2011 ESB 2012 BigData as in 2009
  2. Talend is looking to democratize the ESB to help address these challenges. When we talk about “ Democratizing the ESB ” , what do we mean? Democratizing is about introducing democratic principles to the way that something is governed… It ’ s following a path that is defined by a group of people – or a community. And it ’ s about making something accessible to everyone – in this case, not only the Global 2000, but the departmental users within large organizations with limited budgets and the small to mid-sized businesses that up until recently have not had the budgets and resources to take advantage of ESBs. Holitics integration
  3. HortonWorks => spioff de Y!, plus gros contributeur sur Hadoop TOS4BD embeded dans toutes les distributions Jira
  4. Prendre des données de DB dans HDFS Puis Extraire ces données depuis HDFS vers une BD 5minutes
  5. Complete le scenario précédent pour ajouter des 5 minutes
  6. In 2011, 80 % of Apache CXF commits comes from Talend employees Based in US (3), France (2), Ireland(2) and Germany(1) Apache Member, PMC Chair, PMC, Mentors and committers