Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

1. HUG France #1 - 15 Mars 2012
Salades, tartes au poulpe et Hadoop
Une expérience d’utilisation d’Hadoop
Yann Schwartz - Kobojo
Yann at polom.com
@abolibibelot
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

2. Kobojo
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

3. Architecture
●
4 jeux
●
AWS - .Net – Redis
●
Azure - .Net – MongoDB
●
Datacenter
●
SI interne
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

4. Les données
●
Tracking utilisateur (actions dans le jeu)
●
Logs applicatifs
●
Données utilisateur : SQL Server
●
Données des jeux : Redis, MongoDB
●
Tracking : S3 – Azure storage
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

5. Le tracking
●
Emis par les jeux
●
À chaque action
●
Reçus par des serveurs de tracking
●
Traitement
●
Nettoyage et décoration
●
Différents sinks
●
Suivi temps réel
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

7. Avant
●
Données descendues dans un SGBD / cube
●
Batches la nuit
Mais des problèmes de…
●
Volume
●
Localité
●
Temps de traitement
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

8. Passage à Hadoop
●
Elastic Map Reduce
« what happens in the cloud stays in the cloud… »
●
Pig Latin
●
Migration de jobs existants et nouveaux jobs
●
Statistiques d’usage
●
Engagement
●
Comportements d’achats
●
Calculs sur les graphes sociaux
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

9. Des petits cahots sur la route
●
Plate-forme
●
Version de pig / hadoop sur EMR
●
Compatibilité cygwin
●
Pig
●
Impedance mismatch
●
Orchestration
●
Convaincre les data analysts
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

10. Pistes considérées
●
Cascading / cascalog
●
Import avec flume
et /ou
●
Event processing et import avec Storm
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation
Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

11. HUG France #1 - 15 Mars 2012
Salades, tartes au poulpe et Hadoop
Merci de votre attention
Yann Schwartz - Kobojo
Yann at polom.com
@abolibibelot
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale
- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/