1. Evolution de l’architecture de LinkedIn, enjeux techniques et organisationnels Yassine Hinnach, Sr Engineering Manager, LinkedIn 2011 © Université du Système d’Information 1

2. 2011 © Université du Système d’Information LinkedIn, en bref 2

3. 2011 © Université du Système d’Information Une croissance rapide 11e site le plus visité aux Etats-Unis (rang mondial: 16, d’après alexa.com) Sources principales de revenus: comptes payants, publicités, solutions de recrutement, annonces payantes. 3

4. Piliers de la plateforme sociale Profils d’utilisateurs Graphe social Recherches Communications Flux d’activités sociales Extraction de données, personnalisation Faire glisser l'image vers l'icône pour l'ajouter 2011 © Université du Système d’Information 4

5. 2011 © Université du Système d’Information 5 Page d’acceuil

6. 2011 © Université du Système d’Information 6 Recherche, profil

7. 2011 © Université du Système d’Information Evolution de l’architecture 7

8. 2011 © Université du Système d’Information Architecture: 2003 - 2004 8

9. 2011 © Université du Système d’Information Architecture: 2005 - 2006 9

10. 2011 © Université du Système d’Information Architecture: 2007 - 2011 10

11. 2011 © Université du Système d’Information Architecture: 2007 – 2011 (suite) UI framework propriétaire: requêtes effectuées en parallèle. Cloud distribué, réécrit en C++ puis Scala Hadoop: personnalisation des produits. Offline à grande échelle. A/B testing: Tous changements de produits ou d’infrastructure. Site de dépannage en cas de catastrophe. Surveillance des systèmesetalertes. 11

12. 2011 © Université du Système d’Information Infrastructure Email 12 Hadoop: Comm: Miseen place DTO User Activity New Jobs Mbr Info W Pics … Tickle DB Tickle Voldemort Message Generation Kafka PYMK YPHANJ AISL … Gatekeeper LiX Keymaster Notifier

13. 2011 © Université du Système d’Information Technologies et open source 13 http://sna-projects.com

14. 2011 © Université du Système d’Information SOA 14

16. Systèmes tolérants en cas de dégradation de services.

17. Permet de développer en parallèle

18. Code découplé15

21. Coût accru

22. Autres problèmes: timeouts en cascade, plus de temps réseau.16

24. Gestion des timeouts: loadbalancers, adaptation aux services en difficulté.

25. Colocaliser physiquement les données pour minimiser le I/O disque aléatoire.

26. Caches de données.

27. Instrumentation: «Whatgetsmeasuredgetsfixed».17

29. Eviter le Java Serializationpour communiquer entre services.

30. APIs: éviter l’explosion de méthodes (builder pattern et querycriteria encouragés).

31. Développement logiciel défensif.

32. Privilégier les test unitaires (mocks): résultats prévisibles, rapides. Calibrer les tests d’intégration.18

33. 2011 © Université du Système d’Information Défis techniques 19

35. Elastique (ajout de machines, rééquilibrage)

36. Simple a administrer

37. Satisfaisant les besoins de nos produits (index multiples, recherches, réplication, failover, cluster équilibré, multiples centres de données, contraintes de SLAs strictes, analyze de données, instrumentation) 20

39. Builds, déploiements de logiciels: parmi les problèmes les plus complexes à grande échelle.

40. Inter opérabilité des services, sans barrières dues aux langages de programmation.

41. «Active-Active»: Utilisation optimale des centres de données.21

42. 2011 © Université du Système d’Information De la startup à la grande entreprise 22

44. Revues du design puis du code: distribution des connaissances, code plus solide, apprentissage pour nouveaux ingénieurs.

45. Ingénieurs colocalisés: favorise les échanges, le «pair programming»

46. Expertise en tous les domaines au sein de l’équipe (techniques de recherches, administration système, map-reduce, QA, design, instrumentation)23

48. Réparer les «vitres cassées», remède contre le laisser-aller

49. Culture du «Oui, c’est possible»

50. Simplicité des produitset solutions techniques

51. Hackdayset indays

52. Forums d’expression (améliorations ou nouveaux produits, repas, transports, recrutement)24

53. 2011 © Université du Système d’Information Hackdays 25

54. 2011 © Université du Système d’Information Environnement de travail exceptionnel http://www.linkedin.com/static?key=jobs 26

55. 2011 © Université du Système d’Information 27 Questions? YassineHinnach: http://www.linkedin.com/in/yassine yhinnach@linkedin.com