Journée Calcul Intensif pour la biologie Lille 14/06/11. http://www.lifl.fr/~touzet/calculintensif11.html

1. Les clouds, du buzz à la vraie science Frédéric DesprezLIP ENS Lyon/INRIA Grenoble Rhône-AlpesEPI GRAAL/Avalon 14/06/2010

2. Hype !

3. introduction

5. La transparence d’utilisation des grandes plates-formes distribuées est primordiale

6. Pouvoir gérer ces ressources de manière dynamique et élastique!

7. Un long historique du calcul distribué à plus ou moins grande échelle

8. Des supercalculateurs et grappes aux Clouds en passant par les grilles

9. Des besoins applicatifs de plus en plus importants et variés

10. Explosion du nombre et du volume de données

11. Utility computing

12. “Wewillprobablysee the spread of computer utilities, which, likepresentelectric and telephone utilities, will service individual homes and offices accrossthe country”Professeur John McCarthy, 1961 !!!

14. 1980: Client-serveurs,

15. 1990: Web, grilles,

16. 2000: SOA,

17. 2010: Clouds Credit: IBM Corp. Cloud Computing

19. La profusion de ressources (data centers)

20. Une technologie de virtualisation mature et des communications à haut débit

21. Quelques caractéristiques

22. Libre service à la demande

23. Le consommateur récupère des ressources de calcul et de stockage à la demande (machines virtuelles)

24. Accès réseau

25. Ressources, briques logicielles et applications disponibles à travers le réseau pour des clients de tailles différentes

26. Mise en commun de ressources

27. Data centers fournissant les ressources (machines, stockage, mémoire, BP réseau) pour différents clients en mode partagé. Diminution des tâches de maintenance.

28. « Elasticité » réactive et rapide

29. Croissance ou décroissance dynamique du nombre de ressources en fonction de la demande et des besoins. Extensibilité !

30. Service mesuré et facturation à l’usage

31. Reporting de l’utilisation des ressources

32. Résilience

34. Une vue à 10000 pieds SLAs Services web Virtualisation

36. simplifier l’accès aux ressources distantes de la manière la plus transparente possible

37. Technologie différente

38. Grappes et batchs vs datacenters et virtualisation

39. Gestion de ressources

40. Statique vs dynamique

41. Modèle de programmation

42. MPI/GridRPC vs MapReduce/scripts/workflows

43. Modèle de sécurité

44. Certificats vs Web + SSL

45. Des domaines applicatifs différents (pour l’instant!)

47. Modes d’utilisation

49. Le matériel est fourni sous forme de machines virtuelles sur lesquelles on installe son image disque

50. Amazon EC2, Rackspace, GoGRID, Orange, …

51. Platform as a Service (PaaS)

52. On peut développer ses propres applications en utilisant les services fournis

53. Google Apps, Windows Azure, Amazon S3, IBM CloudBurst et Websphere, …

54. Software as a Service (SaaS)

55. Des applications entières sont disponibles à distance

57. Virtualisation Machines virtuelles s’exécutant sur un nœud de calcul VM0 VM1 VM2 N0 Proposé par IBM dans les années 60 “Virtual Machines have finallyarrived. Dismissed for a number of years as merelyacademiccuriosities, they are nowseen as cost-effective techniques for organizing computer systemsresources to provideextraordinary system flexibility and support for certain unique applications”. Goldberg, Survey of Virtual Machine Research, 1974 Nœud de calcul Crédits: T. Priol, INRIA

59. Portabilité

60. Suspend/restart (et migration ?)Machine virtuelle VM2 VM1 Machine virtuelle ? Machine virtuelle VM0 N1 VM0 Machine virtuelle Machine virtuelle Noeud de calcul Crédits: T. Priol, INRIA

62. On ne paye que ce qu’on utilise

63. Plus de 20 produits

64. Datacenters sur 5 régions géographiques

65. Des nouveautés régulièrement

66. Références : Dropbox, Slideshare, Netflix, Zinga …Credits: Fabien Bousquet, Kalistic

67. AWS : Mise en place Inscription internet Carte bancaire Instantané Console Web pour démarrer Pas d’attente de mise en place Pas de coût d’installation Système ouvert / automatisable : Outil SDK API Credits: Fabien Bousquet, Kalistic

68. Amazon Elastic Compute Cloud A set of APIs and business models which give developer-level access to Amazon’s infrastructure and content: Search As A Service Alexa Web Information Service Alexa Top Sites Alexa Site Thumbnail Alexa Web Search Platform Data As A Service Amazon E-Commerce Service Amazon Historical Pricing Infrastructure As A Service Amazon Simple Queue Service Amazon Simple Storage Service Amazon Elastic Compute Cloud Other tools BD : RDS, SimpleDB Messaging : SNS, SQS, SES Stockage : EBS, AWS Import/Export CDN : CloudFront » « Calcul » : MapReduce Déploiement/Gestion : Beanstalk, CloudFormation Surveillance : CloudWatch Réseaux : Route 53, VPC People As A Service Amazon Mechanical Trunk Credits: Jeff Barr, Amazon

69. Amazon Web Services Elastic Compute Cloud (EC2) Calculer Simple Storage Service (S3) Simple Queue Service (SQS) Stocker Echanger Credits: Jeff Barr, Amazon

72. Elastic Capacity

73. 1.7 GHz x86

74. 1.7 GB RAM

75. 160 GB Disk

76. 250 MB/Second Network

77. Network Security ModelTime or Traffic-based Scaling, Load testing, Simulation and Analysis, Rendering, Software as a Service Platform, Hosting $.10 - $.18 per GB data transfer

78. Amazon EC2 Concepts Amazon Machine Image (AMI) Bootable root disk Pre-defined or user-built Catalog of user-built AMIs OS: Fedora, Centos, Gentoo, Debian, Ubuntu, Windows Server App Stack: LAMP, mpiBLAST, Hadoop Limited to 10 GB Instance Running copy of an AMI Launch in less than 2 minutes Start/stop programmatically Network Security Model Explicit access control Security groups Inter-service bandwidth is free

79. Types d’instances http://aws.amazon.com/fr/ec2/instance-types/ High-Memory Extra Large Instance 17.1 Go de Mémoire6.5 EC2 ComputeUnits (2 virtualcores avec chacun 3.25 EC2 ComputeUnits)420 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Modérée High-Memory Double Extra Large Instance 34.2 Go de Mémoire13 EC2 ComputeUnits (4 virtualcores avec chacun 3.25 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée High-Memory Quadruple Extra Large Instance 68.4 Go de Mémoire26 EC2 ComputeUnits (8 virtualcores avec chacun 3.25 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée Applications à grand trafic, notamment les bases de données et les applications de mise en mémoire cache Instance gratuite Petites Instances – défaut 1.7 Go de Mémoire1 EC2 Compute Unit (1 virtualcore avec 1 EC2 Compute Unit)160 Go de stockage d’instancePlateforme 32-bitPerformance I/O: Modérée Large Instance 7.5 Go de Mémoire 4 EC2 ComputeUnits (2 virtualcores avec chacun 2 EC2 ComputeUnits)850 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée Extra Large Instance 15 Go de Mémoire8 EC2 ComputeUnits (4 virtualcores avec chacun 2 EC2 ComputeUnits)1,690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Elevée

80. Types d’instances, suite http://aws.amazon.com/fr/ec2/instance-types/ Quadruple Extra Large Instance Grappe de Calcul 23 Go de Mémoire33.5 EC2 ComputeUnits (2 x Intel Xeon X5570, quad-core architecture “Nehalem”)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: Très Elevée (10 Gigabit Ethernet)Nom API: cc1.4xlarge Les instances cette famille fournissent proportionnellement plus de ressources CPU avec une performance réseau améliorée et sont adaptées aux applications Calculs Haute Performance (HPC) et aux autres applications nécessitant un lien réseau. High-CPU Medium Instance 1.7 Go de Mémoire5 EC2 ComputeUnits (2 virtualcores avec chacun 2.5 EC2 ComputeUnits)350 Go de stockage d’instancePlateforme 32-bitPerformance I/O: ModéréeNom API: c1.medium High-CPU Extra Large Instance 7 Go de Mémoire20 EC2 ComputeUnits (8 virtualcores avec chacun 2.5 EC2 ComputeUnits)1690 Go de stockage d’instancePlateforme 64-bitPerformance I/O: ElevéeNom API: c1.xlarge

81. EC2: Stockage Instance store Copie de l’AMI / disque de boot Limité à 10 GB Instance EC2 Mount Disque lié à l’instance sans coût additionnel Nombre et taille variable en fonction du type d’instance Ephemeraldisk EBS Non lié au cycle de vie de l’instance Nombre et taille libres S3 Copie d’un EBS à un instant T Stocké sur S3 SNAPSHOT Accès via API Données non persistantes => Données perdues si machine arrêtée (« terminate ») ou machine plantée Données persistantes => Données non liées au cycle de vie de l’instance Credits: Fabien Bousquet, Kalistic

83. 1 B – 5 GB / object

84. Fast, Reliable, Scalable

85. Redundant, Dispersed

86. 99.99% Availability Goal

87. Private or Public

88. Per-object URLs & ACLs

89. BitTorrent Support$.15 per GB per month storage $.10 - $.18 per GB data transfer

90. Vuegénérale S3 EC2 Region bucket Zone Instance EC2 EBS API Mount S3 Security Group Start with Do snapshot SNAPSHOT API AMI AMI Web Credits: Fabien Bousquet, Kalistic

94. Access to Amazon EC2 and ElasticHostsclouds

95. libvirt, EC2 Query API and OGC OCCI interfaces

97. Pas de gestion de l’infrastructure sous-jacente (machines, réseaux, stockage, systèmes d’exploitation, …). Le support d’exécution gère le déploiement et le nombre de ressources.

98. Mais contrôle de l’application et de la configuration de son environnement

100. Datacenters on 3 continents (2 regions each)

101. Pay as you go

102. No installation cost

103. Management through an onlineconsole

104. Integration with Microsoft Visual Studio

106. Pas de gestion de l’infrastructure sous-jacente (machines, réseaux, stockage, systèmes d’exploitation, …)

107. Exemples

109. Infrastructure (propriété du fournisseur) louée à n’importe qui

110. Cloud privé

111. Propriété d’une entreprise

112. interne ou externe

113. Cloud communautaire

114. Mise en commun de ressources pour une communauté d’utilisateurs

115. interne ou externe

116. Cloud hybride

117. Composition de plusieurs formes de Clouds, voir même de grilles

119. Standards et Programmation

121. Besoins de standards pour assurél’intéropérabilité entre les plates-formes et les applications

122. API de gestion des ressources

123. OGF : Open Grid Forum

124. DMTF : Distributed Management Task Force

125. OCCI : Open Cloud Computing Interface

126. API stockage Cloud

127. SNIA : Storage Networking Industry Association

128. Intercloud

129. GICTF : Global Intercloud Technology Forum

130. Aspects sécurité

131. CSA: Cloud Security Alliance

132. Et d’autres

134. MapReduce 3 A hash function maps the results of the map tasks to r reduce tasks Data is split into mparts 1 D1 map 5 O1 reduce A combinetask may be necessary to combine all the outputs of the reduce functions together D2 map Data O2 reduce Dm map 2 data split map reduce mapfunction is performed on each of these data parts concurrently 4 Once all the results for a particular reducetask is available, the framework executes thereducetask

135. Google MapReduce: parallel execution Credits: J. Dean, S. Ghemawat, Google, Inc.

136. Securité et pannes

137. Sécurité et pannes

139. Problèmes juridiques

140. Localisation des données et des calculs

141. Propriété des données

142. Lois internationales

143. Gestion de l’isolation

144. Attraction des hackers

145. Besoin de chiffrement à plusieurs niveaux

146. Déplacements de données

147. Perte de contrôle

148. Mais aussi des avantages

149. Gestion des fautes et des pannes par un fournisseur externe

150. Gestion automatisée de la sécurité

153. Quelques challenges de recherche

154. Composition de services

155. Service Level Agreement (SLA)

156. Sécurité

157. Résistance aux fautes/pannes

158. Gestion de l’infrastructure

159. Ordonnancement et gestion élastique des ressources

160. Gestion de données

161. Accès transparent à des plateformes hybrides

162. Multi-clouds

163. Nouveaux modèles

164. économiques, énergie

165. Programmation des applications

168. Les ressources sont disponibles en quantité !

169. Nombreuses offres de Clouds publics et privés

170. Notion de virtualisation et piles logicielles « mature »

171. « Quelques » problèmes à traiter encore mieux

172. extensibilité, sécurité, gestion de données à grande échelle, tolérance aux fautes, API entre Clouds,skycomputing, énergie, standards, …

173. Notion de confiance dans cette nouvelle technologie !

174. Le Cloud n’est pas prêt d’enterrer les supercalculateurs pour autant pour les grosses applications de simulation (architectures pétascaleset bientôtexascales)

177. http://cordis.europa.eu/fp7/ict/ssai/docs/cloud-report-final.pdf

178. Cloud Strategy and Innovation Blog (I. Llorrente)

179. http://blog.cloudplan.org/

180. Above the Clouds: A Berkeley View of Cloud Computing

181. http://www.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-28.html

182. http://berkeleyclouds.blogspot.com/

183. The NIST Definition of Cloud Computing

184. http://csrc.nist.gov/publications/drafts/800-145/Draft-SP-800-145_cloud-definition.pdf

185. DRAFT Cloud Computing Synopsis and Recommendations

186. http://csrc.nist.gov/publications/drafts/800-146/Draft-NIST-SP800-146.pdf

187. Cloud Computing Bible

188. B. Sosinsky, Wiley

189. SIENA EuropeanRoadmap on Grid and Cloud Standards for e-Science and Beyond

190. http://www.sienainitiative.eu/Repository/FileScaricati/8ee3587a-f255-4e5c-aed4-9c2dc7b626f6.pdf

191. Les Clouds: Buzzword ou révolution technologique

192. http://www.slideshare.net/desprez/les-clouds-buzzword-ou-rvolution-technologique-8238203