Windows Azure est un environnement idéal pour déployer des applications gourmande en puissance de calcul qui sont capable d’utiliser les capacité d’élasticité du Cloud. Lors de cette session nous exposerons les nouvelles fonctionnalités de Windows HPC Server 2008 R2 pour les scénarios de débordement vers Windows Azure et nous passerons en revue les outils permettant de supporter cette mise en œuvre.

1. palais des
congrès
Paris
7, 8 et 9
février 2012

2. Faire du débordement de
charge d'un cluster Windows
HPC Server avec Windows
Azure (CLO210)
Mardi 7 Février
Thomas VARLET
Consultant HPC et Cloud Computing Azure
Microsoft France

3. Agenda
Windows HPC Windows
Server 2008 Azure HPC
R2 Scheduler
Scénarios de Q&A
débordement

4. Windows HPC Server 2008 R2

5. Windows HPC Server 2008 R2
Troisième génération de la solution HPC par Microsoft
Bibliothèques de Ordonnanceur Administration
distribution
Outils pour utiliser toutes ces Gérer les ressources de calcul Deployer/Administrer/surveill
ressources de calcul du cluster pour les utilisateurs er les machines du cluster
- MS-MPI
- SOA
- Excel

6. GUI

7. Windows HPC Server 2008 R2
Une plateforme complète et intégrée de cluster HPC
Construit à partir de Windows Server 2008 R2 64-bit
Répond aux besoin actuels et futurs du HPC
Windows Server 2008 Microsoft Windows
Microsoft HPC Pack
R2 HPC Edition HPC Server 2008 R2
2008 R2 Enterprise
Suite
• Propose une solution
• Ordonnanceur complète
• Gestion des ressources • Rentabilise les
• Securisé, fiable, testé investissements sur
• Support de hardware haute • Gestion du Cluster
l’administration Windows et
performances (x64, réseaux • Message Passing Interface ses outils
rapides, GPU) • Support de Windows 7 • Rend les opérations aussi
• Support de Windows Azure faciles que sur un seul
système

8. Windows HPC Server 2008 R2
Suite
Cluster Applications ISV /OSS
Excel MPI
SOA HPC Applications
HPC
Middleware Pack SOA
HPC Edition
Système
d’exploitation
Cluster Local Computing

9. Ressources utilisables
Puissance locale et dans Azure
HPC Head Node Desktops •En locale :
•Compute Node
•Workstation node
Locale •Server scavengin
Broker Node
Compute Nodes •Débordement dans Azure
•Payer a l’usage
•Solution Hybride
d’usage du cloud
Azure public
• Ajuster dynamiquement ce
Worker Role
RDB
qui tourne en local ou dans
Web Role le cloud
Blobs
VM Role

10. Cluster WHPCS avec des Azure
Node

11. Roadmap
July 2010 Dec 2010 June 2011 Nov. 2011
Microsoft HPC Server Microsoft HPC Microsoft HPC Server Microsoft HPC Server
2008 R2 Server 2008 R2 2008 R2 SP2 2008 R2 SP3
SP1
 Excel on HPC clusters  Integration with Windows  MPI runtime in Windows Azure  More Azure feature
 Schedule jobs to Azure:  Azure VM role  Simplification of ports used
workstations  “Burst” SOA and Parametric  New job scheduler policies  More tools
 Business critical SOA sweep jobs to Azure as
worker roles.  Lend/Borrow resource pools  Updated tools
 Scale to 1000+ nodes out-
 All compute nodes in Azure  Over/under subscribe nodes  Harvest cycles from servers
of-the-box
with head-node only on-  Common data for SOA Apps on your network.
 Dual boot clusters
premise.  Multi-domain support for  New job scheduler policies
 Diskless compute nodes
 User activity scheduling for workstations nodes  More configuration of the
 Extensible diagnostics and workstation nodes  Web Portal for job submission task level preemption t
troubleshooting framework
 C# cluster SOA debugger for and job status  Windows Azure HPC Job
 Flexible, customizable VS 2010.  Smart Card authentication Scheduler (Windows Azure
color-coded Heat map SDK

12. Windows Azure HPC Scheduler

13. palais des
congrès
Paris
7, 8 et 9
février 2012

14. « Windows Azure Scheduler
SDK »
Permet a des développeurs de créer un package Azure
pour des applications intensive en calcul
 Application + cluster dans Azure
Même ordonnanceur que celui de Windows HPC Serveur
2008 R2 SP2 Pack
 Même propriétés d’ordonnancement
 Même « run time »
 batch/SOA/MPI

15. Windows Azure Scheduler en
Action
Un déploiement Windows Azure
Front End
Compute Worker
Node Manager
Application
Front End
(Web Page) Application
Compute Worker
Windows
Compute Worker
Azure
Scheduler
Compute Worker
Compute Worker
Standard HPC
Job Scheduler API

16. Scenarios de débordement

17. Scenarios

18. Puissance HPC locale
Besoin d’une infra HPC
 Provide compute power for user
 Development / testing / production / prototyping
 Simulation/regulation
Pas prets au cloud public
 Application non prête
Ne peut pas utiliser un cloud public
 Pas encore ?
 Il est extrement facile d’ajouter des Azures Nodes
 Workload
 Accéder a des ressources dans l’infrastructure local
 Serveur de fichier, DB, …
 Azure connect ?
 Azure Blob
 Azure SQL ?

19. Local: WHPCS R2
Utiliser Windows HPC Server 2008 R2
 Machines dédiés,
 Vol de cycle sur des stations/serveurs

20. Les scénarios d’usage du Cloud
On and off workloads (e.g. batch job) Successful services needs to grow/scale
Over provisioned capacity is wasted Keeping up w/growth is big IT challenge
Time to market can be cumbersome Complex lead time for deployment
Unexpected/unplanned peak in demand Services with micro seasonality trends
Sudden spike impacts performance Peaks due to periodic increased demand
Can’t over provision for extreme cases IT complexity and wasted capacity

21. Cloud – Growing fast in Azure
Infrastructure HPC existante
 Puissance suffisante pour
 la production,
 Développement,
 Test.
Besoin de puissance le plus rapidement possible
 Disponibilité immédiate
 Puissance de calcul « infinie » disponible dans Azure

22. Débordement dans Azure
Windows HPC Server 2008 R2 Azures Nodes
 Etendre un cluster local vers le cloud afin d’absorber
des piques de charge et cela sans changer
l’application
 Avec votre suscription Azure ajoutez des
processeurs a votre cluster très rapidement

23. Cloud – Burst in Azure
Infrastructure HPC existante
 Puissance suffisante pour
 la production,
 Développement,
 Test.
Besoin de puissance pendant une durée limitée
 Besoin règlementaire
 Evènement périodique/exceptionnels
 Project

24. Débordement dans Azure 2
Windows HPC Server 2008 R2 Azures Nodes
 Etendre un cluster local vers le cloud afin d’absorber des
piques de charge et cela sans changer l’application
 Avec votre souscription Azure ajouter des ressources
quand vous en avez besoin
 Payer les ressources que lorsque vous les utilisez

25. Cloud - Applications in Azure
Pas de puissance de calcul en local
Besoin de puissance a des moments données
 Projet
 Réglementaire

26. Applications dans Azure
Une application entièrement hébergé dans Azure
 Pas de frontale en local
L’application est accédée depuis
 Un client riche local
 Application web ou un portail
 Service Web
Plusieurs business model
 Usage de l’application est facturé au client
 L’Application et le calcul sont fournis
comme un service
Scheduler et Runtimes supporté dans Azure
 Pas une frontale, un scheduler embraqué dans Azure
 Tous les runtimes: Parametric Sweep, MPI, Cluster SOA, Excel

27. Solution in Azure
Offrire un solution complète en utilisant Windows Azure
comme ressource
 Solution de type SAAS
Scenario utilisateur
 Se connecte sur un portail web
 Charge les données
 Lance le calcul
 Calcul tourne dans Azure
 Recupère les données

28. Solution dans Azure
(CSV)une application Azure
Créer
 En utilisant les ressources Azure
Vos clients accèdent a cette solution
 SAAS
 Utilise votre souscription Windows Azure
 Vos client payent l’usage
de votre solution

29. Les Rôles Windows Azure
pour construire ses applications
• Les rôles permettent de construire son architecture applicative
• Ils exécutent différents types de tâches spécialisées ou non
• Les rôles dialoguent entre eux au travers de files de messages
• Implémente l’interactivité avec l’utilisateur
• Basé sur Internet Information Server préinstallé
• Supporte les extensions classiques IIS
Web Role • Piloté et configuré au travers des outils de développement
• Pas d’interactivité avec l’utilisateur
• Implémente la logique métier de l’application
• Similaire au batch, à la couche applicative, aux services windows
Worker Role • Piloté et configuré au travers des outils de développement
• Utilisé pour pouvoir installer des applications complexe
• Les images sont construites par l’utilisateur avec Hyper-V
• Le master créé est téléchargé sur Azure pour être utilisé
VM Role

30. Les Services “Storage”
• Le “Storage” Windows Azure est un service de stockage géré par Windows Azure
• Les données peuvent être utilisées dans les applications Azure, ou accédées directement par URL
• L’URL d’accès peut être personnalisée avec son propre nom de domaine
• L’accès aux blobs est sécurisé par un système de contrôle d’accès permettant de définir des règles fines
• Les Blobs peuvent être mis en cache par le service Windows Azure Content Delivery Network (CDN)
HTTP/S
BLOBS: TABLES: QUEUES: DRIVES:
Structure hiérarchique pour Structure tabulaire. File de messages selon le Disque NTFS partagé
le stockage de fichiers Une table est un principe FIFO, pour la entre de multiples
identifiés par leur nom et ensemble d’entités communication instances.
chemin, ainsi que les (EAV*) définies asynchrone entre
métadonnées associées. chacune par un instances.
ensemble de
propriétés.

31. Architecture typique
3) The « job » is divided in
tasks. The tasks are put in a
Queue
4) The worker get the tasks in
the queue and process them
1) The user submit a
job trough the web 3 Queue
4
UI
1
1 6 5 n
Web Role Worker Role
Blob
2
5) Each worker post the results of
2) The job is added in the his computation in a Blob
Table for futur access
Table
6) The differents output are
assembled to get the final result

32. Q&A

33. Livre sur Windows Azure
Premier ouvrage rédigé en
Français
Sur l’intégralité de la
plateforme Windows Azure
Disponible dès aujourd’hui!
Consultation et achat
possible sur le stand (52)
des éditions ENI

34. Question
Depuis combien de temps utilisons nous Azure comme
solution de débordement pour Windows HPC Server 2008
R2 ?