Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Microsoft Azure HPC for Technical Computing Scenarios
Ähnlich wie Microsoft Azure HPC for Technical Computing Scenarios (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (20)
Microsoft Azure HPC for Technical Computing Scenarios
- 1. Microsoft Innovation Center for Technical Computing MICROSOFT AZURE IN HPC SCENARIOS Lukasz Miroslaw, Ph.D. lukasz.miroslaw@hsr.ch 07.12.2015, MICROSOFT SWITZERLAND
- 2. Challenges 2 57 % of users are dissatisfied with their desktop computing capacity* * Source: US Council of Competitiveness: http://www.compete.org, theubercloud.com Computing: too slow Memory: too small Fig. Getting better PCs is sometimes hard.
- 3. Typical Cloud Scenarios 3 Use Case #1: CFD simulations on powerful VM. Use Case #2: HPC Cluster in the cloud. Use Case #3: Prediction of Energy Efficiency in the buildings.
- 4. Typical Cloud Scenarios 4 Use Case #1: CFD simulations on powerful VM. Microsoft Azure IaaS, Remote App, Azure Batch Use Case #2: Scale out physical simulations in the cloud. Microsoft HPC Pack, SimplyHPC Use Case #3: Prediction of Energy Efficiency in the buildings. Microsoft AzureML
- 5. Motivation: Collaborative Simulations of Electrical Arcs Goal #1: Develop a Cloud-based algorithm for electrical arc simulation Microsoft Azure Research Award in 2014 Contact: Kenji Takeda (Microsoft Research) Goal #2: Provide a simulation tool to partners in Brasil and Deutschland Partners Streamer International (RU) Panasonic (JP) Fraunhofer SCAI (DE) WEG (BR) 5
- 6. Use Case #1: VM with ANSYS 6 Cloud Infrastructure: D14 with 16 core CPU, 112 GB RAM, Windows Server 2012 MpCCI, ANSYS preinstalled Storage: locally redundant, automatically scallable License Server (LS) on A0 in Germany or in Switzerland. Customer VM LS
- 7. Use Case #1: VM with ANSYS 7 No Installation. No configuration. No up-front costs. Access to powerful VMs with ANSYS already preinstalled and preconfigured. Access to redundant and highly available storage. Disaster Recovery and 99.5% SLA. Connection to on-premise infrastructure with IPSec VPN. More info: www.msic.ch/Downloads/Software 10h of ANSYS CFD with HPC Pack (8 cores) costs about 330 CHF.
- 8. Use Case #1: INSTANT ANSYS 8 IaaS DEMO (Windows + Linux)
- 9. Use Case #1: VM with OpenFOAM 9 The UberCloud: Making Technical Computing available in the Cloud UberCloud Community: +2500 companies and individuals: +60 cloud providers, +80 software providers, several hundred consulting firms and individual experts. OpenFOAM added to Azure Marketplace Docker containerization
- 10. Use Case #1: Docker Containers 10 Virtual Machines Docker Containers Run as isolated process in userspace. Are not tied to any specific infrastructure.
- 11. Use Case #1: Docker Containers 11 Docker Swarm Scale out your application on the cluster natively. X 1000
- 12. Azure RemoteApp 12 Windows applications as a service accessible from anywhere.
- 14. Costs 14 VM with 16 cores and 56 GB RAM costs 2.11 CHF / hour (D14) 1 TB of Storage costs ca. 30 CHF / month RemoteApp: $10 / user / month (40h included) Pricing Calculator
- 15. Use Case #2: HPC Cluster in the cloud.
- 16. 16 Deploy compute nodes in compute- intensive VMs (IaaS) Deploy compute intensive worker role instances (PaaS) Use Case #2: HPC Cluster in the cloud.
- 17. 17 Use Case #2: HPC Cluster in the cloud. Linux Cluster is also possible (with SLURM)
- 18. HPC Pack IaaS Demo Configure the location, virtual network, domain and data base. Configure the head node. Configure the compute nodes. Configure the certificate.
- 19. HPC Pack IaaS Demo
- 20. Performance and Scalability Example #1: Solving linear systems with PETSc and HPCG 20 Fig. Performance in GFlops of PETSc solving ruep (right) matrix system and HPCG Benchmark (left) on different Microsoft Azure nodes and a private HSR cluster.
- 21. Performance and Scalability 21 Example #2: ANSYS CFX
- 22. Azure Batch 22 Batch is a managed service for batch processing or batch computing - running a large volume of similar tasks to get some desired result.
- 23. Short Summary 23 + Scaling properties of Microsoft Azure is comparable to the on-premises cluster. HSR Cluster: 7.3 days (176 hours), limited availability. Microsoft Azure: 4.9 days (118 hours), ca. 40% faster, 100% availability. + Dynamic scaling (up- / downscaling) and instant access to the newest hardware reduces the costs. + (Un)limited computing at competitive price. Cluster composed of 32 x A8 nodes (=256 cores) costs 32 x 2.11 CHF/h = ca. 68 CHF/h - Upscaling > 100 cores should be planned in advance and consulted with Microsoft.
- 24. Microsoft Azure Machine Learning Studio Three types of knowlege: Know-What (facts) Know-How (processes) Know-Why (reasons) 24 Image credit: Univ. Hamburg
- 25. AzureML Studio Key goals of Machine Learning: Prediction Classification Clustering Collaborative Filtering 25 Image credits: OpenCV, Snipview, Stanford Examples: + Predictive Analytics + Anomaly Detection + Prediction of energy consumption + Classification of sensor readings
- 26. AzureML Example: Heating Load Prognosis 26 Image credit: SAB Magazine Input: - Roof area - Overall hight - Glazing area - Surface area - ... Output: - Heating load prediction
- 27. AzureML Workflow 27 Machine Learning Workflow 1. Hypothesis 2. Data Preparation 3. Model 4. Test 5. Evaluate A. Tsanas, A. Xifara: 'Accurate quantitative estimation of energy performance of residential buildings using statistical machine learning tools', Energy and Buildings, Vol. 49, pp. 560-567, 201 - 8 physical characteristics from 768 buildings - Goal: predict buldings’ heating load and cooling load - Architects need to compare several building designs before selecting the final approach
- 29. AzureML: Short Summary 29 Very fast prototyping. Load the system with data, test different Machine Learning methods. Platform for Internet of Things: Event Hubs, Stream Analytics. Share the models & results. Deploy web services fast. Develop own methods in Python and R Statistics.
- 30. Modus operandi 30 What can we do for you? Cloud design and planning. Deploying your software (or ANSYS) in the cloud. Health Check (+40 questions to find out if your infrastructure is ready for the cloud). Machine Learning Analysis of your data. IoT and Big Data. CTI Projects (50% of the project budget comes from the state) BA/MA thesis: +140h/+300h can be alocated.
- 31. Modus operandi 31 Individual Projects Preis: 130 CHF per hour 1st meeting is free of charge. Estimate: we will prepare deliverables variants with cost estimates, timelines and proof of concept if feasible. Billing can be sub-divided as follows: Initial cost-estimate study (mandatory step, billed as the equivalent of 10 hrs. A report is delivered.) Project hours: as agreed with the user Adjustments: due to a change in user-requrest or mis-etimate of effort. Only upon prior agreement with the user. Inquiry 1st meeting Optional Meeting Work Deliverables Estimate Agree ment
- 32. Why Cloud Computing? 32 Reduced costs. You pay for the time you use the VM. You save on power, management, support and ... floor space. Greater business agility. You respond quickly to business opportunities and treaths. You can scale quickly to the cloud. Flexibility. You can move, resize, consolidate, and make choices to optimize any business metric.
Hinweis der Redaktion
- Mein Name is Lukasz Miroslaw und ich bin fuer die Cloud in unserer Gruppe zustandig. Ich werde kurz presentieren, wie das Microsoft Azure Platform bei Simulationen und HPC helfen kann. Wir sind Microsoft Partner mit denen arbeiten wir eng zusammen. In unserer Gruppe gibt es ca. 15 Mitarbeiter und allen simulieren mit kommerzielen und Open Source Simulationssoftware. Ziemlich oft die Simulationen nehmen sehr viel Zeit, nicht nur Minuten aber auch Stunden oder Tagen. Wir verwenden eine interne Cluster mit ca. 380 Kernen oder starke Workstations. Ab und zu mussen wir uns wettbewerbfahig machen, da die Warteschlange wachst, besonders wenn die Studenden auch rechnen wollen. Die Warteschlange wächst und wir sind frustriert. Ab und zu der Hardware geht kaput und dann sind wir noch frustriert. Kein Wunder, dass 57% von Benutzern sind nicht befriedigt mit dem Komputern. Seit paar Monaten evalurieren wir, wie die Cloud uns aber auch unseren Partner helfen kann.
- Ich werde drei use cases vorstellen. Erstens, wie man Stromungssimulationen auf virtuellen Maschinen laufen lässt, zweitens wie kann man einen Kluster in der Cloud deployen und drittens, wie kann man Azure Machine Learning benutzen um verschiede Prognose durchzufuhren. Hier werde ich ein Beispiel zeigen im Bereich Energieffizienz von Gebäuden.
- Dafur warden verschiede Azure Service angewendet:
- Wir haben eine laufende Zusammenarbeit mit zwei WEG Brazil und Fraunhofer SCAI Institute in Deutschland. Sie brauchen einen Zugriff zu eine VM mit ANSYS wo Sie das Model weiter entwickeln können.
- Wir haben fuer Ihnen eine VM in Brazil South Data Center erstellt, der Lizenserver bafand sich in Rapperswil, aber optional auch in Deutschland.
- Dieses Projekt motivierte uns eines sog. INSTANT ANSYS Service anzubieten. Wir haben eine Zusammenarbeit mit CADFEM und jetzt es ist moglich mit ANSYS zu stundenweise zu berechnen. Die Abrechnung erfolgt nach geleistenen Stunden.
- Wir haben mit Ubercloud gearbeitet um die Docker containers fuer zwei Applikationenn anzuwenden, unter anderem OpenFOAM. Jetzt OpenFOAM ist offiziel in MS Azure verfugbar. Ich werde jetzt zeigen wie eine VM mit Linux funktioneren kann. http://novnctest.cloudapp.net:6080/vnc.html hsruser, HSR123hsrxxx more /proc/cpuinfo
- Im Vergleich zu VMs die ziemlich schwer sind und viel GBs gross, Containers enthalten Applikationen und Abhängigkeiten aber einen OS mit anderen Containers teilen. Sie laufen als ein separater Prozess und sind nicht an einer Infrastruktur verbunden. Docker container lauft auf einem beliebigen Computern oder Infrastruktur. They run as an isolated process in userspace on the host operating system. They’re also not tied to any specific infrastructure – Docker containers run on any computer, on any infrastructure and in any cloud.
- Man kann die bestehende Containers auf dem Kluster mit sog. Docker Swarm deployen.
- Azure RemoteApp ist ein besonderes Service, das ermoglicht eine beliebige Applikation mehreren Benutzern anzubieten. Der Benutzer braucht nur ein Klient zu installieren Username: mictc-hsr@outlook.com Password: H$R@micTC
- Azure RemoteApp ist ein besonderes Service, das ermoglicht eine beliebige Applikation mehreren Benutzern anzubitten. Der Benutzer braucht nur ein Klient zu installieren Username: mictc-hsr@outlook.com Password: H$R@micTC
- Hier ist noch ein Uberblick mit Kosten.
- Image Credit: https://www.unicon.net/services/performance-and-scalability
- Wir haben zwei Szenarien getestet: in Ersten Fall der Cluster befindet sich on-premises, und die Cluster nodes befinden sich entweder local oder in der Cloud. In zweiten Fall, der ganze Klaster befindet sich in der Cloud. Fur diesen Fall habe ich ein Bespiel vorbereitet.
- Wir haben zwei Szenarien getestet: in Ersten Fall der Cluster befindet sich on-premises, und die Cluster nodes befinden sich entweder local oder in der Cloud. In zweiten Fall, der ganze Klaster befindet sich in der Cloud. Fur diesen Fall habe ich ein Bespiel vorbereitet.
- Das Klaster kann man beliebig mit Hilfe einer XML Datei konfigurieren. Das Deployment hat zwei Schritte.
- Das Deployment hat zwei Schritte. Im ersten Schritt wird geprüft, ob der Kluster deployt in diesem bestimmten Datacenter werden kann. In zweiten, der Klaster wird erstellt. Das ganze Prozess dauert ca. 1 Stunde.
- Hier ist ziemlich klar, dass die Leistung auf Azure A8 nodes viel besser ist. Der Grund dafür war,
- Wir haben auch ANSYS CFX auf bis zu 256 Kernen ausgeführt. Hier seht man die Berechnungszeiten und die Effizienz. Offensichtlich, die Leistung auf A8 Maschinen sieht besser aus. Wir vermuten, dass die langsamer RAM ist dafür zuständig.
- Ich möchte Sie auf Azure Batch aufmerksam machen. Diese Service ermoglicht eine Skalierung von eigenenen Applikationen. Jetzt werden wird das mit unseren Solver fuer Electrical Arc Simulationen testen.
- Skalierung ist viel besser auf dem Azure Cluster, da dort immer die neuste Hardware installiert wird. Was mir besonders gefallt hat ist eine Moglichkeit den Kluster beliebig up und down zu skalieren. Ein Bespiel: ein Kluster kostet ca. 70 CHF pro Stunde.
- Es gibt 3 Arten von das Wissen. Das Know-what Wissen sind Fakten, die in Lexikons, Enzyklopädien behalten werden kann. Das Know-how Wissen beinhaltet das Gewissen über Prozessen und das know-why Wissen erklärt warum etwas funktioniert. Man kann anhand von Know-what die Schlussfolgerungen uber know-how ziehen. Und das ist die Stelle wo Machine Learning hilft. There are 3 types of knowledge. Know-what are facts, can be encoded in lexicons, encyclopedias but also in databases. Know-how is about understanding processes, why something works and know-why is about understanding why it works. You can deliver know-how from know-what.
- Die wichstigste Einwendugsbereiche von ML sind: Prediction: anhand die Daten in der Vergangenheit, kann man die Werten von einer bestimmte Einheit im Voraus sagen. Man kann auch die Daten zu verschiedenen Klassen klassifizieren, man kann auch die Daten gruppieren. Beispiele: Predictive Maintanance, anomaly detection
- Hier ist ein Bespiel von Heizlast Prognose. Es gibt ein Gebäude, das mit vielen Eingenschaften beschreiben warden kann. Das Ziel ist die Heizlast vorauszusagen. Thermal loads are the quantity of heating and cooling energy that must be added or removed from the building to keep people comfortable. Thermal loads come from heat transfer from within the building during its operation (internal, or core loads) and between the building and the external environment (external, envelope, or fabric loads). These thermal loads can be translated to heating loads (when the building is too cold) and cooling loads (when the building is too hot). These heating and cooling loads aren’t just about temperature (sensible heat), they also include moisture control (latent heat). (See Infiltration & Moisture Control) Heating and cooling loads are met by the building’s HVAC system, which uses energy to add or remove heat and condition the space. This energy use translates to the HVAC component of a building’s equipment loads (met by fuel or electricity). Other building loads include plug loads (electricity used for computers and appliances) and lighting loads (electricity used for lights). - See more at: http://sustainabilityworkshop.autodesk.com/buildings/building-energy-loads#sthash.OstBuGSN.dpuf
- Resources: both VMs and cluster
- method of operation
- Man kann auch mit uns individuelle Projekte durchfuhren. Estes Treffen is kostenlos, dann erstellen wir ein Kostenvoranschlag, nach dem Projekt der Kunde bekommt die Delivarables (Arbeitsergebnisse) und naturlich eine Rechnung.
- Mit der Cloud kann man die Kosten sparen. Man bezahlt nur fuer die Zeit wenn die VM gebraucht wird. Kosten von Hardware, aber auch von technischer Unterstutzung konnen tiefer werden. Normaleweise gibt es nur Operationen Kosten, die man pro Monat bezahlt. Man muss sich nicht mehr mit hohen up-front Kosten rechnen. Bessere bussiness agilitaet. Mit der Cloud kann die Organisation mehr flexibel, aktiv, anpassungsfähig sein. Z. B. unserer Konkurent mochte sofort einen neuen Prototyp testen, unsere Kunde/Partner braucht dringend neue Resultate. Damit entstehen die Peaks in der Produktion. Normaleweise die Beschaffung von neuen Komputern ist ein komplizierten und dauerhaften Process. Man muss das Management uberzeugen, dann die neue Maschinen bestellen, warten auf der Lieferung, dann installieren, konfigurieren, testen. Mit der Cloud Skalierung ist einfacher und schneller. Flexibitlitat: man kann beliebig die VMs und Cloud resources deployen, migrieren, löschen, abspeichern. https://cloud.google.com/files/esg-whitepaper.pdf • Reduced costs. Cloud computing enables organizations to pay only for what they use. Instead of standing up dedicated infrastructure to run each application, you spin up virtual machines on infrastructure owned and managed by a provider. You pay for the time you use the VMs, instead of setting up servers on your own infrastructure. You save on power, cooling, and floor space; you save on management since you don’t have to install, operate, and troubleshoot it yourself. And you’re not depreciating the equipment—someone else is. The ability to start small and grow organically as your business requires it, instead of having to guess at what you’ll need next week, next month, and next year, lets you match your costs with actual usage. In addition, your computing costs in the cloud are usually operational expenses paid monthly rather than hefty up-front capital expenses. • Greater business agility. Agility is really about responsiveness. Cloud computing lets you respond quickly to business opportunities and threats. What if your product team suddenly figures out how to make the ultimate widget? Or a competitor suddenly starts gaining on your market share? You can scale quickly in the cloud, adding VMs to cover spikes in production and ramp up sales. With physical infrastructure, scaling is often a lengthy process that starts with requisition, justification to senior management, and purchase, followed by waiting for delivery, and then managing deployment, testing, re-configuration, and, finally, production. Equally important, in the cloud you can scale back down when a utilization spike has passed. With strictly physical infrastructure, you’ve made an investment that likely sits idle waiting for another spike. • Flexibility. Flexibility gives you choice. With the cloud, you can instantiate or destroy VM instances as you need to, move workloads around, and change your mind and revert—without wasting already purchased resources. You can move, resize, consolidate, and make choices to optimize any business metric.