Downloaden Sie, um offline zu lesen
Hochgeladen vonanynines GmbH
Vorlesung - Cloud Infrastrukturen - Clusterbau | anynines
Das Dokument befasst sich mit der Motivation und den Herausforderungen für den Clusterbau sowie der Automatisierung von Aufgaben in einer IaaS-Umgebung. Es diskutiert verschiedene Ansätze zur Skalierung und Hochverfügbarkeit, insbesondere durch den Einsatz von Load Balancern, Datenbank-Replikation und verschiedenen Speichertechnologien wie NFS, GlusterFS und Ceph. Zudem werden Tools und Technologien für die Installation und Automatisierung von Deployment-Prozessen vorgestellt, um die Systemkomplexität zu bewältigen.
Weitere ähnliche Inhalte
Ähnlich wie Vorlesung - Cloud Infrastrukturen - Clusterbau | anynines
Vorlesung - Cloud Infrastrukturen - Clusterbau | anynines
- 1.
- 2.
- 3. • IaaS stelltAPIs zur Automatisierung bereit • Verständnis der zu automatisierenden Aufgaben gewinnen
- 4.
- 5. Der Klassiker - Ein Server, eine App
- 6. • Betriebssystem =Linux • Webserver = Apache • Datenbank = MySQL / Postgres • App Deployment
- 7. • Alles aufeinem Server = SPOF • App • Datenbank • Dateien (z.B. Profilbilder von Benutzerprofilen)
- 8.
- 9. • Eine Komponentefällt aus ⇒ Ausfall des Gesamtsystems • Wenn die Last zu groß wird, schnelle Skalierung nicht möglich.
- 10. Zwei Server, App/ DB Server getrennt
- 11.
- 12. • Erfahrungswert: einerder Server langweilt sich > Suboptimale Lastverteilung • Fällt eine Komponente aus, fällt das gesamte System aus. • Kein Schutz vor Datenverlust.
- 13. 2-4 Server, App/ DB Server getrennt, LB, DB Replikation
- 14. APP NFS SRV Mount APP NFS Mount Slave DB Master DB Load BalaLnoceard Balancer
- 15. • Load Balancerverteilt Anfragen • Pacemaker benötigt für • LB Failover • DB Failover • NFS Failover • Volle Redundanz erreichbar • Aufwändige Einrichtung
- 16. Das erste Scale-Outhin zur Redundanz bringt die meisten Herausforderungen mit sich.
- 17. Ab hier istdie Skalierung der App einfach.
- 18. APP NFS SRV Mount APP NFS Mount Slave DB Master DB Load BalaLnoceard Balancer APP NFS Mount APP NFS Mount APP NFS Mount
- 19. • RDBMS skalierenoft nur vertikal • Skalierbarkeit und Robustheit wird durch die Auswahl der (Persitenz)- Dienste wesentlich mitbestimmt. • NFS Server • skalieren schlecht • Hochverfügbarkeit nicht inhärent
- 20. APP NFS Server NFS SRV Mount APP NFS Mount Slave DB Master DB Load Balancer Elastic Search Server RabbitMq Starling RabbitMq Starling RabbitMq Starling ... RabbitMq Starling ... ... ... APP NFS Mount APP NFS SRV Mount APP NFS Mount APP NFS SRV Mount Load Balancer iSCSI Storage Servers iSCSI Storage Servers iSCSI Storage Servers Swift Storage Servers Yuhuu! Elastic Search Server Elastic Search Server
- 21.
- 22. Horizontale Skalierung = Mehr Hardware
- 23. Vertikale Skalierung •Einen besseren Server als den Besten gibt es nicht. • = Begrenztes Wachstum • Nicht-linearer Kostenverlauf
- 24. Vertikale Skalierung = Bessere Hardware
- 25. Vertikale Skalierung •Mehr RAM • Mehr CPUs • Mehr und schnellere Festplatten • 10 GBit/s LAN • Bond LANs • etc.
- 26. Systeme mit hohem Lastvorkommen sollten auf horizontale Skalierung ausgelegt werden.
- 27.
- 28. Deployment • Deploymentswerden mit steigender Systemkomplexität zur Herausforderung • Deployment-Werkzeuge notwendig • Capistrano • PaaS • CI/CD
- 29.
- 30. Installationsautomatisierung • Skalierbarkeitund Selbstheilung erfordern eine möglichst vollständige Installationsautomatisierung • Populäre Technologien für HW Cluster • Puppet • Chef
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38. • Überwacht undRepariert Anwendungen und Dienste (z.B. Datenbanken, Load Balancer, etc.) • Konfigurierbare Quorum-Strategien • Unterstützt viele Clustertypen
- 41.
- 42. Warum NFS keineLösung ist
- 43. • Kapazität skaliertschlecht horizontal • Performance skaliert schlecht horizontal • Keine Ausfallsicherheit aufgrund fehlender Redundanz
- 44.
- 45. • Block Storage • Remote Filesystem • Object Storage
- 46. • GlusterFS (block,filesystem) • Ceph (block, object, filesystem) • OpenStack Swift (object) • Riak (object)
- 47.
- 48. • Distributed objectstore • Skaliert in den Petabyte-Bereich • Skaliert horizontal • Ausfallsicherheit durch Redundanz • Grad der Redundanz ist Einstellbar • Gewöhnliche Server-HW genügt • Kostenlos und Open Source
- 49. • Proxy Server • The Ring • Object Server • Container Server
- 50. • Account Server • Replication • Updaters • Auditors
- 51.
- 52. • Skaliert inden Petabyte-Bereich • Skaliert horizontal • Ausfallsicherheit durch Redundanz • Gewöhnliche Server-HW genügt • Kostenlos und Open Source
- 53.
- 54. • = WebServer • Liefert die Anwendung aus • Schlägt die Brücke zur Programmiersprache / Web-Framework
- 55. • Apache httpdWeb Server • Apache Tomcat • Unicorn (Rails) • …
- 56.
- 57. • Verteilt eingehendeAnfragen auf 1-n Application Server (Lastverteilung) • Erkennt Ausfälle > Liefert nur an lebende App-Server (Failover) • Sollte redundant ausgelegt sein (pacemaker)
- 58. • Apache mitmod_proxy_balancer • Nginx • keepalived
- 59.
- 60. • Meist asynchroneKommunikation • Entkopplung von Anwendungskomponenten
- 61.
- 62. • Verlässlich •Persistent • Sendebenachrichtigungen • Empfangsbenachrichtungen • Hochverfügbarkeit durch Clustering
- 63. • Flexibles Routing • HA Queues im Cluster • Clients in fast jeder Sprache verfügbar
- 64. http://www.rabbitmq.com/getstarted.html Hello WorldWorker Queue Pub/Sub Routing Topics RPC
- 65.
- 66.
- 67.