Um die Bedeutung moderner Cloud-Technologien einschätzen zu können, werden zunächst Grundlagen herkömmlicher Cluster-Architekturen behandelt. Darunter zählen Konzepte wie vertikale und horizontale Skalierung, Load-Balancing, Storage-Arten, usw.

1. Clusterbau

2. Motivation

3. • IaaS stellt APIs zur Automatisierung
bereit
• Verständnis der zu automatisierenden
Aufgaben gewinnen

4. Software im Netz

5. Der Klassiker
-
Ein Server, eine App

6. • Betriebssystem = Linux
• Webserver = Apache
• Datenbank = MySQL / Postgres
• App Deployment

7. • Alles auf einem Server = SPOF
• App
• Datenbank
• Dateien (z.B. Profilbilder von
Benutzerprofilen)

8. DB
APP
Files

9. • Eine Komponente fällt aus
⇒ Ausfall des Gesamtsystems
• Wenn die Last zu groß wird, schnelle
Skalierung nicht möglich.

10. Zwei Server,
App / DB Server getrennt

11. APP
Files
DB

12. • Erfahrungswert: einer der Server
langweilt sich
> Suboptimale Lastverteilung
• Fällt eine Komponente aus, fällt das
gesamte System aus.
• Kein Schutz vor Datenverlust.

13. 2-4 Server,
App / DB Server getrennt,
LB, DB Replikation

14. APP
NFS SRV
Mount
APP
NFS Mount
Slave
DB
Master
DB
Load
BalaLnoceard
Balancer

15. • Load Balancer verteilt Anfragen
• Pacemaker benötigt für
• LB Failover
• DB Failover
• NFS Failover
• Volle Redundanz erreichbar
• Aufwändige Einrichtung

16. Das erste Scale-Out hin zur Redundanz
bringt die meisten Herausforderungen
mit sich.

17. Ab hier ist die
Skalierung der App
einfach.

18. APP
NFS SRV
Mount
APP
NFS Mount
Slave
DB
Master
DB
Load
BalaLnoceard
Balancer
APP
NFS Mount
APP
NFS Mount
APP
NFS Mount

19. • RDBMS skalieren oft nur vertikal
• Skalierbarkeit und Robustheit wird
durch die Auswahl der (Persitenz)-
Dienste wesentlich mitbestimmt.
• NFS Server
• skalieren schlecht
• Hochverfügbarkeit nicht inhärent

20. APP
NFS Server
NFS SRV
Mount
APP
NFS Mount
Slave
DB
Master
DB
Load
Balancer
Elastic
Search
Server
RabbitMq
Starling
RabbitMq
Starling
RabbitMq
Starling
...
RabbitMq
Starling
...
...
...
APP
NFS Mount
APP
NFS SRV
Mount
APP
NFS Mount
APP
NFS SRV
Mount
Load
Balancer
iSCSI
Storage
Servers
iSCSI
Storage
Servers
iSCSI
Storage
Servers
Swift
Storage
Servers
Yuhuu!
Elastic
Search
Server
Elastic
Search
Server

21. Begriffe der Skalierung

22. Horizontale Skalierung
=
Mehr Hardware

23. Vertikale Skalierung
• Einen besseren Server als den Besten
gibt es nicht.
• = Begrenztes Wachstum
• Nicht-linearer Kostenverlauf

24. Vertikale Skalierung
=
Bessere Hardware

25. Vertikale Skalierung
• Mehr RAM
• Mehr CPUs
• Mehr und schnellere Festplatten
• 10 GBit/s LAN
• Bond LANs
• etc.

26. Systeme mit hohem
Lastvorkommen sollten
auf horizontale Skalierung
ausgelegt werden.

27. Deployment

28. Deployment
• Deployments werden mit steigender
Systemkomplexität zur Herausforderung
• Deployment-Werkzeuge notwendig
• Capistrano
• PaaS
• CI/CD

29. Installations-
Automatisierung

30. Installationsautomatisierung
• Skalierbarkeit und Selbstheilung
erfordern eine möglichst vollständige
Installationsautomatisierung
• Populäre Technologien für HW Cluster
• Puppet
• Chef

31. Puppet

32. https://docs.puppetlabs.com/
learning/

33. Chef

34. http://learn.getchef.com
https://www.youtube.com/watch?v=S5lHUpzoCYo

35. Bosh

36. http://
docs.cloudfoundry.org/bosh/

37. Pacemaker

38. • Überwacht und Repariert Anwendungen
und Dienste (z.B. Datenbanken, Load Balancer, etc.)
• Konfigurierbare Quorum-Strategien
• Unterstützt viele Clustertypen

41. Storage

42. Warum NFS keine Lösung ist

43. • Kapazität skaliert schlecht horizontal
• Performance skaliert schlecht horizontal
• Keine Ausfallsicherheit aufgrund
fehlender Redundanz

44. Arten von Storage

45. • Block Storage
• Remote Filesystem
• Object Storage

46. • GlusterFS (block, filesystem)
• Ceph (block, object, filesystem)
• OpenStack Swift (object)
• Riak (object)

47. OpenStack Swift

48. • Distributed object store
• Skaliert in den Petabyte-Bereich
• Skaliert horizontal
• Ausfallsicherheit durch Redundanz
• Grad der Redundanz ist Einstellbar
• Gewöhnliche Server-HW genügt
• Kostenlos und Open Source

49. • Proxy Server
• The Ring
• Object Server
• Container Server

50. • Account Server
• Replication
• Updaters
• Auditors

51. GusterFS

52. • Skaliert in den Petabyte-Bereich
• Skaliert horizontal
• Ausfallsicherheit durch Redundanz
• Gewöhnliche Server-HW genügt
• Kostenlos und Open Source

53. Application Server

54. • = Web Server
• Liefert die Anwendung aus
• Schlägt die Brücke zur
Programmiersprache / Web-Framework

55. • Apache httpd Web Server
• Apache Tomcat
• Unicorn (Rails)
• …

56. Load Balancer

57. • Verteilt eingehende Anfragen auf 1-n
Application Server (Lastverteilung)
• Erkennt Ausfälle > Liefert nur an
lebende App-Server (Failover)
• Sollte redundant ausgelegt sein
(pacemaker)

58. • Apache mit mod_proxy_balancer
• Nginx
• keepalived

59. Message Queues

60. • Meist asynchrone Kommunikation
• Entkopplung von
Anwendungskomponenten

61. Beispiel
RabbitMQ

62. • Verlässlich
• Persistent
• Sendebenachrichtigungen
• Empfangsbenachrichtungen
• Hochverfügbarkeit durch Clustering

63. • Flexibles Routing
• HA Queues im Cluster
• Clients in fast jeder Sprache verfügbar

64. http://www.rabbitmq.com/getstarted.html
Hello World Worker Queue
Pub/Sub Routing
Topics RPC

65. Fragen?

66. Danke!

67. j@avtq.de
@fischerjulian