Als KEY, PPTX herunterladen
Hochgeladen vonAvarteq
Mehrserver Lösungen
Das Dokument beschreibt die Erstellung und den Betrieb eines Rails-Clusters zur Unterstützung von Ruby on Rails-Anwendungen und führt die verschiedenen Schritte, von der Auswahl des Rechenzentrums über die Dimensionierung und das Systemdesign bis hin zu Hardware- und Softwareanforderungen, auf. Es werden sowohl technische Aspects wie Lastverteilung, serverseitige Softwarekonfiguration und Backup-Strategien behandelt als auch Empfehlungen für Monitoring-Tools gegeben. Der Autor, Julian Fischer, ist Geschäftsführer der avarteq GmbH und bringt seine Erfahrung in Werbung und Webentwicklung ein.
Weitere ähnliche Inhalte
Mehrserver Lösungen
- 1. Rails Cluster Mehrserverlösung zumBetrieb von RoR Applikationen Julian Fischer fischer@enterprise-rails.de http://www.enterprise-rails.de
- 2.
- 3.
- 4. Über mich Julian Fischer ‣Geschäftsführender Gesellschafter der Avarteq GmbH ‣Twitter: http://www.twitter.com/railshoster ‣E-Mail: fischer@enterprise-rails.de
- 5. Über mich Julian Fischer ‣Geschäftsführender Gesellschafter der Avarteq GmbH ‣Twitter: http://www.twitter.com/railshoster ‣E-Mail: fischer@enterprise-rails.de ‣ Lehrbeauftragter im Fach „Ruby on Rails“ an der HTWdS
- 6. Über mich Julian Fischer ‣Geschäftsführender Gesellschafter der Avarteq GmbH ‣Twitter: http://www.twitter.com/railshoster ‣E-Mail: fischer@enterprise-rails.de ‣ Lehrbeauftragter im Fach „Ruby on Rails“ an der HTWdS ‣ Ruby und Ruby on Rails Programmierer
- 7. Über mich Julian Fischer ‣Geschäftsführender Gesellschafter der Avarteq GmbH ‣Twitter: http://www.twitter.com/railshoster ‣E-Mail: fischer@enterprise-rails.de ‣ Lehrbeauftragter im Fach „Ruby on Rails“ an der HTWdS ‣ Ruby und Ruby on Rails Programmierer ‣ Entperise-Rails.de - Head of Hosting
- 8.
- 9. Über die AvarteqGmbH
- 10. Über die AvarteqGmbH ‣ Gegründet im Nov. 2008 aus zwei Einzelunternehmungen
- 11. Über die AvarteqGmbH ‣ Gegründet im Nov. 2008 aus zwei Einzelunternehmungen ‣ Beteiligung der Key-Systems GmbH verwaltet derzeit 2,5 Mio. Domains für Kunden aus über 200 Ländern
- 12. Über die AvarteqGmbH ‣ Gegründet im Nov. 2008 aus zwei Einzelunternehmungen ‣ Beteiligung der Key-Systems GmbH verwaltet derzeit 2,5 Mio. Domains für Kunden aus über 200 Ländern ‣ Teamgröße: 14 Personen 7 Vollzeit, 7 Teilzeit/Freelancer
- 13.
- 14. Über die AvarteqGmbH
- 15. Über die AvarteqGmbH ‣ Umfasst alle Phasen eines Web- Projekts
- 16. Über die AvarteqGmbH ‣ Umfasst alle Phasen eines Web- Projekts ‣ Beratung
- 17. Über die AvarteqGmbH ‣ Umfasst alle Phasen eines Web- Projekts ‣ Beratung ‣ Konzeption und Screendesign
- 18. Über die AvarteqGmbH ‣ Umfasst alle Phasen eines Web- Projekts ‣ Beratung ‣ Konzeption und Screendesign ‣ Ruby on Rails Enticklung. Inhouse & vorort.
- 19. Über die AvarteqGmbH ‣ Umfasst alle Phasen eines Web- Projekts ‣ Beratung ‣ Konzeption und Screendesign ‣ Ruby on Rails Enticklung. Inhouse & vorort. ‣ Ruby on Rails Hosting RailsHoster.de - Enterprise-Rails.de
- 20. Wie erstellt maneinen hochwertigen Rails Cluster?
- 21.
- 22.
- 23. Wahl des RZ Hetzner Thomas Krenn AG Software, 2 LB Appliances, Load Balancer Apache or Nginx autom. IP-Failover NetApp Storage Appliance, Storage NFS redundante HW, separate 1GBit Verbindung zu jedem App-Server HW nach individuellem Bedarf, z.B. SuperMicro Basis, 2xIntel Xeon App-Servers EQ4-EQ9 Quad Core CPUs, redundantes Netzweil, Hardware-Raid mit BBU Anzahl der Server muss Neue Server können jederzeit Privates Netzwerk im Voraus bekannt sein hinzugenommen werden. HDD defekt? Ticket an RZ Rechner piept? Anruf durch RZ: Support im RZ Support. Downtime. HDD könnte defekt sein. Diagnose. Tausch der HDD. HDD hotswap. Keine Downtime!
- 24.
- 25.
- 26. Dimensionierung ‣ Wieviele Serverwerden benötigt?
- 27. Dimensionierung ‣ Wieviele Serverwerden benötigt? ‣ Welche Server-Rollen wird es geben? App, DB, LB, BG-Jobs, ...
- 28. Dimensionierung ‣ Wieviele Serverwerden benötigt? ‣ Welche Server-Rollen wird es geben? App, DB, LB, BG-Jobs, ... ‣ Welche HW ist für die jeweilige Rolle am besten geeignet?
- 29. Dimensionierung ‣ Wieviele Serverwerden benötigt? ‣ Welche Server-Rollen wird es geben? App, DB, LB, BG-Jobs, ... ‣ Welche HW ist für die jeweilige Rolle am besten geeignet? ‣ ...
- 30.
- 31.
- 32. System-Design ‣ Welche System-Komponentekommt auf welchen Server?
- 33. System-Design ‣ Welche System-Komponentekommt auf welchen Server? ‣ APP und DB auf die gleichen Server?
- 34. System-Design ‣ Welche System-Komponentekommt auf welchen Server? ‣ APP und DB auf die gleichen Server? ‣ Dedizierte DB Server?
- 35. System-Design ‣ Welche System-Komponentekommt auf welchen Server? ‣ APP und DB auf die gleichen Server? ‣ Dedizierte DB Server? ‣ Wohin mit dem Suchserver?
- 36. System-Design ‣ Welche System-Komponentekommt auf welchen Server? ‣ APP und DB auf die gleichen Server? ‣ Dedizierte DB Server? ‣ Wohin mit dem Suchserver? ‣ Wo werden Job-Queues laufen?
- 37. System-Design ‣ Welche System-Komponentekommt auf welchen Server? ‣ APP und DB auf die gleichen Server? ‣ Dedizierte DB Server? ‣ Wohin mit dem Suchserver? ‣ Wo werden Job-Queues laufen? ‣ ...
- 38.
- 39.
- 40.
- 41. Load Balancer ‣ Seltender Flaschenhals
- 42. Load Balancer ‣ Seltender Flaschenhals ‣ Oft Single Point of Failure (SPOF)
- 43. Load Balancer ‣ Seltender Flaschenhals ‣ Oft Single Point of Failure (SPOF) ‣ Zwei sind besser als einer!
- 44. Load Balancer ‣ Seltender Flaschenhals ‣ Oft Single Point of Failure (SPOF) ‣ Zwei sind besser als einer! ‣ Was tun wenn einer kaputt geht?
- 45. Load Balancer ‣ Seltender Flaschenhals ‣ Oft Single Point of Failure (SPOF) ‣ Zwei sind besser als einer! ‣ Was tun wenn einer kaputt geht? ‣ Redundanter LB mit automatischem IP Failover!
- 46.
- 47.
- 48. Load Balancer ‣ Wohinetc. den Uploads? Profilbilder, mit
- 49. Load Balancer ‣ Wohinetc. den Uploads? Profilbilder, mit ‣ NFS?
- 50. Load Balancer ‣ Wohinetc. den Uploads? Profilbilder, mit ‣ NFS? ‣ SPOF
- 51. Load Balancer ‣ Wohinetc. den Uploads? Profilbilder, mit ‣ NFS? ‣ SPOF ‣ Vergleichsweise langsam
- 52.
- 53. Load Balancer ‣ RedundanteiSCSI Storage Appliance
- 54. Load Balancer ‣ RedundanteiSCSI Storage Appliance ‣ Jeder App Server wird mit einer separaten GBit-Leitung angeschlossen
- 55. Load Balancer ‣ RedundanteiSCSI Storage Appliance ‣ Jeder App Server wird mit einer separaten GBit-Leitung angeschlossen ‣ iSCSI = SCSI über TCP = Remote Blockdevice
- 56. Load Balancer ‣ RedundanteiSCSI Storage Appliance ‣ Jeder App Server wird mit einer separaten GBit-Leitung angeschlossen ‣ iSCSI = SCSI über TCP = Remote Blockdevice ‣ Weniger Overhead als NFS
- 57. Load Balancer ‣ RedundanteiSCSI Storage Appliance ‣ Jeder App Server wird mit einer separaten GBit-Leitung angeschlossen ‣ iSCSI = SCSI über TCP = Remote Blockdevice ‣ Weniger Overhead als NFS ‣ Clusterdateisystem benötigt. OCFS2, GFS, ...
- 58.
- 59.
- 60. Netzwerk ‣ Wie sinddie Rechner des Clusters miteinander verbunden?
- 61. Netzwerk ‣ Wie sinddie Rechner des Clusters miteinander verbunden? ‣ Privates (!) physikalisches Netzwerk
- 62. Netzwerk ‣ Wie sinddie Rechner des Clusters miteinander verbunden? ‣ Privates (!) physikalisches Netzwerk ‣ >= 1 GBit/s
- 63. Netzwerk ‣ Wie sinddie Rechner des Clusters miteinander verbunden? ‣ Privates (!) physikalisches Netzwerk ‣ >= 1 GBit/s ‣ Minimale Latenz durch die Verteilung der Komponenten
- 64.
- 65.
- 66. Netzwerk ‣ Neue Serversollen ins private Netzwerk aufgenommen werden.
- 67. Netzwerk ‣ Neue Serversollen ins private Netzwerk aufgenommen werden. ‣ Rechner sollten an einem gemeinsamen Switch hängen.
- 68. Netzwerk ‣ Neue Serversollen ins private Netzwerk aufgenommen werden. ‣ Rechner sollten an einem gemeinsamen Switch hängen. ‣ RZ mit Flexibilität ist gefragt.
- 69. Netzwerk ‣ Neue Serversollen ins private Netzwerk aufgenommen werden. ‣ Rechner sollten an einem gemeinsamen Switch hängen. ‣ RZ mit Flexibilität ist gefragt. ‣ Massenhoster sind meist wenig flexibel.
- 70.
- 71.
- 72.
- 73. Application Server ‣ =Phusion Passenger
- 74. Application Server ‣ =Phusion Passenger ‣ Speicherverbrauch abschätzen, # App-Instanzen einstellen
- 75. Application Server ‣ =Phusion Passenger ‣ Speicherverbrauch abschätzen, # App-Instanzen einstellen ‣ Auf Upload-Endungen achten und ggf. PHP deaktivieren
- 76. Application Server ‣ =Phusion Passenger ‣ Speicherverbrauch abschätzen, # App-Instanzen einstellen ‣ Auf Upload-Endungen achten und ggf. PHP deaktivieren ‣ ...
- 77.
- 78. Application Server ‣ Einengeeigneten Session-Store wählen
- 79. Application Server ‣ Einengeeigneten Session-Store wählen ‣ Cookie-St. ist ein guter Anfang
- 80. Application Server ‣ Einengeeigneten Session-Store wählen ‣ Cookie-St. ist ein guter Anfang ‣ Memcached-St., etw. vergesslich, memcached benötigt
- 81. Application Server ‣ Einengeeigneten Session-Store wählen ‣ Cookie-St. ist ein guter Anfang ‣ Memcached-St., etw. vergesslich, memcached benötigt ‣ ActiveRecord-St., nicht der Schnellste, benötigt keine Extra-Wurst
- 82.
- 83. Application Server ‣ Storageeinbinden
- 84. Application Server ‣ Storageeinbinden ‣ In App-Ordner verlinken
- 85. Application Server ‣ Storageeinbinden ‣ In App-Ordner verlinken ‣ Storage-Mounts überwachen
- 86.
- 87.
- 88. Database Server ‣ MySQL,Postgres, ... CouchDB wird interessanter
- 89. Database Server ‣ MySQL,Postgres, ... CouchDB wird interessanter ‣ Scale-Out der DB ist immer hässlich
- 90. Database Server ‣ MySQL,Postgres, ... CouchDB wird interessanter ‣ Scale-Out der DB ist immer hässlich ‣ Dennoch nicht den MySQL NDB Cluster verwenden, es sei denn ihr habt einen Fulltime-DB-Admin.
- 91. Database Server ‣ MySQL,Postgres, ... CouchDB wird interessanter ‣ Scale-Out der DB ist immer hässlich ‣ Dennoch nicht den MySQL NDB Cluster verwenden, es sei denn ihr habt einen Fulltime-DB-Admin. ‣ DB-Server gut ausrüsten bzw. aufrüstbar gestalten
- 92. Database Server ‣ MySQL,Postgres, ... CouchDB wird interessanter ‣ Scale-Out der DB ist immer hässlich ‣ Dennoch nicht den MySQL NDB Cluster verwenden, es sei denn ihr habt einen Fulltime-DB-Admin. ‣ DB-Server gut ausrüsten bzw. aufrüstbar gestalten ‣ Viele kleine, schnelle Festplatten verwenden
- 93.
- 94.
- 95. Database Server ‣ Jaaber nicht unbedingt zum Last-Scale-out.
- 96. Database Server ‣ Jaaber nicht unbedingt zum Last-Scale-out. ‣ „Echtzeit“-Backup der Datenbank.
- 97.
- 98. Database Server ‣ WelcheArt der Replikation?
- 99. Database Server ‣ WelcheArt der Replikation? ‣ Fingereure AnwendungMultimaster-Gefrickel, es sei denn weg von löst Datensatzkonflikte auf.
- 100. Database Server ‣ WelcheArt der Replikation? ‣ Fingereure AnwendungMultimaster-Gefrickel, es sei denn weg von löst Datensatzkonflikte auf. ‣ Master/Slave ist ein guter Anfang.
- 101. Database Server ‣ WelcheArt der Replikation? ‣ Fingereure AnwendungMultimaster-Gefrickel, es sei denn weg von löst Datensatzkonflikte auf. ‣ Master/Slave ist ein guter Anfang. ‣ Kein automatisches Failover
- 102. Database Server ‣ WelcheArt der Replikation? ‣ Fingereure AnwendungMultimaster-Gefrickel, es sei denn weg von löst Datensatzkonflikte auf. ‣ Master/Slave ist ein guter Anfang. ‣ Kein automatisches Failover ‣ Manuelles Failover schneller als DB- Server neu aufzusetzen. Aber nehmt euch nach dem Recovery Zeit für die Reintegration des Masters.
- 103.
- 104.
- 105. Suchen und Finden ‣Sphinx ist gut, Solr auch!
- 106. Suchen und Finden ‣Sphinx ist gut, Solr auch! ‣ Suchserver laufen lange neben der Anwendung
- 107. Suchen und Finden ‣Sphinx ist gut, Solr auch! ‣ Suchserver laufen lange neben der Anwendung ‣ Wenn Sie groß werden, wollen Sie ein eigenes Zimmer! Munin hilft den richtigen Zeitpunkt zu erkennen.
- 108.
- 109.
- 110.
- 111. Hintergrundverarbeitung ‣ BackgroundRB, Starling&Workling,... ‣ Arbeiter wollen auch irgendwann ein eigenes Zimmer.
- 112. Hintergrundverarbeitung ‣ BackgroundRB, Starling&Workling,... ‣ Arbeiter wollen auch irgendwann ein eigenes Zimmer. ‣ Bis dahin tut es auch ein beliebiger Rechner mit etwas Freiraum. CPU und RAM.
- 113.
- 114.
- 115.
- 116. Deployment ‣ Capistrano ‣ Anpassungdes Deployment-Rezepts an die vorhandenen Server/Server-Rollen
- 117. Deployment ‣ Capistrano ‣ Anpassungdes Deployment-Rezepts an die vorhandenen Server/Server-Rollen ‣ Initiales Deployment schmerzt am meisten.
- 118.
- 119.
- 120.
- 121. Backups ‣ Automatisierte Backupserhalten die Freundschaft.
- 122. Backups ‣ Automatisierte Backupserhalten die Freundschaft. ‣ Dateisystem und Datenbank.
- 123. Backups ‣ Automatisierte Backupserhalten die Freundschaft. ‣ Dateisystem und Datenbank. ‣ Backups packen, verschlüsseln und verstauen. Duplicity sei dank!
- 124. Backups ‣ Automatisierte Backupserhalten die Freundschaft. ‣ Dateisystem und Datenbank. ‣ Backups packen, verschlüsseln und verstauen. Duplicity sei dank! ‣ Ab und zu ein Backup entpacken und kontrollieren. Kaputte Backups = keine Backups.
- 125.
- 126. Backups ‣ Wieviele Backupspassen auf den Backupserver?
- 127. Backups ‣ Wieviele Backupspassen auf den Backupserver? ‣ Backups sollten rotiert werden. z.B. tägliches Backup, 7 Backups werden vorhalten.
- 128. Backups ‣ Wieviele Backupspassen auf den Backupserver? ‣ Backups sollten rotiert werden. z.B. tägliches Backup, 7 Backups werden vorhalten. ‣ Größtes Backup * 7 <= Backupspace
- 129. Backups ‣ Wieviele Backupspassen auf den Backupserver? ‣ Backups sollten rotiert werden. z.B. tägliches Backup, 7 Backups werden vorhalten. ‣ Größtes Backup * 7 <= Backupspace ‣ Backupspace überwachen
- 130.
- 131. „Nur weil ichparanoid bin, heißt es nicht, dass sie nicht hinter mir her sind.“ (Werauchimmer)
- 132. Woher weiß derAdmin, dass etwas kaputt ist?
- 133.
- 134.
- 135. Nagios ‣ Nagios überwachtSchlüsselmerkmale eines jeden Rechners. So sollte er eingerichtet werden.
- 136. Nagios ‣ Nagios überwachtSchlüsselmerkmale eines jeden Rechners. So sollte er eingerichtet werden. ‣ Stimmt etwas nicht, benachrichtigt er der/die verantworliche Person(en). Dito.
- 137.
- 138. Nagios ‣ Was wirdüberprüft?
- 139. Nagios ‣ Was wirdüberprüft? ‣ Swap. Viel swap = wenig RAM = Laaaangsssaaahmm.
- 140. Nagios ‣ Was wirdüberprüft? ‣ Swap. Viel swap = wenig RAM = Laaaangsssaaahmm. ‣ LOAD. Mehr sysload als Cores? Prozesse müssen warten.
- 141. Nagios ‣ Was wirdüberprüft? ‣ Swap. Viel swap = wenig RAM = Laaaangsssaaahmm. ‣ LOAD. Mehr sysload als Cores? Prozesse müssen warten. ‣ HTTP. Ist da noch ein Webserver?
- 142. Nagios ‣ Was wirdüberprüft? ‣ Swap. Viel swap = wenig RAM = Laaaangsssaaahmm. ‣ LOAD. Mehr sysload als Cores? Prozesse müssen warten. ‣ HTTP. Ist da noch ein Webserver? ‣ APP. Gibt meine Anwendung noch den String XY aus?
- 143. Nagios ‣ Was wirdüberprüft? ‣ Swap. Viel swap = wenig RAM = Laaaangsssaaahmm. ‣ LOAD. Mehr sysload als Cores? Prozesse müssen warten. ‣ HTTP. Ist da noch ein Webserver? ‣ APP. Gibt meine Anwendung noch den String XY aus? ‣ und vieles mehr!
- 144.
- 145.
- 146.
- 147.
- 148. Ressourcen-Historie ‣ Zeichnet dieAuslastung bestimmter Ressourcen auf.
- 149. Ressourcen-Historie ‣ Zeichnet dieAuslastung bestimmter Ressourcen auf. ‣ Trend-Analyse
- 150. Ressourcen-Historie ‣ Zeichnet dieAuslastung bestimmter Ressourcen auf. ‣ Trend-Analyse ‣ Was war nach meiner PR-Aktion auf den Servern los?
- 151. Ressourcen-Historie ‣ Zeichnet dieAuslastung bestimmter Ressourcen auf. ‣ Trend-Analyse ‣ Was war nach meiner PR-Aktion auf den Servern los? ‣ Wann muss ich zusätzliche Server kaufen?
- 152. Ressourcen-Historie ‣ Zeichnet dieAuslastung bestimmter Ressourcen auf. ‣ Trend-Analyse ‣ Was war nach meiner PR-Aktion auf den Servern los? ‣ Wann muss ich zusätzliche Server kaufen? ‣ Hat meine APP ein Speicherleck?
- 153.
- 154.
- 155. Wartung ‣ OS-Aktualisierungen. Minor-, Major-, Distributions-Updates.
- 156. Wartung ‣ OS-Aktualisierungen. Minor-, Major-, Distributions-Updates. ‣ Für größere Updates werden einzelne Server aus dem Verbund gelöst, aktualisiert und danach wieder eingefügt.
- 157. Wartung ‣ OS-Aktualisierungen. Minor-, Major-, Distributions-Updates. ‣ Für größere Updates werden einzelne Server aus dem Verbund gelöst, aktualisiert und danach wieder eingefügt. ‣ Ruby Updates. Ruby, Rails, Gems, ...
- 158. Wartung ‣ OS-Aktualisierungen. Minor-, Major-, Distributions-Updates. ‣ Für größere Updates werden einzelne Server aus dem Verbund gelöst, aktualisiert und danach wieder eingefügt. ‣ Ruby Updates. Ruby, Rails, Gems, ... ‣ Rotation und Stichproben der Logs.
- 159. Wartung ‣ OS-Aktualisierungen. Minor-, Major-, Distributions-Updates. ‣ Für größere Updates werden einzelne Server aus dem Verbund gelöst, aktualisiert und danach wieder eingefügt. ‣ Ruby Updates. Ruby, Rails, Gems, ... ‣ Rotation und Stichproben der Logs. ‣ Überprüfung der Backups.
- 160. Wartung ‣ OS-Aktualisierungen. Minor-, Major-, Distributions-Updates. ‣ Für größere Updates werden einzelne Server aus dem Verbund gelöst, aktualisiert und danach wieder eingefügt. ‣ Ruby Updates. Ruby, Rails, Gems, ... ‣ Rotation und Stichproben der Logs. ‣ Überprüfung der Backups. ‣ ...
- 161. Fazit Ist ja allesgut zu wissen, aber...
- 162. Fazit ... werkommt neben all diesen Dingen noch zum programmieren?
- 164.
- 165. Vielen Dank für Ihre Aufmerksamkeit! Headquarter: Rails Enterprise Hosting: http://www.avarteq.de http://www.enterprise- rails.de Blog: http:// Rails Hosting: www.treibstofff.de http://www.railshoster.de