Als PDF, PPTX herunterladen
![Ansible Example: Provision servers
28
# Provisions the frontend servers
---
- hosts: frontend
sudo: true
roles:
- {role: 'init'}
- {role: 'docker'}
- {role: 'updates'}
provision_server.yml
$ ansible_playbook provision_server.yml –I hosts/prod -v
hosts/prod
[frontend]
srv-de-web-1.leanix.net
srv-de-web-2.leanix.net
srv-us-web-1.leanix.net
srv-us-web-2.leanix.net
[backend]
srv-de-app-1.leanix.net
srv-de-app-2.leanix.net
srv-us-app-1.leanix.net
srv-us-app-2.leanix.net](https://image.slidesharecdn.com/leanixcontinuousdeploymentbonnagile-160518083002/85/Continuous-deployment-in-LeanIX-Bonn-Agile-28-320.jpg)
![Ansible Example: Configure system
29
[…]
- name: Install System Packages
apt: pkg={{ item }} state=latest
with_items: ["curl", "wget", "python-software-properties", "software-properties-
common", "daemon", "supervisor"]
- name: German kb
command: loadkeys de
changed_when: false
- name: Set hostname on boot to short name from inventory list
template: src=hostname.j2 dest=/etc/hostname owner=root group=root mode=0644
register: hostname_file
[…]
roles/init/tasks/main.yml](https://image.slidesharecdn.com/leanixcontinuousdeploymentbonnagile-160518083002/85/Continuous-deployment-in-LeanIX-Bonn-Agile-29-320.jpg)
![Ansible Example: Deploy service
30
[…]
- name: Start leanix synclog Docker container
shell: docker run -d
--name {{ item.1.name }}
-p {{ ansible_eth1.ipv4.address }}:{{ item.1.synclog_port }}:{{SERVICE_PORT }}
-e SERVICE=synclog
-e PROXY_SERVICE={{ PROXY_SERVICE }}
-e SWAGGER_BASEPATH={{ SWAGGER_BASEPATH }}
leanix/leanix-synclog
with_indexed_items: SYNCLOG_SERVICES
when: synclog_running.results[{{ item.0 }}].rc != 0
[…]
roles/init/tasks/main.yml](https://image.slidesharecdn.com/leanixcontinuousdeploymentbonnagile-160518083002/85/Continuous-deployment-in-LeanIX-Bonn-Agile-30-320.jpg)
Hochgeladen vonLeanIX GmbH
Continuous deployment in LeanIX @ Bonn Agile
Das Dokument beschreibt die Implementierung von Green-Blue-Deployment mit Docker, Ansible und Jenkins zur Unterstützung einer agilen DevOps-Architektur. Es hebt die Vorteile wie unterbrechungsfreies Deployment und schrittweisen Rollout hervor, während auch Herausforderungen wie Datenmigration und Session-Handling angesprochen werden. Die Verwendung von Microservices sowie sicherer Kommunikation über APIs und die Nutzung von OAuth2/JWT für Authentifizierung werden ebenfalls thematisiert.
Weitere ähnliche Inhalte
Continuous deployment in LeanIX @ Bonn Agile
- 1.
- 2. Agenda 2 Warum Continuous Deployment? Was macht unsereDev-Ops Architektur aus? Wie geht es in der Praxis?
- 3.
- 4. Vom MVP zum reifenProdukt 4Quelle: In Anlehnung an: @benorama
- 5. Elastic Alle neu entwickeltenFunktionen folgen unserer Microservices Architektur 5 View Controller Model DB Single Page App REST-API DB REST-API Frontend Service Backend Microservices Infrastruktur Services
- 6. Elastic Green-Blue Deployment ist zentraler Erfolgfaktor unsererArchitektur 6 Single Page App REST-API DB REST-API 1 3 2 2 1 2 4 3 2 3 5 Komfortable Anmeldung an allen Services via Unternehmensverzeichnis (AD, LDAP, etc.) Sichere Kommunikation mit APIs – von Browser und zwischen Services. Einfache Nutzung der APIs durch interaktive Dokumentation und generierte SDKs. OAuth2/JWT SSO (SAML) Swagger Docker Green-Blue Deployment Konsistente Paketierung und Plattform- unabhängige Auslieferung aller Services. Kontinuierliches Deployment und Minimierung von Maintenance-Zeiten. Alle: 4 5 x Details folgen
- 7. Agenda 7 Warum Continuous Deployment? Was macht unsereDev-Ops Architektur aus? Wie geht es in der Praxis?
- 8. Kontinuierliches Deployment und Minimierung von Maintenance-Zeiten 8 5 Load-Balancer (default = blue) eam 1.18 mtm 1.0 Export 0.8 DB, Index, QueueDB, Elastic Vorteile Green-Blue • „Unterbrechungsfreies“ Deployment • Test neuer Versionen in Produktionsumgebung • Schrittweiser Rollout • Schnelles Rollback zu alter Version Herausforderungen • Migration von Daten- Containern (DB) • Session-Handling (Re-Login notwendig)
- 9. Kontinuierliches Deployment und Minimierung von Maintenance-Zeiten 9 5 Load-Balancer (default = blue) eam 1.18 eam 1.19 mtm 1.0 mtm 1.1 Export 0.8 export 0.9 DB, Index, QueueDB, Elastic Test Vorteile Green-Blue • „Unterbrechungsfreies“ Deployment • Test neuer Versionen in Produktionsumgebung • Schrittweiser Rollout • Schnelles Rollback zu alter Version Herausforderungen • Migration von Daten- Containern (DB) • Session-Handling (Re-Login notwendig)
- 10. Kontinuierliches Deployment und Minimierung von Maintenance-Zeiten 10 5 Load-Balancer (default = blue) eam 1.18 eam 1.19 mtm 1.0 mtm 1.1 Export 0.8 export 0.9 DB, Index, QueueDB, Elastic Vorteile Green-Blue • „Unterbrechungsfreies“ Deployment • Test neuer Versionen in Produktionsumgebung • Schrittweiser Rollout • Schnelles Rollback zu alter Version Herausforderungen • Migration von Daten- Containern (DB) • Session-Handling (Re-Login notwendig)
- 11. Umsetzung mit dreizentralen Tools 11 “Build, ship, and run distributed applications” “Building/testing software projects continuously” “IT automation engine that automates application deployment, configuration management, ….”
- 12. Production Servers US Production Servers US Develop, Build, Test, Deploy-Toolchain 12 Develop Build TestDeploy Staging Server Production Servers Europe Developer Machines Docker Hub GitHub Jenkins Ansible
- 13. Agenda 13 Warum Continuous Deployment? Was macht unsereDev-Ops Architektur aus? Wie geht es in der Praxis?
- 14.
- 15.
- 16.
- 17. Some numbers 17 20 days 3 hours < 30 min Effortfor setup, learning and trouble shooting for Ansible & Jenkins Ramp-Up of a new employee untilfirst commit Time untila fresh Server is setup with all required services 14 days For changing our Vagrant based environmentto docker & docker-compose
- 18. Issues 18 • Don’t underestimate orchestration effort (“New Monolith”) • Green / Blue Marker in derived containers •Docker Hub (Registry) often very slow in the afternoon • Docker Version Updates can be very risky (Kernel Issue with 1.9.1 with AUFS Filesystem, required to downgrade kernel) • Manual cleanup needed for unused containers and images • Large images require bandwidth when pulled • “Trusted” images – extra check which base images can be used
- 19.
- 20.
- 21. Komfortable Anmeldung an allenServices via Unternehmensverzeichnis 21 1 A IDM-as-a-ServiceBInterner IDM1 Vorteile SSO (SAML) • SAML Identity Provider mittlerweile gut verbreitet in Unternehmen • Ein standardisierter Weg: sowohl intern als auch extern alles via SAML Herausforderungen • Komplexität Shibboleth und SAML-Spezifikation • Löst nicht maschinen- basiertes Login („ECP- Workflow“) ACTIVE DIRECTORY FEDERATION SERVICES (ADFS) C Kunden IDM svc.leanix.net/idp 1) IDM = Identity Management
- 22. Sichere Kommunikation mitAPIs – von Browser und zwischen Services 22 2 Vorteile oAuth2 & JWT • Sicherheitsgewinn durch delegierte Authentifizierung • Weniger Abhängigkeiten: Permissions im Payload • Gleicher Mechanismus auch zwischen Services • Signierte Tokens lassen sich dezentral verifizieren Herausforderungen • Verknüpfung mit SAML nicht standardisiert oAuth2 Resource Server export images … Token (JWT): eyJhbGciOiJSUzI1NiJ9.eyJzdWIiOiJ hbmRyZS5jaH … Expires_in: 3400 Backend Microservices Private Key Public Key Dezentrale Token Verifizierung JWT: Json Web Tokens
- 23. Json Web Tokens (JWT) ist einStandard für das Format von Tokens 23Debugger: https://jwt.io IETF Standard: https://tools.ietf.org/html/rfc7519 2
- 24. 24 2 JWT bringt Vorteileinsb. bei Skalierung im Vergleich zum “puren” oAuth2 oAuth2 Resource Server export images … Token: 31886e3b-dd8f-4b13- 9434-… Expires_in: 3400 Verify Token, Get Payload (Permissions) Backend Microservices oAuth2 Resource Server export images … Token (JWT): eyJhbGciOiJSUzI1NiJ9.eyJzdWI iOiJhbmRyZS5jaH … Expires_in: 3400 Backend Microservices Private Key Public Key A) oAuth2 “pur”: Tokens müssen gegen Resource Server verifiziert werden B) oAuth2 mit “JWT”: Tokens können dezentral verifiziert werden mit Public Key
- 25. Einfache Nutzung der API durch interaktiveDoku und generierte SDKs 25 3 Vorteile Swagger • Interaktive REST-API Doku: Operationen direkt im Browser ausführbar • Immer aktuell, da generiert aus Quellcode • Automatische Erzeugung von SDK’s (z.B. Java, PHP, C#) à Mehr unter: blog.leanix.net
- 26. Konsistente Paketierung und plattformunabhängigeAuslieferung 26 Server Host OS Hypervisor Guest OS Libs App A Guest OS Libs App B Virtualisation Vorteile Docker • Schnelleres Deployment • Weniger Ressourcen- Verbrauch • Container passen sehr gut zur Struktur von Microservices • Cloud & On-Premise Herausforderungen • Maturität von Tools & Ökosystem • Linux Kernel benötigt (Workarounds z.B. für Windows & Mac) VM VM Server Host OS Docker Engine eam mysql Libs Docker Container Container solr Container Libs 4
- 27. Kontinuierliches Deployment und Minimierung von Maintenance-Zeiten 27 5 Load-Balancer (default = blue) eam 1.18 eam 1.19 mtm 1.0 mtm 1.1 Export 0.8 export 0.9 DB, Index, QueueDB, Elastic Test Vorteile Green-Blue • „Unterbrechungsfreies“ Deployment • Test neuer Versionen in Produktionsumgebung • Schrittweiser Rollout • Schnelles Rollback zu alter Version Herausforderungen • Migration von Daten- Containern (DB) • Session-Handling (Re-Login notwendig)
- 28. Ansible Example: Provision servers 28 # Provisionsthe frontend servers --- - hosts: frontend sudo: true roles: - {role: 'init'} - {role: 'docker'} - {role: 'updates'} provision_server.yml $ ansible_playbook provision_server.yml –I hosts/prod -v hosts/prod [frontend] srv-de-web-1.leanix.net srv-de-web-2.leanix.net srv-us-web-1.leanix.net srv-us-web-2.leanix.net [backend] srv-de-app-1.leanix.net srv-de-app-2.leanix.net srv-us-app-1.leanix.net srv-us-app-2.leanix.net
- 29. Ansible Example: Configure system 29 […] - name:Install System Packages apt: pkg={{ item }} state=latest with_items: ["curl", "wget", "python-software-properties", "software-properties- common", "daemon", "supervisor"] - name: German kb command: loadkeys de changed_when: false - name: Set hostname on boot to short name from inventory list template: src=hostname.j2 dest=/etc/hostname owner=root group=root mode=0644 register: hostname_file […] roles/init/tasks/main.yml
- 30. Ansible Example: Deploy service 30 […] - name:Start leanix synclog Docker container shell: docker run -d --name {{ item.1.name }} -p {{ ansible_eth1.ipv4.address }}:{{ item.1.synclog_port }}:{{SERVICE_PORT }} -e SERVICE=synclog -e PROXY_SERVICE={{ PROXY_SERVICE }} -e SWAGGER_BASEPATH={{ SWAGGER_BASEPATH }} leanix/leanix-synclog with_indexed_items: SYNCLOG_SERVICES when: synclog_running.results[{{ item.0 }}].rc != 0 […] roles/init/tasks/main.yml
- 31. Monitoring 31ELK = Elastic Logstash Kibana Availability Performance Logfiles Service Description •Every micro service has a health-check URL • Availability Check & Response Time • Server Metrics: CPU, Memory, etc. • Docker Metrics per Container: CPU, Mem, … • Browser Metrics: Page Load, JS Errors • Central storage for log files • Similar for ELK-Stack, but as a Service Alerting • Single point for all alerts • Informs operations managers on duty Dashboard • Dashboard which shows main KPIs • Running on Screens in LeanIX Office
- 32.