16-mal heruntergeladen
![Als da wären…
moc_varnish
cacheinfo
[eureLösung]
Christian Nölle 47](https://image.slidesharecdn.com/tugcgnv2-130322050259-phpapp01/85/Varnish-Cache-mal-was-46-320.jpg)
Hochgeladen vonChristian Nölle
Varnish - Cache mal was!
Varnish ist eine transparente, harte Schutzbeschichtung, die hauptsächlich für Holzoberflächen verwendet wird, aber auch für andere Materialien geeignet ist. Bei Varnish handelt es sich traditionell um eine Kombination aus Trockenöl, Harz und Verdünner, die glatte, glänzende oder matte Oberflächen erzeugt. Darüber hinaus wird Varnish auch als Software für Server-Cache-Management verwendet, wobei spezifische Konfigurationen und Caching-Regeln über die Varnish Configuration Language (VCL) definiert werden.
Varnish - Cache mal was!
- 1. Varnish Varnish is a transparent, hard, protective finish or film primarily used in wood finishing but also for other materials. Varnish is traditionally a combination of a drying oil, a resin, and a thinner or solvent. Varnish finishes are usually glossy but may be designed to produce satin or semi-gloss sheens by the addition of "flatting" agents. Varnish has little or no colour, is transparent, and has no added pigment, as opposed to paints or wood stains, which contain pigment and generally range fromopaque to translucent. Varnishes are also applied over wood stains as a final step to achieve a film for gloss and protection. Some products are marketed as a combined stain and varnish. Christian Nölle 1
- 2. Für drinnen UNDdraussen! Christian Nölle 2
- 3.
- 4. Varnish (software) Yeah! Christian Nölle 4
- 5. Wer spricht dennda? Christian Nölle Christian Nölle 5
- 6. Was tut erdenn? Studium Abschluss Selbständig Mitarbeiter Tätig Lebt Christian Nölle 6
- 7. Wuppertal für Kölner Quelle:flickr.com – User Metro Centric – unter CC BY 2.0 Christian Nölle 7
- 8. Varnish = (HTTP|web) (proxy|accelerator) Christian Nölle 8
- 9. Sag JA zuPerformance! Varnish works on 32-bit, but was designed for 64bit. It's all about virtual memory: Things like stack size suddenly matter on 32bit. If you must use Varnish on 32-bit, you're somewhat on your own. However, try to fit it within 2GB. I wouldn't recommend a cache larger than 1GB, and no more than a few hundred threads... (Why are you on 32bit again?) http://kly.no/posts/2010_01_26__Varnish_best_practices__.html Christian Nölle 9
- 10. Server 64bit OS Multi core Speicher Christian Nölle 10
- 11. Speicher satt? -s malloc,5G Öh, Speicher? -s file,/tmp/varnish_storage.bin,5G Lauschen lassen! -a 0.0.0.0:80 Christian Nölle 11
- 12. Tuning? After working withVarnish I've realized that you do not really need to tune Varnish much: The defaults are tuned. The only real exception I've found to this is number of threads and possibly work spaces. http://kly.no/posts/2010_01_26__Varnish_best_practices__.html Christian Nölle 12
- 13. Konfigurieren! Varnish Configuration Language VCL /etc/varnish/default.vcl -f /etc/varnish/meine.vcl Christian Nölle 13
- 14. Definiert die Caching-Regeln Wird geparst, in C compiliert und in Varnish gelinkt! Fallback auf default VCL Christian Nölle 14
- 15. And Now forSomething Completely Different Christian Nölle 15
- 16. Ich distanziere michvon der nun folgenden Darsstellung: Quelle: commons.wikimedia.org / Creative Commons CC0 1.0 Universal Public Domain Dedication Christian Nölle 16
- 17. Was geht?! vcl_recv vcl_pipe vcl_hash vcl_pass vcl_miss vcl_hit vcl_fetch vcl_deliver Christian Nölle 17
- 18. Treffer! vcl_recv vcl_pipe vcl_hash vcl_pass vcl_miss vcl_hit vcl_fetch vcl_deliver Christian Nölle 18
- 19. Daneben! vcl_recv vcl_pipe vcl_hash vcl_pass vcl_miss vcl_hit vcl_fetch vcl_deliver Christian Nölle 19
- 20. Haben wir bedingtmit zu tun! vcl_recv vcl_pipe vcl_hash vcl_pass vcl_miss vcl_hit vcl_fetch vcl_deliver Christian Nölle 20
- 21. Wollen wir niewas mit zu tun haben! vcl_recv vcl_pipe vcl_hash vcl_pass vcl_miss vcl_hit vcl_fetch vcl_deliver Christian Nölle 21
- 22. Backend & Probes backenddefault { • Backend(s) definieren .host = "12.34.56.78"; • Probes = Health checks .port = "80"; • .window = Wieviele der .probe = { letzten Anfragen .url = "/probe.txt"; werden geprüft .timeout = 1s; • .threshold = Wieviele .interval = 3s; müssen „gesund“ sein? .window = 10; .threshold = 5; • Obacht beim .timeout! } } Christian Nölle 23
- 23. Directors director test round-robin{ • Definition eines { .backend = server1; } Directors { .backend = server2; } • round-robin oder { .backend = { random .host = "12.34.56.78"; • random mit .port = "82"; Gewichtung: .weight } • Sowie } hash, client, fallback } und dns Directors Christian Nölle 24
- 24. Grace mode sub vcl_recv{ • Objekt veraltet, aber if (req.backend.healthy) { noch im Cache set req.grace = 30s; • Grace mode: Varnish } else { nutzt ein solches Objekt set req.grace = 24h; • Bedingungen: } – Existenz -> beresp.grace } – Erlaubnis -> req.grace sub vcl_fetch { set beresp.grace = 24h; } Christian Nölle 25
- 25. Übung ;) • Was geht wann? • 50 Sekunden? – normale Auslieferung • 63 Sekunden? – Cache miss, aber grace set beresp.ttl=1m; möglich set req.grace = 30s; • 80 Sekunden? – Cache miss, aber grace set beresp.grace = 1h; möglich • 94 Sekunden? – Cache miss, grace nicht erlaubt • 3660 Sekunden (1H + 1m) – Objekt wird aus Cache entfernt! Christian Nölle 26
- 26. Start mit einer.vcl von moc.net Anpassung an varnish 3.0 Erfahrung gesammelt EINIGES geändert! ;) Christian Nölle 27
- 27. Einiges Wenig anTYPO3 Kram sub vcl_recv { • Logins direkt durch die if (req.url ~ Pipe schicken "/typo3/index.php$") { • Aufruf von vcl_pipe return (pipe); } • Backends nicht cachen if(req.url ~ "/typo3/") { return (pass); • Aufruf von vcl_pass } } Christian Nölle 28
- 28. sub vcl_fetch { if(beresp.http.cache-control ~ "(no-cache|private)" || beresp.http.pragma ~ "no-cache") { set beresp.ttl = 0s; #Make sure that We remove alle cache headers, so the Browser does not cache it for us! remove beresp.http.Cache-Control; remove beresp.http.Expires; remove beresp.http.Last-Modified; remove beresp.http.ETag; remove beresp.http.Pragma; return (deliver); } } • Was tun, wenn Seiten IP basiert ausgeliefert werden? • vcl_fetch veranlassen, sowas nicht zu cachen! Christian Nölle 29
- 29. • Fehlerseiten cachenist ne blöde Idee! • Also direkt durch? – Direkt wäre pass oder sub vcl_fetch { gar pipe! if (beresp.status >= 400) { • hit_for_pass = Pass in return (hit_for_pass); fetch! } • Request pile up wird } vermieden Christian Nölle 30
- 30. • Objekte jenach obj.hits gestaffelt länger cachen • Redakteure sollen einzelne Seiten aus dem Cache aktualisieren können durch STRG & F5. acl refresh { „123.456.0.0"/16; } sub vcl_hit { if (obj.hits == 500) { set obj.ttl = 1d; } elsif (obj.hits == 10000) { set obj.ttl = 3d; } #internal hit vcl for CTRL F5 if (req.http.pragma ~ "no-cache" || req.http.Cache-Control ~ "no-cache") { if (client.ip ~ refresh) { purge; return (pass); } } } Christian Nölle 31
- 31. Mobile Webseiten! gleiche URL Cache! Mhhhhh… Christian Nölle 32
- 32. Geräteerkennung durch varnish vcl_hash für verschiedene Caches je Gerätegruppe TYPO3 liefert je nach X-Header verschiedene Templates. Christian Nölle 33
- 33. Geräteerkennung durch varnish vcl_hash für verschiedene Caches je Gerätegruppe TYPO3 liefert je nach X-Header verschiedene Templates. Christian Nölle 34
- 34. Besser: https://github.com/varnish/varnish- devicedetect Christian Nölle 35
- 35. Auschnitte der Erkennungsroutine include"devicedetect.vcl"; • fertige Routine sub vcl_recv { call inkludieren devicedetect; } • Aufrufen in vcl_recv unset req.http.X-UA-Device; set req.http.X-UA-Device = • Setzt http X-UA-Device "pc"; Header if (req.http.Cookie ~ "(?i)X- • Cookie zum Abschalten UA-Device-force") { möglich! … } Christian Nölle 36
- 36. sub vcl_fetch { if (req.http.X-UA-Device) { if (!beresp.http.Vary) { # no Vary at all set beresp.http.Vary = "X-UA-Device"; } elseif (beresp.http.Vary !~ "X-UA-Device") { # add to existing Vary set beresp.http.Vary = beresp.http.Vary + ", X-UA-Device"; } } # comment this out if you don't want the client to know your classification set beresp.http.X-UA-Device = req.http.X-UA-Device; } • Prüft und ergänzt den X-Header • und nutzt Vary um den Content zu unterscheiden • Purging besser möglich als mit vcl_hash Christian Nölle 37
- 37. sub vcl_deliver { if ((req.http.X-UA-Device) && (resp.http.Vary)) { set resp.http.Vary = regsub(resp.http.Vary, "X-UA- Device", "User-Agent"); } } • der Vary Header muss allerdings auf dem Weg zum Client zurück wieder normalisiert werden. • Gefahr: Andere Caches da draussen… Christian Nölle 38
- 38. Quelle: Bob Smith,http://sxc.hu/browse.phtml?f=profile&l=brainloc Christian Nölle 39
- 39. Aus der Doku… Varnish will, in the default configuration, not cache a object coming from the backend with a Set- Cookie header present. Also, if the client sends a Cookie header, Varnish will bypass the cache and go directly to the backend. Christian Nölle 40
- 40.
- 41. mhhhhh… if (req.http.Authorization || • default.vcl req.http.Cookie) { /* Not cacheable by default */ return (pass); } if (req.http.Authorization) { • Obacht! Simple (und return (pass); gefährliche) Lösung! } Christian Nölle 42
- 42. FE-User in TYPO3 TYPO3 sendet IMMER Cookies! Caching ist aber nicht gewünscht, wenn per User Content vorliegt Christian Nölle 43
- 43. Lösung? Ideen? Christian Nölle 44
- 44. Unsere Lösung: cache-control nutzen Christian Nölle 45
- 45. Aber: Viele Wege führen nach Rom! Einzelfall betrachten! Christian Nölle 46
- 46. Als da wären… moc_varnish cacheinfo [eureLösung] Christian Nölle 47
- 47.
- 48. Und wenn derCache nur 60% Hits macht? Christian Nölle 49
- 49. varnishtop -i txurl varnishlog -c-m 'RxURL:^/meine/url lwp-request HTTP Header ansehen Christian Nölle 50
- 50. Essential https://www.varnish- cache.org/docs/3.0/ https://www.varnish- software.com/static/book/ Christian Nölle 51
- 51. Christian Nölle noelle@uni-wuppertal.de Twitter: @stbc Christian Nölle 52