SEO: Crawl Budget Optimierung & Onsite SEO

6.867 Aufrufe

Veröffentlicht am

Effizientes Crawling für Websites. Anleitung um GoogleBot die Arbeit leichter zu machen. Besseres Ranking durch Crawl Budget Optimierung. Wichtige Hinweise zu Onsite SEO, Panda Diät, Panda Update, etc.

SEO-Vortrag SMX München 2016

Veröffentlicht in: Marketing
1 Kommentar
23 Gefällt mir
Statistik
Notizen
Keine Downloads
Aufrufe
Aufrufe insgesamt
6.867
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
3.215
Aktionen
Geteilt
0
Downloads
0
Kommentare
1
Gefällt mir
23
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

SEO: Crawl Budget Optimierung & Onsite SEO

  1. 1. ÖKONOMIE DES CRAWLING @pip_net BWL für SEOs Vorlesung: 101 Dozent: Dipl.-Kfm. Philipp Klöckner mail@pip.net 2016 SLIDES: bit.ly/pipsmx2016
  2. 2. 3/18/2016Philipp Klöckner 2 2005 2010 2015 Philipp Klöckner Consultant & Angel Investor Search & Organic Growth* @pip_net
  3. 3. 3/18/2016Philipp Klöckner 3 BWL: Was macht ein Wirtschaftswissenschaftler? • Denken und Handeln nach dem ökonomischen Prinzip • Den gleichen Output mit weniger Input erreichen • Mit gegebenen Mitteln mehr Output erreichen  Optimierungsprobleme lösen
  4. 4. 3/18/2016Philipp Klöckner 4 Ökonomische Entscheidungen basieren auf der Annahme der „Knappheit“
  5. 5. 3/18/2016Philipp Klöckner 5 Crawling „BUDGET“? Klingt irgendwie knapp, oder?
  6. 6. 3/18/2016Philipp Klöckner 6 Warum ist Crawling budgetiert?
  7. 7. 3/18/2016Philipp Klöckner 7 Google Data Center sind groß
  8. 8. 3/18/2016Philipp Klöckner 8 Sehr groß…
  9. 9. 3/18/2016Philipp Klöckner 9 Und brauchen Wasser zur Kühlung…
  10. 10. 3/18/2016Philipp Klöckner 10 Aber Sie sind umweltfreundlich!
  11. 11. 3/18/2016Philipp Klöckner 11 Google Data Centers – Sehr teure knappe Ressource • 7 in North America • 4 in Europe • 2 in Asia • 1 in South America • +20% „Leased Facilities“ • Highly efficient • $400-600m each • 350MW footprint in total • 10bn+ cost per year
  12. 12. 3/18/2016Philipp Klöckner 12 Budget hilft Google knappe Ressourcen effizient zu verwalten • Crawling kostet Geld. Viel Geld. Geld ist eine knappe Ressource. • Crawling Ressourcen müssen effizient (wirtschaftlich) genutzt werden • Webseiten erhalten ein spezifisches „Crawling Budget“, abhängig von: • PageRank™ • Content Quality (DC, thin content) • Freshness / Change Frequency • Relevanz & Nachfrage • Page Speed? Host Load? • vermutlich NICHT: n Dokumente pro Host • SONDERN: „Datacenter Computing-Time“ pro Domain pro Zeiteinheit • Crawling Budget Optimierung = Google helfen mehr mit weniger zu erreichen
  13. 13. 3/18/2016Philipp Klöckner 13 Warum ist das wichtig für GOOGLE? Maximum-Prinzip 1. Vollständiger Index 2. Maximale Dokumenten-Aktualität 3. Realtime Content Discovery  Bessere Suchergebnisse Minimum-Prinzip 1. Ressourcen-Ver(sch)wendung minimieren 2. Webmaster/Server minimal belasten
  14. 14. 3/18/2016Philipp Klöckner 14 Maximum Prinzip (Beispiel): Output verdoppeln Problem 1. Ressource (Server): 1.000.000 2. Dokumente: 50.000.000.000.000 (50 Billionen) 3. Zeit pro Dokument: 2 Sekunden 4. Ein kompletter Durchlauf (1 Indexer CPU) = 3 Mio Jahre Lösung 1. Server verdoppeln? 2. Hälfte der Dokumente wegschmeißen? 3. Zeit pro Dokument? Page Speed RANKING BONUS! => nur noch 1 Sekunde pro Doc Doppelt so viel Dokumente in der gleichen Zeit.
  15. 15. 3/18/2016Philipp Klöckner 15 Warum sollte das für WEBMASTER wichtig sein? • Crawling Budget ist relativ knapp (Fixum für Webmaster) • Drei Herausforderungen für Webmaster 1. Vollständigkeit (Inventar zu 100% indiziert) 2. Aktualität (Dokumente auf dem neusten Stand) 3. Content Discovery (First Mover Advantage) 4. Priorisierung (Ressourcenallokation = Grenznutzen)  Effiziente Crawling-Struktur aufbauen
  16. 16. 3/18/2016Philipp Klöckner 16 Vollständigkeit & Aktualität • Generelle Auffindbarkeit aller URLs • Keine „Orphan Pages“ • Keine „Spider Traps“ • Akzeptable Auslieferung • Validität des Code • Paywalls, Interstitials, Redirects • Page Speed / Host Load • Korrekte Status Codes
  17. 17. 3/18/2016Philipp Klöckner 17 Accessibility Check: Fetch and Render as GoogleBot in GSC
  18. 18. 3/18/2016Philipp Klöckner 18 Accessibility Check: Check Crawl Errors in GSC
  19. 19. 3/18/2016Philipp Klöckner 19 Accessibility Check: Google Text Cache „Nur-Text-Version“ oder &strip=1 anhängen
  20. 20. 3/18/2016Philipp Klöckner 20 Priorisierung des Crawlings (PageRank™ Sculpting) SEO nach Pareto Prinzip 1. Manche Dokumente sind wichtiger als andere 2. Die meisten sind ökonomisch komplett nutzlos 3. Warum dann alle gleich crawlen? 4. Warum überhaupt crawlen und indizieren? 5. Beste Priorisierung: Ballast loswerden!
  21. 21. 3/18/2016Philipp Klöckner 21 Duplicate Content = Ballast “Imagine we crawl three pages from a site, and then we discover that the two other pages were duplicates of the third page. We’ll drop two out of the three pages and keep only one, and that’s why it looks like it has less good content. So we might tend to not crawl quite as much from that site.” Matt Cutts, 2010
  22. 22. 3/18/2016Philipp Klöckner 22 1. Maßnahme: Panda Diät – Schlank und RANKing!
  23. 23. 3/18/2016Philipp Klöckner 23 Panda Diät 101: Was ich immer glaubte… (und predigte)
  24. 24. 3/18/2016Philipp Klöckner 24 Typische Umsatz- und Trafficverteilung 1. 5 von 6 Seiten haben in 100 Tagen nicht mal einen Besucher gesehen 2. 60.000 von 360.000 Seiten erhalten 100% des Traffics 3. Von allen Seiten generieren nur 0,5% (1.800) überhaupt Umsatz
  25. 25. 3/18/2016Philipp Klöckner 25 Umsatzverteilung auf Pages: Pareto auf Crack
  26. 26. 3/18/2016Philipp Klöckner 26 Panda Diät: Weniger ist mehr
  27. 27. 3/18/2016Philipp Klöckner 27 Die restlichen 0,3 Prozent
  28. 28. 3/18/2016Philipp Klöckner 28 Effizienz: Weniger ist mehr 5x? 0,1% of Pages
  29. 29. 3/18/2016Philipp Klöckner 29 „Maximal effiziente Webseiten“
  30. 30. 3/18/2016Philipp Klöckner 30 Ballast abwerfen: The Usual Suspects • No Results Pages • Thin Pages (few results, single review, out of stock) • Duplicate Content (internal & external) • Detail Pages (SERPs & Catalogue oft bessere UX!) • eCommerce • Aggregation • Classifieds • Aber mein Longtail? Klasse statt Masse! • Log File Analyse: GoogleBot Aktivität sehr guter Qualitäts-Indikator für Dokumente
  31. 31. 3/18/2016Philipp Klöckner 31 Effizienz II: Interne Verlinkung Links aus GSC oder OnPage.org oder…
  32. 32. 3/18/2016Philipp Klöckner 32 Effizienz II: Interne Verlinkung
  33. 33. 3/18/2016Philipp Klöckner 33 Time for more „quick wins“ aka. „low hanging fruits“ Genug Theorie! Jetzt Hands-on!
  34. 34. 3/18/2016Philipp Klöckner 34 Interne Verlinkung fixen mit „Bestseller Listen“ & Co. 1. Standard-Sortierung: Popularität 2. Dyn. Bestseller Listen für Priorisierung 3. „Neue Produkte“ für Discovery 4. Related Products für Vollständigkeit 5. Breadcrumb für Bottom Up Prio 6. Prio über Sitemap: You wish!
  35. 35. 3/18/2016Philipp Klöckner 35 Make Pagination suck less… 1.Du verkaufst 10.000 Produkte 2.Du zeigst 15 Produkt pro Seite an 3.Also generierst Du mindestens 666 Seiten 4.Zeige 100 Produkte pro Seite an 5.Und Du generierst nur noch 100 Seiten. 6.Du hast jetzt 85% weniger Paginations-Müll
  36. 36. 3/18/2016Philipp Klöckner 36 Denk nochmal über Pagination nach Besser: Noch besser: Wer klickt denn bitteschön hierhin?
  37. 37. 3/18/2016Philipp Klöckner 37 Brauchst Du die hier auf allen Unterseiten? Wirklich? 1. Oft reicht die Startseite (Klickrate messen) 2. Wenn sie so wichtig wären, wären Sie nicht im Footer, oder?
  38. 38. 3/18/2016Philipp Klöckner 38 Wenn Mobile Subdomains nerven…
  39. 39. 3/18/2016Philipp Klöckner 39 URLs ranken obwohl sie nicht im Index sind?  VORSICHT: Advanced
  40. 40. 3/18/2016Philipp Klöckner 40 Crawling & User Handling entkoppeln (Amazon.com) 1. BotSwitch aufsetzen 2. Canonical für Erwachsene: Dupe URLs 301en über Lookup 3. Viele Parameter am besten gar nicht mehr ausliefern für Bots 4. Features abspecken (Warenkorb, Login, Lupe, Wishlist, etc) 5. Image Serving 6. File Size 7. Page Speed  Am besten mal ein Wochenendspaziergang auf Amazon machen. VORSICHT: UX nicht signifikant verändern! (Cloaking) – Amazon hilft Google hier nur beim crawlen.
  41. 41. 3/18/2016Philipp Klöckner 41 10 Tipps 1. Crawling Budget ist in der Regel kein Hebel für kleine Websites (<1.000 URLs) 2. Crawling Budget Optimierung ist i.d.R. auch gutes „PageRank™ Sculpting“ 3. Indexhygiene bzw. die „Panda Diät“ sind hervorragende Mittel zur Optimierung 4. Hör auf den Index zu Verstopfen! Beobachte GoogleBot und findet schwache Seiten! 5. Passe die interne Verlinkung dem Umsatzpotential der URL an (Excel, GSC, Tools) 6. Nutze Breadcrumbs und Bestsellerlisten! 7. Vereinfache Deine Pagination! (mehr Produkte, weniger Links) 8. Räume Deinen Footer auf! 9. Surfe mal als GoogleBot auf Amazon und vergleiche ;) 10: Finger weg von robots.txt wenn möglich.
  42. 42. 3/18/2016Philipp Klöckner 42 Vielen Dank! Twitter: @pip_net LinkedIn: linkedin.com/in/kloeckner Slides: bit.ly/pipsmx2016 Mail: mail@pip.net

×