Das Dokument behandelt die ökonomischen Aspekte des Crawling und das Crawling-Budget von Google, welches eine knappe Ressource ist, die effizient genutzt werden muss. Webmaster stehen vor Herausforderungen wie Vollständigkeit, Aktualität und Content-Entdeckung, um ihre Crawling-Strukturen zu optimieren. Die Präsentation schlägt Strategien vor, um unnötige Inhalte zu vermeiden und die Effizienz durch interne Verlinkung und Priorisierung wichtiger Seiten zu steigern.

1. ÖKONOMIE
DES
CRAWLING
@pip_net
BWL für SEOs
Vorlesung: 101
Dozent:
Dipl.-Kfm.
Philipp Klöckner
mail@pip.net
2016
SLIDES:
bit.ly/pipsmx2016

2. 3/18/2016Philipp Klöckner 2
2005 2010 2015
Philipp Klöckner
Consultant & Angel Investor
Search & Organic Growth*
@pip_net

3. 3/18/2016Philipp Klöckner 3
BWL: Was macht ein Wirtschaftswissenschaftler?
• Denken und Handeln nach dem ökonomischen Prinzip
• Den gleichen Output mit weniger Input erreichen
• Mit gegebenen Mitteln mehr Output erreichen
 Optimierungsprobleme lösen

4. 3/18/2016Philipp Klöckner 4
Ökonomische Entscheidungen basieren auf der Annahme der „Knappheit“

5. 3/18/2016Philipp Klöckner 5
Crawling „BUDGET“? Klingt irgendwie knapp, oder?

6. 3/18/2016Philipp Klöckner 6
Warum ist Crawling budgetiert?

7. 3/18/2016Philipp Klöckner 7
Google Data Center sind groß

8. 3/18/2016Philipp Klöckner 8
Sehr groß…

9. 3/18/2016Philipp Klöckner 9
Und brauchen Wasser zur Kühlung…

10. 3/18/2016Philipp Klöckner 10
Aber Sie sind umweltfreundlich!

11. 3/18/2016Philipp Klöckner 11
Google Data Centers – Sehr teure knappe Ressource
• 7 in North America
• 4 in Europe
• 2 in Asia
• 1 in South America
• +20% „Leased Facilities“
• Highly efficient
• $400-600m each
• 350MW footprint in total
• 10bn+ cost per year

12. 3/18/2016Philipp Klöckner 12
Budget hilft Google knappe Ressourcen effizient zu verwalten
• Crawling kostet Geld. Viel Geld. Geld ist eine knappe Ressource.
• Crawling Ressourcen müssen effizient (wirtschaftlich) genutzt werden
• Webseiten erhalten ein spezifisches „Crawling Budget“, abhängig von:
• PageRank™
• Content Quality (DC, thin content)
• Freshness / Change Frequency
• Relevanz & Nachfrage
• Page Speed? Host Load?
• vermutlich NICHT: n Dokumente pro Host
• SONDERN: „Datacenter Computing-Time“ pro Domain pro Zeiteinheit
• Crawling Budget Optimierung = Google helfen mehr mit weniger zu erreichen

13. 3/18/2016Philipp Klöckner 13
Warum ist das wichtig für GOOGLE?
Maximum-Prinzip
1. Vollständiger Index
2. Maximale Dokumenten-Aktualität
3. Realtime Content Discovery
 Bessere Suchergebnisse
Minimum-Prinzip
1. Ressourcen-Ver(sch)wendung minimieren
2. Webmaster/Server minimal belasten

14. 3/18/2016Philipp Klöckner 14
Maximum Prinzip (Beispiel): Output verdoppeln
Problem
1. Ressource (Server): 1.000.000
2. Dokumente: 50.000.000.000.000 (50 Billionen)
3. Zeit pro Dokument: 2 Sekunden
4. Ein kompletter Durchlauf (1 Indexer CPU) = 3 Mio Jahre
Lösung
1. Server verdoppeln?
2. Hälfte der Dokumente wegschmeißen?
3. Zeit pro Dokument?
Page Speed RANKING BONUS! => nur noch 1 Sekunde pro Doc
Doppelt so viel Dokumente in der gleichen Zeit.

15. 3/18/2016Philipp Klöckner 15
Warum sollte das für WEBMASTER wichtig sein?
• Crawling Budget ist relativ knapp (Fixum für Webmaster)
• Drei Herausforderungen für Webmaster
1. Vollständigkeit (Inventar zu 100% indiziert)
2. Aktualität (Dokumente auf dem neusten Stand)
3. Content Discovery (First Mover Advantage)
4. Priorisierung (Ressourcenallokation = Grenznutzen)
 Effiziente Crawling-Struktur aufbauen

16. 3/18/2016Philipp Klöckner 16
Vollständigkeit & Aktualität
• Generelle Auffindbarkeit aller URLs
• Keine „Orphan Pages“
• Keine „Spider Traps“
• Akzeptable Auslieferung
• Validität des Code
• Paywalls, Interstitials, Redirects
• Page Speed / Host Load
• Korrekte Status Codes

17. 3/18/2016Philipp Klöckner 17
Accessibility Check: Fetch and Render as GoogleBot in GSC

18. 3/18/2016Philipp Klöckner 18
Accessibility Check: Check Crawl Errors in GSC

19. 3/18/2016Philipp Klöckner 19
Accessibility Check: Google Text Cache
„Nur-Text-Version“ oder &strip=1 anhängen

20. 3/18/2016Philipp Klöckner 20
Priorisierung des Crawlings (PageRank™ Sculpting)
SEO nach Pareto Prinzip
1. Manche Dokumente sind wichtiger als andere
2. Die meisten sind ökonomisch komplett nutzlos
3. Warum dann alle gleich crawlen?
4. Warum überhaupt crawlen und indizieren?
5. Beste Priorisierung: Ballast loswerden!

21. 3/18/2016Philipp Klöckner 21
Duplicate Content = Ballast
“Imagine we crawl three pages from a site, and then
we discover that the two other pages were duplicates
of the third page. We’ll drop two out of the three pages
and keep only one, and that’s why it looks like it has
less good content. So we might tend to not crawl quite
as much from that site.”
Matt Cutts, 2010

22. 3/18/2016Philipp Klöckner 22
1. Maßnahme: Panda Diät – Schlank und RANKing!

23. 3/18/2016Philipp Klöckner 23
Panda Diät 101: Was ich immer glaubte… (und predigte)

24. 3/18/2016Philipp Klöckner 24
Typische Umsatz- und Trafficverteilung
1. 5 von 6 Seiten haben in 100 Tagen nicht mal einen Besucher gesehen
2. 60.000 von 360.000 Seiten erhalten 100% des Traffics
3. Von allen Seiten generieren nur 0,5% (1.800) überhaupt Umsatz

25. 3/18/2016Philipp Klöckner 25
Umsatzverteilung auf Pages: Pareto auf Crack

26. 3/18/2016Philipp Klöckner 26
Panda Diät: Weniger ist mehr

27. 3/18/2016Philipp Klöckner 27
Die restlichen 0,3 Prozent

28. 3/18/2016Philipp Klöckner 28
Effizienz: Weniger ist mehr
5x?
0,1% of Pages

29. 3/18/2016Philipp Klöckner 29
„Maximal effiziente Webseiten“

30. 3/18/2016Philipp Klöckner 30
Ballast abwerfen: The Usual Suspects
• No Results Pages
• Thin Pages (few results, single review, out of
stock)
• Duplicate Content (internal & external)
• Detail Pages (SERPs & Catalogue oft bessere UX!)
• eCommerce
• Aggregation
• Classifieds
• Aber mein Longtail? Klasse statt Masse!
• Log File Analyse: GoogleBot Aktivität sehr guter
Qualitäts-Indikator für Dokumente

31. 3/18/2016Philipp Klöckner 31
Effizienz II: Interne Verlinkung
Links aus GSC
oder OnPage.org
oder…

32. 3/18/2016Philipp Klöckner 32
Effizienz II: Interne Verlinkung

33. 3/18/2016Philipp Klöckner 33
Time for more „quick wins“ aka. „low hanging fruits“
Genug Theorie! Jetzt Hands-on!

34. 3/18/2016Philipp Klöckner 34
Interne Verlinkung fixen mit „Bestseller Listen“ & Co.
1. Standard-Sortierung: Popularität
2. Dyn. Bestseller Listen für Priorisierung
3. „Neue Produkte“ für Discovery
4. Related Products für Vollständigkeit
5. Breadcrumb für Bottom Up Prio
6. Prio über Sitemap: You wish!

35. 3/18/2016Philipp Klöckner 35
Make Pagination suck less…
1.Du verkaufst 10.000 Produkte
2.Du zeigst 15 Produkt pro Seite an
3.Also generierst Du mindestens 666 Seiten
4.Zeige 100 Produkte pro Seite an
5.Und Du generierst nur noch 100 Seiten.
6.Du hast jetzt 85% weniger Paginations-Müll

36. 3/18/2016Philipp Klöckner 36
Denk nochmal über Pagination nach
Besser:
Noch besser:
Wer klickt denn bitteschön hierhin?

37. 3/18/2016Philipp Klöckner 37
Brauchst Du die hier auf allen Unterseiten? Wirklich?
1. Oft reicht die Startseite (Klickrate messen)
2. Wenn sie so wichtig wären, wären Sie nicht im Footer, oder?

38. 3/18/2016Philipp Klöckner 38
Wenn Mobile Subdomains nerven…

39. 3/18/2016Philipp Klöckner 39
URLs ranken obwohl sie nicht im Index sind? 
VORSICHT: Advanced

40. 3/18/2016Philipp Klöckner 40
Crawling & User Handling entkoppeln (Amazon.com)
1. BotSwitch aufsetzen
2. Canonical für Erwachsene: Dupe URLs 301en über Lookup
3. Viele Parameter am besten gar nicht mehr ausliefern für Bots
4. Features abspecken (Warenkorb, Login, Lupe, Wishlist, etc)
5. Image Serving
6. File Size
7. Page Speed
 Am besten mal ein Wochenendspaziergang auf Amazon machen.
VORSICHT:
UX nicht signifikant verändern! (Cloaking) – Amazon hilft Google hier nur beim crawlen.

41. 3/18/2016Philipp Klöckner 41
10 Tipps
1. Crawling Budget ist in der Regel kein Hebel für kleine Websites (<1.000 URLs)
2. Crawling Budget Optimierung ist i.d.R. auch gutes „PageRank™ Sculpting“
3. Indexhygiene bzw. die „Panda Diät“ sind hervorragende Mittel zur Optimierung
4. Hör auf den Index zu Verstopfen! Beobachte GoogleBot und findet schwache Seiten!
5. Passe die interne Verlinkung dem Umsatzpotential der URL an (Excel, GSC, Tools)
6. Nutze Breadcrumbs und Bestsellerlisten!
7. Vereinfache Deine Pagination! (mehr Produkte, weniger Links)
8. Räume Deinen Footer auf!
9. Surfe mal als GoogleBot auf Amazon und vergleiche ;)
10: Finger weg von robots.txt wenn möglich.

42. 3/18/2016Philipp Klöckner 42
Vielen Dank!
Twitter: @pip_net
LinkedIn: linkedin.com/in/kloeckner
Slides: bit.ly/pipsmx2016
Mail: mail@pip.net