Crawl-Budget-Booster für eine bessere Search Engine Experience

TechnicalSEO.de - André Goldmann
Search Engine Experience.
…oder für alle die es gerne kurz haben: SEX.

André Goldmann
2
• Seit 1996 Front-End Entwickler  
& Optimierer aus Leidenschaft
• Chief Operating Oﬃcer bei der 121WATT 
CEO bei Pixeldreher. Irgendwas mit Internet. Seit 1996.
• Seminare bei der 121WATT: 
Technical-SEO-Seminar 
SEO-Aufbau-Seminar
• Twitter: @andregoldmann 
E-Mail: andre@technicalseo.de

Meine Zeit bei Unister…
3

4

5
https://chrome.google.com/webstore/detail/seo-dashboard-von-technic/
gjacalkbpoekfffccejaohcdbapbapel?hl=de

https://www.google.com/about/datacenters/inside/locations/index.html

Stelle dir immer die Frage: Würdest du für die
URL die du gerade in den Index jagst 10 € an
Google überweisen?

Habt ihr Ideen? 
Was könnte Crawl-Budget sein?

Die Menge an Ressourcen die
Googles Crawler in meine
Website investieren.

…und Ressourcen teilt man nur,
wenn man sich mag und vertraut.

Also geben wir der 
„Liebe“ eine Chance!

Let’s talk about SEX

Was gehört zu gutem SEX?
Crawlbarkeit Indexierbarkeit Rankfähigkeit

Welche Bereiche fallen in die Optimierung der Crawlbarkeit?
• robots.txt
• Ladezeitoptimierung
• URL-Struktur
• Statuscodes
• Weiterleitungen
• Inhaltsarchitektur
• Externe Links
• XML-Sitemaps
16

Welche Bereiche fallen in die Optimierung der Indexierbarkeit?
• Einzigartiger Content (kein DC)
• Canonical-Attribut
• Meta-Tag „robots“
• robots.txt
17

Welche Bereiche fallen in die Optimierung der Rankfähigkeit?
• Content-Qualität
• OnPage-Optimierung
• Externe Links
• Ladezeitoptimierung
• (hreﬂang-Attribut)
18

Fangen wir vorne an…

Das Vorspiel…

Crawlbarkeit einer Domain

Tipp 01 – 100000000…

Reduziert eure URLs.

URL Profiler
24
http://urlproﬁler.com/

Vorraussetzungen für gute SEX (Search Experience)
• URLs müssen immer auﬃndbar sein
• Keine verwaisten Seiten im Projekt
• Valider Quellcode (damit meine ich nicht zwingend W3C 😉)
• Keine Interstitials oder Paywalls
• Ladezeiten unter 1 Sekunde
• Statuscode 200
• Wenige Weiterleitungen – so wenig wie möglich
25

26

27

28

Wissenswertes zur robots.txt
• Blockiert den Crawler VOR dem Betreten einer URL oder
Pfades
• Schützt nicht vor einer Indexierung (externe Zugänge zur URL,
noindex konnte nicht wirken, da die robots.txt den Weg
blockiert)
• Muss zwingend im Root-Verzeichnis der Domain liegen
• Kann Sollte einen Hinweis auf die XML-Sitemap haben
Vorsicht: Keine externe Linkkraft durch Crawler-Blockierung
verschenken
29

Wissenswertes zu Statuscodes
• Nutzt für dauerhafte Weiterleitungen immer einen 301-
Statuscode
• Intern verlinkte Weiterleitungen bitte grundsätzlich entfernen
• Der 404-Statuscode ist ein Fehler und kein dauerhafter
Zustand! Inhalt gelöscht = 410-Statuscode (Gone.)
• Bei sprachbasierte Weiterleitungen bitte per 302- oder 303-
Statuscode
30

Wissenswertes zu XML-Sitemaps
• XML-Sitemaps sollten immer nur URLs die einen 200-
Statuscode ausgeben und tatsächlich im Index landen sollen
beinhalten
• Sollten nach einem Relaunch mit URL-Wechsel noch eine Weile
die alten URLs zur Verfügung stellen (am besten in einer
separaten Sitemap, um die Indexierung überwachen zu
können)
• Können jetzt jeweils bis zu 50 MB groß sein und 50k Zeilen
beinhalten
• Verfügen über eine hreﬂang-Funktion
31

Navigations-Konzepte für die
interne Verlinkung

Navigations-Konzepte für die interne Verlinkung
33
• Gute „populäre“ Inhalte oben anzeigen
• Mischung mit frischen Inhalten
• Ähnliche Inhalte
• Breadcrumb nutzen
• Verzeichnisse
• A bis Z
• HTML-Sitemaps

34
• Verzeichnisse
• A bis Z
• HTML-Sitemaps

35
• Verzeichnisse
• A bis Z
• HTML-Sitemaps

36
• Verzeichnisse
• A bis Z
• HTML-Sitemaps

37
• Verzeichnisse
• A bis Z
• HTML-Sitemaps

38

Nutzt du Paginationen?

Rechenbeispiel für Paginationen
40
• 25.000 Produkte/Inhalte auf deiner Website
• 150 Produkte pro Paginations-Liste
= 1.250 URLs für Paginationen
• 25.000 Produkte/Inhalte auf deiner Website
• 20 Produkte pro Paginations-Liste
= 166 URLs für Paginationen

Verwenden eure Nutzer die Pagination?
41
ga('send', 'event', 'Category', 'Menu click', 'Menu item title', 100);

Klickpfadtiefe mit OnPage.org
42

Wissenswertes zur Ladezeit-
Optimierung

Wie schwer ist eigentlich eine
[mobile] Website?

Beispiel posterxxl.de:
Requests: 118
• 1500 kb Bilder
• 802,3 kb Script
• 290,6 kb Diverses
• 54,1 kb HTML
• 28,6 kb CSS
Page Size: 2.6 MB 
http://www.posterxxl.de/
Wie schwer ist eine [mobile] Website?

Ladezeit für 2,6 MB:
• GPRS: 56 kbit/sec 
2,6 MB = 46 Sekunden
• EDGE: 220 kbit/sec 
2,6 MB = 12 Sekunden
• UMTS (3G): 376 kbit/sec 
2,6 MB = 7 Sekunden
• HSPA: 7,2 Mbit/sec – 42,2 Mbit/sec 
2,6 MB = 0,3 Sekunden
• LTE (4G): 100 Mbit/sec 
2,6 MB = 0,02 Sekunden
Was bedeutet das für mobile?

Beispiel m.zalando.de:
Requests: 129
• 507,3 kb Script
• 243,9 kb Bilder
• 35,7 kb CSS
• 21,8 kb HTML
Page Size: 834,9 kb 
 
m.zalando.de

Ladezeit für 834,9 kb:
834,9 kb = 15 Sekunden
834,9 kb = 0,1 Sekunden

Beispiel 121watt.de:
Requests: 66
• 321,2 kb Bilder
• 147,6 kb Script
• 18,7 kb CSS
• 13 kb HTML
Page Size: 584.7 kb 
http://www.121watt.de

Ladezeit für 584,7 kb:

Wissenswertes zur Ladezeit-Optimierung
52
https://developers.google.com/speed/pagespeed/insights/

Was kann die Ladezeit beeinflussen?
53
• Verbindungsaufbau zum Server
• Download vom Quellcode
• CSS-Dateien
• JavaScript-Dateien
• Externe und interne Webfonts
• Bilder
• Webanalyse-Scripte
• Werbe- und Conversionpixel

Bereit für den Weg in die SERPs?

Indexierbarkeit einer Domain

Wissenswertes zum Canonical-Attribut
• Muss nicht zwingend verwendet werden – ich empfehle es
jedoch, um sich vor falschen Servereinstellungen vor DC zu
schützen
• Das Canonical-Attribut kann Cross-Domain genutzt werden
• Schützt 100%ig vor einer Indexierung bei einem Verweis auf
das Original (wenn es sich um ein Duplikat handelt)
• Kann bei falschem Einsatz zu einem Ranking-Absturz führen
56

Wissenswertes zum Meta-Tag „robots“
• Spart kein Crawl-Budget, da die Seiten erst heruntergeladen
und anschließend in den Rechenzentren analysiert werden
• Sollten intern nie „nofollow“ vergeben – Crawler-Sackgasse
• Können mehr als nur „noindex, follow“ beinhalten: 
noimageindex, noindex, noarchive, nosnippet, noydir, noodp
57

Auf dem Weg zum
Höhepunkt.

Rankfähigkeit

Content-Qualität verbessern
60

Externe Links
61

hreflang-Attribut nutzen – Internationalisierung von deutschen Inhalten
62
https://www.121watt.de/seo/hreﬂang/

Done?

Genügt Onsite-Crawling meiner Website?
• OnPage.org
• Deepcrawl
• Audisto
• Screaming Frog SEO-Spider
• SEO-Tools for Excel
• Searchmetrics
• SISTRIX Optimizer
• …
64

NEIN.

Logfile-Analyse für mehr Insights
66
https://www.screamingfrog.co.uk/log-ﬁle-analyser/

Logfile-Analyse für mehr Insights
67
https://www.technicalseo.de/seo-tools/?fwp_ressourcen_kategorie=crawling-indexierung

Checkliste für Montag
Log-Files analysieren (bitte regelmässig)
Alle 404-Fehler beseitigen (nicht nur die aus der Search
Console)
„Website“-Gewicht überprüfen und reduzieren
Antwort-Geschwindigkeit vom Server beschleunigen
SSL-Migration planen und zukünftig HTTP/2 nutzen
Interne Verlinkung sauber aufsetzen und wichtige Seiten stark
verlinken
URL-Menge aufs wesentliche Reduzieren (!!!)
68

Vielen Dank!
69
André Goldmann 
@andregoldmann
Pixeldreher. Irgendwas mit Internet. Seit 1996. 
Tel.: 0341 /392992660
andre@technicalseo.de 
www.technicalseo.de

Crawl-Budget-Booster für eine bessere Search Engine Experience

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (12)

Ähnlich wie Crawl-Budget-Booster für eine bessere Search Engine Experience

Ähnlich wie Crawl-Budget-Booster für eine bessere Search Engine Experience (20)

Crawl-Budget-Booster für eine bessere Search Engine Experience