Este documento resume los conceptos clave de la optimización del rastreo de motores de búsqueda (crawling) en WordPress. Explica las diferentes etapas del proceso de búsqueda (crawling, indexación y posicionamiento), y cómo optimizar la arquitectura de enlaces internos y el uso de robots.txt para controlar qué páginas son rastreadas e indexadas. También recomienda herramientas como Screaming Frog y plugins como Yoast Premium y Redirection para analizar enlaces rotos y redirecciones.

1. Optimización del crawling con WP
Javier Lorente | www.javierlorente.es/ | twitter.com/javier_lorente

3. Crawl
•Rastreo
Index
•Indexación
Rank
•Posicionamiento
¿Cómo funciona un buscador?

4. Códigos de respuesta http
● 200: Todo bien.
● 3XX: (301, 302, 307...) redirecciones.
● 4XX: Error en la URL que se está atacando
● 5XX: Errores de Servidor, 500, 503...

5. URLs totales
URLs rastreables
URLs rastreadas
URLs indexables
URLs
indexadas
URLs
posicionadas
Pirámide con los tipos de URLs

6. En una web “perfecta” / utópica…
URLs totales
URLs rastreables
URLs rastreadas
URLs indexables
URLs indexadas
URLs posicionadas

7. En una web real, intentamos…
URLs totales
URLs rastreables
URLs rastreadas
URLs indexables
URLs indexadas
URLs posicionadas

8. ¿Qué echaba en falta el año pasado?

9. ¡Ya lo tenemos!
http://www.slideshare.net/mjcachon/page-rank-interno-screaming-frog-r-en-measure-camp-madrid-2016

10. Screaming Frog + R + Spreadsheets

11. Excel ofrece posibilidades infinitas

12. Ejemplo de informes de tools de pago

13. Más ideas…
% inlinks de un sitio cualquiera

14. Un sitio BIEN optimizado

15. ¿Cómo lo conseguimos?
● Arquitectura siloing
● Controlando paginaciones u otras páginas no
posicionables mediante:
● Robots.txt
● Nofollows internos ¿Quién dijo miedo?

16. La clave de la optimización avanzada

17. Optimización Avanzada

18. https/2

19. HSTS

21. ¿Cuántas categorías y tags?
Depende de…
● la cantidad de URLs con buen contenido cada una que vas a ser capaz de generar
● la autoridad de dominio, el histórico o historicidad tienen mucho que decir también
● la cantidad de contenido nuevo que generas por unidad de tiempo, ¿vas a ser capaz
de refrescar todos los tags? Los nuevos deberían incluir ya un mínimo de contenido.
● las búsquedas que puedan tener en google esas determinadas tags y categorías
● la forma en que presentes la arquitectura de navegación e interlinkado interno, ¿la
gente navegará por ellas o son solo para intentar posicionar la keyword?
Más cosas a tener en cuenta…
● Cuidado con los tags cíclicos o recurrentes como los eventos periódicos.
● Cuidado con las clasificaciones “oficiales” o técnicamente correctas.
https://www.javierlorente.es/15910.html

22. Plugin Yoast Premium

23. Plugin Yoast Premium

24. Plugin WP Link Status
https://es.wordpress.org/plugins/wp-link-status/

25. Plugin redirection (con hits)
https://es.wordpress.org/plugins/redirection/

26. Plugin redirection: hits 404 globales
https://es.wordpress.org/plugins/redirection/

27. Ante muchos 404 ¿Cómo empiezo?
● Teóricamente los más urgentes son los de GSC
● Descarga el CSV de los 404 del “redirection” y
prioriza por número de hits, trabájalo con Excel.
● Presta atención a los 404 del “error_log” cuyo
referrer sea *google*. Te anticipas a GSC.
● Puedes no poder arreglarlos y esperar que
vayan desapareciendo, depende del caso.
● Otra opción es redirecciones o Disallows.

28. Pero todavía sigo buscando…
Un script que te garantice que una migración va a ir bien:
- Se conecte a Google Analytics & Search Console &
otras APIs para extraer las URLs que deberían
redirigirse de tu dominio.
- Compruebe que efectivamente todas las URLs redirigen
en un solo salto mediante una 301 a un 200, origen y
destino son iguales y si tenías contenido pandalizable,
devuelva error en origen ahorrándonos el casi siempre
presente salto 301 > 404