El documento describe los procesos de rastreo e indexación de los buscadores como Google. Explica que el rastreo es el proceso mediante el cual los robots de los buscadores encuentran páginas nuevas o actualizadas para añadirlas al índice. La indexación es cuando el contenido de la página se analiza, almacena y cataloga en el índice. También proporciona consejos sobre cómo controlar el rastreo de Googlebot y evitar que se indexe contenido no deseado.
6. ¿Qué es el rastreo?
Proceso de buscar páginas
nuevas o actualizadas para
añadirlas al índice.
@carlosestevez_
7. ¿Qué es la indexación?
Es cuando el robot ha accedido a
la página, se ha analizado su
contenido y el significado del
mismo y se ha almacenado y
catalogado en el índice.
@carlosestevez_
9. @carlosestevez_
Crawl +
Render
Index
Inmediato, con un
tiempo de renderizado
de 5 segundos
Nuevos enlaces
detectados para
rastrear
Inspeccionar url de
Google Search Console y
otros servicios
Enlaces solicitados para
rastrear
10. ● El tamaño de pantalla es de Nexus 5x (Mobile first)
● Renderiza e indexa hasta 5 segundos
● Googlebot tiene las cookies habilitadas pero no persisten
entre peticiones
● Según su hora del sistema, todos los rastreos empiezan a
las 16:00h
@carlosestevez_
¿Cómo nos rastrea Googlebot?
🤖