Presentación impartida por Chema Alonso en las Navajas Negras 4 Edición (año 2014) sobre la indexación de contenido en los buscadores y cómo aprovecharlo para hacer auditorías de seguridad y hacking
5. Primary Index & Secondary Index
http://www.elladodelmal.com/2014/07/cuantas-urls-se-pueden-extraer-con.html
6. What is Robots.txt for?
• Evita la indexación de contenidos
de las URLs protegidas
• Por tanto, no se realiza spidering
• No evita que se indexen las
URLS
28. Indexing the robots.txt + XSS = XSS
Google-Persistentes
http://es.slideshare.net/chemai64/xss-google-persistentes
29. Robots.txt
• Previene que se indexe a partir de las
rutas puestas.
• Evita que se guarde contenido en el
índice de Google/Bing/Otros
• No evita que la URL, el título, y las
keywords del enlace se indexen.
• Puede ser un leak de información en
ataques dirigidos y en ataques de
dorking.
• No evita la indexación en el pasado.
36. How to manage the relationship?
http://www.slideshare.net/chemai64/black-seov3
37. How to manage the relationship?
• Evitar rutas con contenido mixto
(público/privado)
• Evitar contenido no enlazado en rutas
públicas
• Evitar rutas privadas conocidas (/etc/ /users/)
• Evitar rutas privadas explícitas
• Evitar configuraciones privadas automáticas
• Evitar el uso de rutas privadas a fichero
• Aplicar la misma configuración para todas las
arañas de todos los buscadores de Internet
• Proteger las rutas privadas con listas de
control de acceso si es posible
http://www.slideshare.net/chemai64/black-seov3
38. How to manage the relationship?
(Google)
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag
39. HTML Meta Tags
https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag