Los buscadores son programas que organizan las páginas web encontradas por los robots y arañas. Los robots visitan sitios web, extraen enlaces y esta información se usa para crear índices que hacen más fácil encontrar información en el caótico internet. Los robots se usan para varios propósitos como indexar, validar HTML y links, y monitorear contenido nuevo. Los términos robot, araña, gusano y oruga se refieren básicamente al mismo concepto de un programa que navega sitios web recolectando enlaces.