Spider

Un spider, también conocido como crawler o robot, es un programa que los motores de búsqueda utilizan para rastrear la web. Estos spiders visitan sitios web, leen su contenido y lo indexan para su inclusión en los resultados de búsqueda.