Crawler

Un crawler, también conocido como spider o bot, es un programa automático que rastrea sitios web y recopila información para indexarla en un motor de búsqueda. El rastreo es la base para que el contenido se muestre en los resultados de búsqueda.