Robots.txt

El archivo robots.txt es un archivo estándar utilizado por sitios web para dar instrucciones a los robots de búsqueda sobre qué páginas o archivos deben o no ser rastreados e indexados. Es esencial para el SEO técnico y permite a los webmasters controlar cómo los motores de búsqueda interactúan con su sitio.