¿Que es el Robots.txt?
También conocido como Robot Exclusion Standard, es un archivo agregado a un sitio web con instrucciones para los bots que ingresan al sitio.
Estas instrucciones pueden incluir páginas que no desea que indexe el bot o una solicitud sobre la frecuencia con la que el motor de búsqueda debe visitar su sitio.