Como forzar a Google a leer mi fichero robots.txt
En el siguiente artículo mostramos como forzar a Google a leer el fichero robots.txt de una página web de manera inmediata.
Al desarrollar una nueva página web es buena práctica configurar el fichero robots.txt para que no indexe el sitio web hasta que no esté preparado con contenido real.
El fichero robots.txt es un fichero de texto ubicado en la raíz de nuestra página web, que contiene una serie de directivas que los robots de los buscadores deberían de leer para saber que partes se pueden indexar dentro de un sitio web.