Com forçar Google a llegir el meu fitxer robots.txt

En el següent article mostrem com forçar Google a llegir el fitxer robots.txt d'una pàgina web de manera immediata.

En desenvolupar una nova pàgina web és bona pràctica configurar el fitxer robots.txt perquè no indexi el nostre web fins que no estigui preparat amb contingut real.

El fitxer robots.txt és un fitxer de text situat a l'arrel de la nostra pàgina web, que conté una sèrie de directives que els robots dels cercadors haurien de llegir per saber quines parts es poden indexar dins d'una pàgina web.

Així per exemple, si tenim un directori que no volem que Google indexi, doncs afegim la directiva:

Disallow: /nombre-directorio/

En la fase de desenvolupament, per tal que Google no indexi cap contingut de la nostra pàgina web, afegim la directiva:

Disallow: *

En un entorn de desenvolupament aquestes acciones es realitzen per tal que Google no indexi contingut de prova o temporal dins del buscador, donat que estem desenvolupant la pàgina i encara no tenim contingut real que volem que aparegui als cercadors.

Ara bé, un cop ja tenim la pàgina preparada amb el contingut real i volem que Google la indexi, hem de treure la directiva abans indicada i refrescar el fitxer robots.txt.

El problema sorgeix quan ens adonem que Google actualitza el fitxer robots.txt cada x dies (normalment entre 3 dies i 1 setmana), i en canvi nosaltres volem que Google ens comenci a indexar immediatament.

A Google Webmaster Tools, l'aplicació de Google on ha d'estar donada d'alta la seva pàgina web per controlar certs punts d'interacció d'un lloc web amb Google, hi ha l'opció de provar el fitxer robots.txt que té Google en el seu sistema i quan ho ha descarregat per última vegada, així pot veure si el fitxer robots que té en el seu poder Google està actualitzat amb els seus últims canvis.

Pot veure aquesta opció del provador de robots.txt a la pàgina: www.google.com/webmasters/tools/robots-testing-tool

En el supòsit que Google no tingui els canvis actualitzats haureu de forçar a Google a llegir el fitxer robots.txt actualitzat, per això s'ha d'anar a l'opció de Explorar com Google a la pàgina: www.google.com/webmasters/tools/googlebot-fetch

Imatge de pantalla en Webmaster Tools de Explorar com Google

Dins d'aquesta pàgina s'ha d'incloure "robots.txt" dins del quadre de text i prémer en el botó "Obtenir i Processar".

Aquesta opció activa una descàrrega del fitxer robots.txt actualitzat i els servidors de Google refrescaran el fitxer amb l'última versió immediatament, amb això aconseguirem que Google comenci a rastrejar nostre lloc web i el situï en el seu índex.

¡Compartir ara!