És indispensable disposar de fitxer robots.txt a la nostra web, però exactament per què serveix?
En aquest post parlarem del que pot aportar el fitxer robots.txt a la web juntament amb els beneficis que donarà al SEO, però abans d’això farem un breu resum de qui utilitzarà aquest fitxer i per què.

Què són els robots / aranyes d’internet?

Les aranyes web d’internet o també anomenades robots d’indexació són les encarregades de visitar periòdicament les diferents webs creades arreu del món, analitzar-les i emmagatzemar-les perquè posteriorment un motor de cerca processi aquesta informació, la classifiqui i mostri la web segons les cerques introduïdes pels usuaris.

D’aquesta manera trobem diferents tipus de robots d’indexació. El més conegut és el robot de Google anomenat Googlebot. Tal com hem dit, aquest robot visita la nostra pàgina web amb relativa freqüència per tal de tenir la informació més actualitzada i afegir o eliminar del seu índex les pàgines del nostre web. Però no tots els robots que visiten la nostra pàgina web i que existeixen tenen el mateix propòsit, segons les seves intencions els podem classificar en:

  • Cercadors

  • Servidor de Links

  • Eina de Descàrrega

  • Servidor de Filtratge

  • Robot / Aranya

  • Spam / Robot maliciós

Segons aquesta classificació de tipologia de robots podem veure quins són més adients perquè visitin la nostra web i quins no. Aquí és on donem pas al fitxer robots.txt que és el que ens ajudarà a mantenir a ratlla els robots que no siguin beneficiosos ni del nostre interès. Per això ens toca saber…

Què és el fitxer robots.txt ?

El fitxer robots.txt és un arxiu de text pla on marcarem quines seccions del nostre lloc web volem que visiti i indexi cada robot. Aquest fitxer estarà penjat a l’arrel de la nostra web públicament per tal que es pugui visualitzar. Això vol dir que hi podrem accedir si escrivim a l’URL del nostre navegador www.domini.cat/robots.txt

Les funcions que trobarem en aquest fitxer seran:

  • User-agent: Nom del robot al qual van dirigides les funcions de les línies contínues.
  • Allow: Funció que especifica un apartat del web on volem permetre la visita del robot especificat en les línies anteriors.
  • Disallow: Funció que especifica un apartat del web on NO volem permetre la visita del robot especificat en les línies anteriors.
  • Sitemap: Línia on s’especifica l’URL on tenim situat el nostre Sitemap.

I tot això en resum…

Com ajuda al posicionament de la nostra web el fitxer robots.txt?

El fitxer robots.txt sol ser un dels primers apartats a visitar per les aranyes del nostre lloc web. Aquí hi trobaran els apartats del web que hem senyalat com a accessibles o prohibits. També ajuda al fet que els robots trobin el fitxer Sitemap.xml, el qual conté l’índex complet de tots els apartats del nostre web. Això donarà peu a que aquest robot sàpiga que existim, que pugui indexar al seu cercador totes les pàgines de la nostra web i aconseguim estar ben posicionats.

Leave a comment