Retour à la page d'accueil L'atelier

  

N°CD-004 - La racine du site contient des instructions pour les robots d'indexation - Niveau 2 - Rubrique : Identification - Sous-rubrique : Visibilité

Fiche |
Noter :
  • (Moyenne : 1.11, 9 votants)

  

Objectifs

  • permettre un référencement ciblé
  • améliorer le guidage pour les outils de recherche

Mise en Oeuvre

Pour définir les répertoires, fichiers ou types de fichiers non indexables, utiliser les instructions User-agent et Disallow dans un fichier texte unique appelé robots.txt placé dans le répertoire racine du site. Voir à ce sujet A Standard for Robot Exclusion

Alternativement, pour agir au niveau d'une page spécifique, utiliser dans celle-ci la balise <meta name="robots" content="attribut1,attribut2" /> où :
  • attribut1 peut prendre les valeurs index (indexer cette page) ou noindex (ne pas indexer cette page) ;
  • attribut2 peut prendre les valeurs follow (suivre les liens contenus dans cette page) ou nofollow (ne pas suivre les liens) ;

Vérification

  • vérifier la présence et la validité du fichier robots.txt placé dans le répertoire racine du site
  • en l'absence de celui-ci, vérifier la présence et la validité de la balise <meta name="robots" content="attribut1,attribut2" /> dans chaque page

Liens

Validateur de robots.txt : http://www.sxw.org.uk/computing/robots/check.html
http://www.robotstxt.org/

Tags

Visibilité, Référencement

Cette bonne pratique a été vérouillée par les modérateurs.

Voir les 20 commentaires archivés

  

Nicolas G. - 01/01/2010 17:00 (1 réponse(s))

Dans la liste des liens, il est possible de rajouter : http://www.robotstxt.org/

Élie Sloïm - 04/01/2010 20:39 (0 réponse(s))

c'est fait

Jérémie P. - 08/12/2009 17:34 (0 réponse(s))

Après relecture des commentaires sur cette BP, j'en arrive à la conclusion suivante :

1 - soit on garde cette BP en l'état, mais dans ce cas, la BP 7 est redondante et il faudrait la supprimer en explicitant l'usage des sitemap et robots.txt dans les moyen de mise en oeuvre de la BP.
2 - soit on reformule cette BP pour expliciter l'usage du fichier robots.txt : {Un fichier robots.txt est disponible à la racine du site}
3 - Soit on garde cette BP en la passant niveau deux et en rajoutant une BP de niveau 3 à propos du fichier robots.txt équivalente à la BP 7 sur les sitemap.

Comment vous voyez le truc ?