Le fichier Robots.txt expliqué

Le fichier robots.txt expliqué en bref :

Le fichier robots.txt est un outil utile pour limiter l'accès des robots à votre site, par exemple pour le contenu en cours de travail et les informations sensibles. À ce jour, le Robots Exclusion Standard Working Group n'a approuvé aucune directive « allow » qui inciterait les robots à indexer certaines parties du site. Cela peut toutefois être déclenché par des liens internes et externes vers votre site web.

Lors de la consultation des statistiques de fréquentation de votre site web, vous avez peut-être remarqué la mention d'un fichier nommé « robots.txt ». Il s'agit d'un fichier de configuration de base que les robots (robots d'indexation des moteurs de recherche) utilisent pour déterminer quels fichiers et répertoires ils ne doivent pas indexer.

Il est important de placer un fichier nommé robots.txt à la racine (root) de votre site web (http://www.yourdomain.com/robots.txt)). L'usage principal du fichier robots.txt est d'indiquer quels fichiers et répertoires les robots ne doivent pas indexer.

La structure du fichier robots.txt comporte 2 éléments de syntaxe : la ligne user-agent et la ligne disallow.

La syntaxe est la suivante :

User-agent
La liste des robots qui visitent votre site peut être consultée dans les journaux de statistiques de votre site web. Une liste des user-agents est disponible à l'adresse http://www.robotstxt.org/wc/active.html

Un robot précis peut être désigné dans la syntaxe User-Agent.

User-agent: Googlebot

Un caractère générique peut également être utilisé pour cibler tous les robots.

User-agent: *

Disallow
Cette partie de la syntaxe indique quels fichiers et répertoires ne doivent pas être indexés.

Si vous avez une page nommée « addresses.html » et que vous ne souhaitez pas que le robot l'indexe, ajoutez la ligne suivante après la syntaxe User-agent :

Disallow: addresses.html

Vous pouvez également restreindre l'accès du robot au niveau d'un répertoire. Si le répertoire « /billing » de votre site web doit être exclu de l'indexation, placez le texte suivant après la syntaxe User-agent.

Disallow: /billing/

Un caractère générique peut également être utilisé pour désigner tous les fichiers d'un site.

Disallow: /

Comment ajouter des commentaires dans mon fichier robots.txt ?
Vous pouvez insérer des commentaires dans le fichier robots.txt en plaçant « # » avant le texte. Exemple :

# indique googlebot comme User-agent.
User-agent: Googlebot

Il est recommandé de placer vos commentaires sur une ligne distincte de la directive. Évitez également les espaces au début des lignes de directive.


Mise en pratique du fichier robots.txt :
Maintenant que nous connaissons le fonctionnement de robots.txt, passons à la pratique.

Si vous souhaitez autoriser TOUS les robots à visiter TOUTES les pages de votre site web, vous devez utiliser le caractère générique "*" dans la syntaxe de votre fichier robots.txt.

User-agent: *
Disallow:

Pour interdire toute indexation de votre site, saisissez le texte suivant dans votre fichier robots.txt :

User-agent: *
Disallow: /

Interdire aux robots d'indexer les pages d'un répertoire nommé 'billing'.

User-agent: *
Disallow: /billing/

Interdire aux robots d'indexer les pages des répertoires nommés "billing" et "address".

User-agent: *
Disallow: /billing/
Disallow: /address/

Interdire googlebot sur votre site.

User-agent: googlebot
Disallow: /

Interdire à googlebot l'accès à votre page de contact (contact-us.html).

User-agent: googlebot
Disallow: /contact-us.html

Interdire à googlebot l'accès à votre page de contact (about-us/contact-us.html).

User-agent: googlebot
Disallow: /about-us/contact-us.html