Comment optimiser un fichier Robots.txt pour le SEO ?

Comment optimiser un fichier Robots.txt pour le SEO ?

Comment utiliser, placer et mettre à jour le fichier robots.txt ?

Comment peut-on créer ou lire le robots.txt ?

Le fichier robots.txt peut être créé et modifié aisément avec un simple éditeur de texte, à l’instar de Notepad, Atom ou Bloc-notes. Nous recommendons the standart Notepad de Microsoft.

Où placer le fichier robots.txt ?

Le fichier robots.txt doit nécessairement se situer à la racine du site. Pour cela, il suffit de le glisser à l’emplacement prévu sur votre serveur FTP ou directement dans le filer manager dans votre CPANEL.

Comment le mettre à jour ?

Dans la Search Console, chaque we2bmaster a la possibilité de mettre à jour le fichier robots.txt. Dans l’onglet “Exploration”, on distingue notamment la catégorie nommée “Outil de test du fichier robots.txt”. A cet endroit, il vous est par exemple permis de tester l’éventuel blocage d’une page. En cliquant sur “Envoyer”, suivez les consignes de Google pour actualiser votre fichier, il en tiendra compte assez rapidement.

Pour visualiser votre fichier, tapez simplement dans votre barre d’adresse de navigateur l’URL sous cette forme : https://www.monsite.fr/robots.txt

exemple de fichier robots.txt
Un exemple de fichier robots.txt accessible depuis la barre d’adresse d’un navigateur.

Robots.txt : ce qu’il ne faut surtout pas faire

  • un changement d’URL du robots.txt (qui ne se trouve plus à la racine)
  • l’URL du robots.txt qui renvoie une erreur (404, 500…)
  • le robots.txt écrasé par la version en préproduction (dans laquelle est mentionnée une directive disallow/ qui bloque tout le site)
  • une ligne blanche dans un bloc de directives
  • un mauvais encodage du fichier (il doit être en UTF-8)
  • un mauvais ordre des blocs de directives

Lire sur le Référencement Naturel en Suisse et le Référencement Naturel à Paris