Le fichier robots.txt est l’un des plus petits fichiers d’un site, et l’un des plus risqués. Une ligne de trop et Google ne voit plus vos pages.

Voici ce qu’il fait réellement, comment le modifier sur WordPress et comment éviter les erreurs courantes.

À quoi sert le fichier robots.txt ?

D’après Google, il indique aux robots d’exploration quelles URL ils peuvent consulter. Il sert surtout à gérer le trafic des robots, par exemple pour éviter de surcharger le serveur, et à écarter des pages sans intérêt.

Les robots sérieux, dont Googlebot, le respectent. D’autres peuvent l’ignorer : ce n’est donc pas une protection.

Le robots.txt retire-t-il une page de Google ?

Non. La documentation précise qu’il ne s’agit pas d’un mécanisme pour garder une page hors de Google. Une page interdite peut rester visible si d’autres sites la citent, souvent sans description.

Pour retirer une page des résultats, utilisez une directive noindex, comme je l’explique dans noindex sur une page WordPress.

Tableau comparant robots.txt et noindex : rôle, effet sur Google, cas d’usage

Où se trouve le fichier sur WordPress ?

Il doit être à la racine du domaine, à l’adresse /robots.txt. Si aucun fichier n’existe, WordPress peut en générer un virtuel. Un fichier physique placé à la racine prend le dessus.

Les extensions SEO comme Yoast, Rank Math ou SEOPress proposent un éditeur qui évite de passer par le FTP. Pour les comparer, lisez le comparatif Yoast, Rank Math et SEOPress.

Comment modifier le robots.txt pas à pas ?

  1. Ouvrez l’éditeur de fichier de votre extension SEO, ou connectez-vous en FTP.
  2. Copiez le contenu actuel dans un fichier de sauvegarde.
  3. Modifiez une règle à la fois.
  4. Enregistrez, puis ouvrez /robots.txt dans le navigateur pour vérifier.
  5. Testez une URL importante avec l’outil d’inspection de la Search Console.

Quelles règles écrire pour un site WordPress ?

Un exemple courant écarte /wp-admin/, autorise admin-ajax.php et indique l’adresse du sitemap. C’est un point de départ à adapter, pas une règle universelle.

N’ajoutez pas de règle sans savoir ce qu’elle bloque. Ne bloquez pas les scripts et styles dont Google a besoin pour comprendre vos pages. La ligne Sitemap se complète avec le sitemap WordPress.

Quelles erreurs bloquent un site entier ?

  • Une ligne Disallow: / laissée après une phase de test.
  • Une règle copiée d’un autre site sans la relire.
  • Un robots.txt qui interdit la page que vous voulez désindexer avec noindex.
  • Un fichier modifié en production sans sauvegarde.

Peut-on cacher une page privée avec robots.txt ?

Non, et c’est même contre-productif : le fichier est public, donc il révèle les chemins que vous voulez cacher. Protégez plutôt la page par mot de passe ou par une règle d’accès sur le serveur.

Faut-il l’éditer à chaque changement de site ?

Non. Relisez-le après une refonte, une migration ou un changement d’extension SEO. C’est un contrôle que j’inclus dans la checklist technique SEO.

Gardez aussi une trace de chaque modification : la date, la règle ajoutée et la raison. Quand un trafic baisse six mois plus tard, ce petit historique évite de chercher à l’aveugle.

Et maintenant ?

Ce que vous pouvez faire dès aujourd’hui :

  • Ouvrez l’adresse de votre robots.txt dans le navigateur et lisez chaque ligne
  • Vérifiez qu’aucune ligne Disallow ne bloque tout le site
  • Contrôlez que la ligne Sitemap pointe vers la bonne adresse

Pour aller plus loin : Consultant SEO WordPress