Qu'est-ce que le fichier robots.txt ?

Comment fonctionne le fichier robots.txt

Il applique le protocole d'exclusion des robots, désormais normalisé. Un fichier s'applique à un hôte donné et se lit à la racine du site. Ses règles s'organisent en groupes : User-agent désigne le robot concerné, Disallow liste les chemins à ne pas explorer, Allow prévoit des exceptions et Sitemap indique l'adresse du plan de site. Google comprend aussi les caractères jokers * et $. Un exemple minimal :

User-agent: *
Disallow: /panier/
Sitemap: https://www.exemple.fr/sitemap.xml

Exploration et indexation : la confusion classique

Bloquer une URL dans le robots.txt empêche son exploration, mais pas forcément son apparition dans les résultats : si d'autres pages pointent vers elle, Google peut l'indexer sans en connaître le contenu. Pour qu'une page n'apparaisse pas, il faut une directive noindex (balise meta robots ou en-tête HTTP), et la page doit rester explorable pour que Google puisse lire cette directive. Quant à un contenu confidentiel, le robots.txt est inadapté : le fichier est public, et seule une protection par mot de passe convient.

Ce qu'il faut bloquer, et ce qu'il faut laisser

• À bloquer en général : paniers, espaces de compte, résultats de recherche interne, paramètres d'URL sans valeur, environnements de test.
• À ne pas bloquer : les pages à indexer, ainsi que les fichiers CSS et JavaScript nécessaires à l'affichage de la page, que Google doit pouvoir charger pour la comprendre.

Un exemple concret

Un site dont le moteur de recherche interne génère des milliers d'URL de résultats peut interdire ce dossier d'exploration. Le robot consacre alors son temps aux pages utiles, et le fichier déclare l'adresse du sitemap pour lui indiquer où elles se trouvent.

Où le trouver et comment le tester

Le fichier doit répondre en code 200 à l'adresse racine, et chaque sous-domaine a le sien. Ouvrez-le dans votre navigateur, puis consultez le rapport robots.txt de la Search Console, qui indique la version récupérée par Google et les erreurs de syntaxe. Après chaque modification, testez quelques URL stratégiques : une règle trop large peut retirer des sections entières de l'exploration.

Les robots d'IA

Des directives dédiées existent pour plusieurs robots d'IA, par exemple GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot, ou le jeton Google-Extended qui encadre certains usages de vos contenus par les IA de Google. Les autoriser ou les bloquer est un choix stratégique : bloquer peut limiter votre présence dans leurs réponses, autoriser permet d'être lu. Ce choix se fait selon vos objectifs, au cas par cas.

Les erreurs les plus fréquentes

• Laisser Disallow: / après une mise en ligne, hérité de l'environnement de test.
• Bloquer les fichiers CSS et JavaScript.
• Confondre Disallow et noindex.
• Oublier la ligne Sitemap, ou se tromper de casse dans un chemin, car les chemins distinguent les majuscules des minuscules.
• Laisser le fichier en erreur serveur : une erreur 404 revient à tout autoriser, alors qu'une erreur 5xx persistante peut suspendre l'exploration.

Le robots.txt reste un outil sensible : une seule ligne mal placée peut retirer tout un site de l'exploration. Toute modification doit donc être testée avant la mise en ligne, relue par une seconde personne et suivie les jours suivants dans la Search Console.

Comment Starboost le traite

Nous relisons le robots.txt à chaque audit technique, nous vérifions son état dans la Search Console et nous contrôlons sa cohérence avec le sitemap XML et les directives noindex. Il fait partie de notre travail de SEO technique, notamment quand il s'agit d'optimiser le budget de crawl.