Qu'est-ce que le budget de crawl ?

Les deux composantes du budget de crawl

Google décrit le budget de crawl comme la combinaison de deux éléments. La limite de capacité d'exploration correspond au nombre de requêtes que le robot peut faire sans surcharger votre serveur : elle baisse si le serveur est lent ou renvoie des erreurs. La demande d'exploration dépend de la popularité des URL, de leur fraîcheur et de la taille du site : une page importante et souvent mise à jour est revisitée plus volontiers.

Faut-il s'en préoccuper ?

Google précise que le sujet concerne surtout les très grands sites, ou ceux dont le contenu change très fréquemment. Pour un site de quelques dizaines ou centaines de pages, le budget de crawl n'est généralement pas le frein : la qualité du contenu, la structure et l'indexation comptent davantage. Quelques signaux doivent toutefois alerter : de nouvelles pages découvertes tardivement, beaucoup d'URL en statut « Détectée, actuellement non indexée » dans la Search Console, ou des pages importantes rarement visitées par Googlebot.

Ce qui gaspille le budget de crawl

• Les filtres et facettes qui génèrent des milliers d'URL quasi identiques.
• Les paramètres de tri, de session ou de suivi qui multiplient les adresses.
• Les doublons non canonisés, et les chaînes de redirections.
• Les pages en erreur 404 ou « soft 404 » en grand nombre.
• Les contenus pauvres ou sans valeur, et un sitemap pollué.
• Un serveur lent ou instable.

Comment l'optimiser

• Bloquer dans le robots.txt les zones sans valeur pour la recherche. Attention : une directive noindex n'économise pas d'exploration, car la page doit être explorée pour que la directive soit lue.
• Maîtriser les paramètres d'URL et les canonical.
• Remplacer les chaînes par des redirections directes.
• Renforcer le maillage interne vers les pages importantes.
• Garder un sitemap propre, et un serveur rapide.
• Supprimer ou fusionner les pages inutiles.

Comment le mesurer

Le rapport « Statistiques sur l'exploration » de la Search Console donne une vue d'ensemble des requêtes de Googlebot et des codes de réponse. L'analyse des logs serveur va plus loin : elle montre précisément quelles URL le robot visite, à quelle fréquence, et lesquelles il ignore.

Un exemple concret

Une boutique propose des filtres de couleur, de taille et de prix combinables à volonté. Chaque combinaison crée une URL, soit des milliers de pages presque identiques. Googlebot y consacre une grande partie de ses visites, et les nouvelles fiches produits sont découvertes plus lentement. On limite alors l'exploration des combinaisons peu utiles et on renforce les liens vers les catégories qui comptent.

Ne pas se tromper de priorité

De nombreux sites se lancent dans l'optimisation du budget de crawl alors que leur vrai problème est un contenu pauvre, dupliqué ou mal relié. Avant de bloquer quoi que ce soit, vérifiez que les pages importantes sont utiles, bien liées et indexables. Surveillez aussi les erreurs serveur : plus l'hébergement répond vite et sans erreur, plus Google peut explorer sans craindre de le surcharger.

Comparez enfin ces données à l'évolution de l'indexation de vos pages importantes : l'objectif n'est pas de faire explorer davantage, mais de faire explorer ce qui compte. Après les correctifs, Googlebot ajuste son rythme progressivement : il faut laisser un peu de temps avant de juger.

Comment Starboost le traite

Nous commençons par vérifier si le sujet se pose vraiment pour votre site, puis nous agissons là où le gain est le plus net : structure, redirections, paramètres et sitemap. Ce travail relève de notre offre de SEO technique.