Qu’est-ce que l’analyse de logs SEO ?

Ce que révèlent les logs, que les autres outils ne montrent pas

Un outil de crawl comme Screaming Frog simule le comportement d'un robot, mais ne dit rien du comportement réel de Googlebot. Les logs, eux, enregistrent chaque passage effectif : les pages réellement visitées, leur fréquence de visite, les codes de réponse rencontrés (200, 301, 404, 500...), et les pages jamais explorées malgré leur présence dans le sitemap.

Cette différence est déterminante sur un site de plusieurs milliers de pages : un audit classique peut confirmer qu'une page est techniquement accessible, sans jamais révéler que Googlebot ne la visite en réalité presque jamais.

Les logs révèlent aussi les visites d'autres robots — Bingbot, des robots IA, ou de faux user-agents usurpant Googlebot — ce qui permet de distinguer le trafic d'exploration légitime du reste, et de vérifier que le site n'est pas exploré de façon disproportionnée par des robots qui n'apportent aucune valeur SEO.

Pourquoi le budget de crawl compte

Google alloue à chaque site un volume limité de requêtes d'exploration sur une période donnée : c'est le budget de crawl. Sur un petit site, il est rarement un facteur limitant. Sur un site volumineux — e-commerce à facettes, portail d'annonces, comparateur — il devient un enjeu central.

Quand ce budget est gaspillé sur des URL sans valeur (pages de filtres, paramètres de tri, pages dupliquées), les pages réellement importantes sont explorées moins souvent, voire jamais : c'est exactement ce que l'analyse de logs permet de mettre en évidence.

Le budget de crawl n'est pas non plus figé : il évolue avec la popularité et la fraîcheur perçue du site. Un site qui publie régulièrement du contenu de qualité et corrige ses erreurs techniques voit généralement son budget de crawl augmenter progressivement, ce qui accélère d'autant l'indexation des nouvelles pages.

Comment mener une analyse de logs concrètement

La méthode : obtenir les fichiers de logs bruts auprès de l'hébergeur ou du CDN, filtrer les lignes sur le user-agent Googlebot en vérifiant l'IP source (pour écarter les faux robots qui usurpent ce user-agent), puis croiser cette liste avec les URL du sitemap et de l'architecture du site.

L'objectif est de repérer deux catégories de pages : celles qui ne sont jamais visitées par Googlebot malgré leur importance, et celles qui consomment une part disproportionnée du budget de crawl sans apporter de valeur SEO.

Un exemple concret

Un site e-commerce avec une navigation à facettes (couleur, taille, prix) génère des milliers de combinaisons d'URL. L'analyse de logs révèle que Googlebot consacre plus de 80 % de ses visites à ces URL de filtres, contre à peine 20 % aux fiches produits elles-mêmes. Après ajustement des règles d'indexation (canonical, robots.txt) pour écarter ces URL sans valeur, le budget de crawl se redirige vers les fiches produits, dont l'indexation progresse nettement en quelques semaines.

Ce type de correction ne demande souvent aucun développement lourd — une règle canonical, une ligne de robots.txt — mais il faut d'abord savoir où regarder. C'est précisément ce que l'analyse de logs apporte : une priorisation fondée sur le comportement réel de Googlebot, plutôt que sur des hypothèses.