Googlebot ne crawle pas toutes les pages de votre site chaque jour. Il travaille avec un budget de crawl, une quantité de ressources de crawl allouée à votre site en fonction de facteurs tels que la popularité de votre site, la santé de votre serveur et la demande de Google pour vos contenus.
Dans les limites de ce budget, il décide quelles URLs méritent d’être visitées et à quelle fréquence y revenir.
Sur un petit site, cela pose rarement problème. Sur un grand site, cela devient déterminant. Lorsque vous avez des centaines de milliers d’URLs et un budget limité, de nombreuses pages attendent des jours ou des semaines entre deux crawls, et certaines peuvent n’être crawlées que très rarement, voire pas du tout.
Une page qui n’est pas crawlée ne peut pas être mise à jour dans l’index : un changement de prix, un nouveau produit ou un nouvel article reste invisible jusqu’à ce que Googlebot finisse par y accéder.
L’objectif de l’optimisation du budget de crawl est simple à énoncer et plus difficile à atteindre : aider les moteurs de recherche à consacrer leurs ressources de crawl aux pages qui vous apportent du trafic, et éviter d’en consacrer à celles qui n’en apportent pas.
Les mêmes améliorations profitent généralement aussi aux crawlers IA.
Qu’est-ce que le budget de crawl ?
Google décrit le budget de crawl à travers deux notions qui fonctionnent ensemble.
La première est la capacité de crawl, la vitesse à laquelle Googlebot peut demander des pages sans ralentir votre site pour vos utilisateurs réels.
Un serveur rapide et sain obtient une capacité de crawl plus élevée, tandis qu’un serveur lent ou sujet aux erreurs en obtient moins.
La seconde est la demande de crawl, qui reflète à quel point Google souhaite crawler votre site à un moment donné.
Les URLs populaires et les pages qui changent souvent génèrent plus de demande.
Une migration, une refonte ou une vague de nouveaux contenus peut faire monter la demande pendant un temps, puis elle se stabilise.
Aucune de ces deux valeurs ne se règle directement. Vous pouvez toutefois influencer l’une comme l’autre par la qualité de votre architecture, la santé de votre serveur et les signaux que vous envoyez sur les pages qui méritent de l’attention.
Où votre budget de crawl est gaspillé
Le budget de crawl gaspillé, c’est tout crawl que Google consacre à des URLs qui ne vous aident ni à vous positionner ni à convertir. Quelques situations expliquent la majorité des cas.
Les paramètres d’URL et la navigation à facettes sont les principaux responsables sur les grands sites. Chaque combinaison de filtres (taille, couleur, marque ou prix) peut générer sa propre URL, et un catalogue de dizaines de milliers de produits peut produire des millions de pages quasi-dupliquées. Googlebot les explore et la plupart n’ont aucune valeur.
Les chaînes de redirections forcent Googlebot à passer par plusieurs pages avant d’atteindre le contenu réel, et chaque redirection consomme du budget.
Les soft 404 renvoient un code 200 tout en affichant une page vide ou manquante : Google peut donc continuer à les explorer parce qu’elles semblent être des pages valides.
Les pages à faible valeur, comme le contenu mince, les résultats de recherche interne et la pagination profonde, attirent des crawls fréquents tout en apportant peu.
Par ailleurs, les pages orphelines, qui ne reçoivent aucun lien interne, peuvent continuer à être crawlées si Google les découvre via des backlinks, des sitemaps ou l’historique de crawl précédent.
Il y a aussi des visiteurs que vous ne souhaitez peut-être pas payer du tout. Les logs serveur montrent souvent qu’une part importante des requêtes provient de bots qui n’ont rien à voir avec votre SEO, des scrapers aux services de monitoring, qui consomment discrètement des ressources serveur susceptibles de réduire indirectement les ressources de crawl que Google est prêt à consacrer à votre site.
Pourquoi les fichiers logs sont la source la plus complète et la plus fiable
On ne corrige pas un gaspillage qu’on ne peut pas mesurer, et la majeure partie du gaspillage de budget de crawl est invisible dans les rapports sur lesquels les SEO s’appuient habituellement.
Google Search Console fournit des données de crawl agrégées plutôt que chaque requête individuelle. Il ne vous permet pas non plus de segmenter le crawl comme vous en avez besoin.
Vos fichiers logs, eux, le permettent. Un fichier log enregistre chaque requête adressée à votre serveur, avec l’URL, l’horodatage, le user-agent et le code de réponse. Rien n’est échantillonné, rien n’est agrégé.
Comme l’a dit John Mueller, les fichiers logs sont sous-estimés, car ils sont la seule source qui vous dit ce que Googlebot a réellement fait, plutôt que ce que vous supposez qu’il a fait.
Les balises canonical et les directives noindex décrivent ce que vous voulez que Google fasse d’une page, mais seuls vos logs révèlent si Google suit réellement ces instructions.
Comment diagnostiquer le gaspillage de budget de crawl
La vraie valeur vient du croisement de vos données de logs avec un crawl de votre site. Seul, un crawl vous dit à quoi ressemble votre architecture. Seul, un fichier log vous dit où Googlebot est passé. Les réunir dans Oncrawl vous permet de comparer les deux et de repérer les écarts, là où se cache le gaspillage.
Une fois les deux jeux de données connectés, vous pouvez :
- Voir exactement quelles pages Googlebot a visitées, à quelle fréquence, et quelle part de l’ensemble de vos pages est réellement crawlée
- Comparer la fréquence de crawl segment par segment, pour voir si les pages produit, les pages catégorie, les URLs à facettes et la pagination reçoivent chacune l’attention qu’elles méritent
- Identifier les pages qui consomment une part importante de l’activité de crawl tout en apportant peu de valeur SEO, c’est-à-dire votre liste de priorités pour le nettoyage
- Repérer les pages orphelines qui reçoivent encore du budget de crawl via d’anciens backlinks alors que rien sur votre site ne pointe vers elles
- Détecter les pages que Googlebot crawle alors que votre propre crawl les a marquées comme non indexables
Récupérer vos réserves de budget de crawl
Une fois que vous savez où se trouve le gaspillage, vous pouvez le récupérer. Considérez le crawl que Google consacre à des URLs inutiles comme une réserve que vous pouvez rediriger vers les pages qui comptent.
Les corrections dépendent de ce que montrent vos données. Les URLs à facettes appellent généralement des balises canonical, du noindex ou des règles robots.txt, choisies selon les combinaisons de filtres qui produisent réellement un contenu unique.
Les chaînes de redirections sont réduites à un seul saut. Les soft 404 reçoivent un code de statut correct. Les pages orphelines qui ont encore de la valeur sont réintégrées à votre maillage interne, et celles qui n’en ont pas sont supprimées.
Ce qui compte, c’est de pouvoir prouver que le changement a fonctionné. Comme les logs enregistrent tout, vous pouvez comparer le comportement de Googlebot avant et après une correction et voir Googlebot concentrer davantage son crawl sur vos pages prioritaires.
Un exemple concret : Leboncoin
Leboncoin a utilisé l’analyse de logs d’Oncrawl pour identifier quelles pages consommaient du budget de crawl sans apporter de trafic.
Après avoir segmenté ses URLs et identifié les combinaisons de paramètres que Googlebot privilégiait, l’équipe a restructuré son maillage interne et ajusté ses directives de crawl afin que Googlebot consacre son crawl aux pages qui comptent vraiment.
Le délai entre la publication d’une page et son indexation est passé de 45 jours à 3.
[Étude de cas] Affinez votre stratégie SEO selon des données pertinentes et une segmentation fine
Par où commencer ?
L’optimisation du budget de crawl n’est pas un projet ponctuel. Les architectures évoluent, de nouveaux paramètres apparaissent et le contenu se multiplie : le gaspillage réapparaît si vous cessez de surveiller.
L’approche pratique consiste à connecter vos logs, segmenter votre site et vérifier régulièrement si Googlebot dépense toujours son budget là où vous le souhaitez.
Si vous voulez voir comment votre budget de crawl est utilisé, l’analyse de logs et les données de crawl d’Oncrawl vous en donnent une vision complète au même endroit.
