Le budget de crawl est le nombre maximum de pages qu’un moteur de recherche peut parcourir sur un site web en un temps donné. En somme, il s’agit de l’attention que Google accordera à votre site web. Si votre budget de crawl est insuffisant, certaines parties de votre site seront très lentes à être découvertes et indexées par Google et par les autres moteurs de recherche, source de perte de visites qualifiés et de conversions. Mais il n’y a malheureusement aucun moyen d’augmenter votre budget de crawl, même si des changements majeurs sur un site web peuvent inciter Google à « redécouvrir » de grandes parties du site. Pour la plupart des sites web, le budget de crawl est géré par Google et ne doit jamais être un souci. Mais plus votre site web est grand, plus la question du budget de crawl devient importante.
Lorsque votre budget de crawl est « dépensé » pour des pages qui ne devraient pas être trouvées dans les résultats des moteurs de recherche, cela peut empêcher l’indexation et le positionnement des pages prioritaires. Et bien que vous ne puissiez pas obtenir un budget de crawl « plus important », vous pouvez diriger les robots vers les pages prioritaires afin de mieux dépenser le budget dont vous disposez. Avec Oncrawl, vous pouvez combiner les données des crawls et des logs pour détecter les parties de votre site qui gaspillent le budget de crawl, trouver les pages qui nécessitent plus d’attention et confirmer les changements de comportement du Googlebot après avoir apporté des améliorations.