Le budget de crawl après et avant une mise à jour
2020-01-09 - 5 min de lecture - par Stephen Keep
Chhhuuut.. J’ai un secret pour vous!
Votre site a un “budget de crawl” fixé par Google.
C’est la donnée secrète utilisée par Google pour mesurer deux choses :
Cet article se concentrera sur le premier point uniquement.
Améliorer la qualité de construction de votre site augmentera votre budget de crawl.
Plus votre budget de crawl sera important, plus Google s’arrêtera fréquemment pour crawler vos pages.
Commençons par définir ce qu’est un budget de crawl.
Google utilise un logiciel spécial appelé crawler (ou araignée) pour analyser les pages de votre site. Ils l’appellent, Googlebot.
Le budget de crawl est le terme utilisé pour décrire la fréquence à laquelle le Googlebot explore vos pages et en optimisant votre site, vous pouvez augmenter votre budget de crawl.
Google explique que votre budget de crawl est une combinaison de plusieurs choses :
Au fur et à mesure que ces élements s’améliorent, vous verrez le Googlebot vous rendre visite plus souvent.
Une fois que Google a parcouru une page, il ajoute le contenu à son index. Celui-ci met alors à jour les informations affichées dans les résultats de recherche.
En optimisant pour le budget de crawl, vous pouvez améliorer la vitesse des mises à jour de votre site.
Le travail de Google n’est pas aisé.. Ils doivent explorer et indexer chaque page d’Internet.
L’énergie nécessaire pour faire cela est énorme et ils ne peuvent pas indexer chaque page. L’optimisation de votre budget de crawl donnera à votre site la meilleure chance d’apparaître dans les recherches.
Améliorer un site consiste à optimiser de façon efficace chacune des visites du Googlebot.
Ce qu’il faut éviter :
Tout ce qui précède est un gaspillage des ressources Google et le budget de crawl se verrait considérablement amoindri.
Une grande partie de ce que vous devez faire dans le cadre du référencement technique est identique à l’optimisation du budget de crawl.
Vous avez besoin :
Ensuite, voyons comment créer la page parfaite pour Googlebot.
D’accord, le titre était peut-être trop ambitieux mais l’objectif sera d’améliorer la page autant que possible.
Prenons quelques exemples que vous pouvez rencontrer.
Une façon d’améliorer le budget de crawl est d’améliorer la vitesse des pages.
Des pages rapides rendent le Googlebot plus efficace et renvoi une image saine de votre site à Google.
À de plusieurs reprises, Google a mentionné que la vitesse des pages augmente le taux de crawl :
Rendre un site plus rapide améliore l’expérience des utilisateurs tout en augmentant le taux de crawl.
Pour une liste des améliorations, consultez cette étude. Elle comporte 30 étapes pour améliorer les performances d’un site web.
En tant que SEO intelligent, vous savez que avant de commencer toute optimisation que vous devez suivre les changements.
Vous devez choisir une donnée avec deux propriétés :
Alors, quelle donnée devons-nous suivre pour le budget de crawl ?
Nous avons dit précédemment que Google utilise deux facteurs pour définir le budget :
Puisque nous sommes des SEO techniques, notre travail est d’améliorer le taux de crawl.
C’est donc sur quoi nous devons nous pencher.
Alors comment on suit le taux de crawl des Googlebot ?
Vous devez utiliser les logs de votre serveur web.
Les logs stockent toutes les requêtes faites à votre serveur. Chaque fois qu’un utilisateur ou Googlebot visite votre site, une entrée de journal est ajoutée au fichier d’accès log.
Voici à quoi ressemblerait une entrée pour du Googlebot :
127.0.0.1 - - [11/Nov/2019:08:29:01 +0100] "GET /example HTTP/1.1" 200 2326 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Il y a trois points importants dans chaque log.
La date :
[11/Nov/2019:08:29:01 +0100]
L’URL :
“GET /example HTTP/1.1”
Le user-agent qui nous dit que le Googlebot a fait la demande :
"Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
Le log ci-dessus provient d’un serveur web Nginx. Mais, tous les serveurs web tels qu’Apache ou IIS auront une entrée de log similaire. Selon votre configuration, vous pouvez avoir un Content Delivery Network (CDN). Un CDN tel que Cloudflare ou Fastly créera également des accés aux logs.
Analyser un journal de logs n’est pas le plus amusant bien que cela soit possible.
Vous pouvez télécharger le fichier access.log et l’analyser à l’aide d’Excel. Cependant, je vous recommande d’utiliser un analyseur de logs tel que celui d’OnCrawl.
Cela vous permettra de voir le taux de crawl du Googlebot sur un graphique et en temps réel.
Une fois que vous avez cette configuration de surveillance pour suivre le taux de crawl, vous pouvez commencer à l’améliorer.
Maintenant que nous savons ce que nous suivons, nous pouvons envisager d’apporter certaines améliorations. Mais, ne faites pas beaucoup de changements en même temps. Soyez méthodique et faites les changements un par un.
Construisez, mesurez, apprenez.
Grâce à cette technique, vous pouvez adapter les changements que vous faites au fur et à mesure que vous apprenez. Concentrez-vous sur les tâches qui améliorent le taux de crawl.
Si vous vous précipitez et changez trop de choses à la fois, il peut être difficile de comprendre les résultats.
Avec le temps, alors que la page s’améliore, vous verrez une augmentation du budget de crawl et par definiton, un accroissement du taux de crawl.
Nous avons expliqué en détail ce qu’est un budget de crawl.
En tant que SEO technique, vous avez le pouvoir d’améliorer le taux de crawl du site.
En améliorant la santé technique, vous pouvez optimiser le passage du Googlebot.
Suivez le taux de crawl en utilisant vos logs pour des résultats précis.
Utilisez la technique “Construire, Mesurer, Apprendre” pour faire uniquement un changement à la fois et améliorer votre site petit à petit.
Avec le temps, votre taux de crawl augmentera. Vos pages apparaîtront plus rapidement dans les résultats de recherche Google et les utilisateurs auront une excellente expérience sur votre site.
