Surveiller le Googlebot et d'autres bots des moteurs de recherche

Les logs sont le seul moyen d’obtenir des informations détaillées et complètes sur le comportement des bots. Par conséquent, la quasi-totalité des sites web peuvent bénéficier d’une vision des pages connues (ou inconnues !) des moteurs de recherche.

Cependant, pour les très grands sites et les sites web dont le contenu change fréquemment, comme les médias en ligne, le suivi du Googlebot est essentiel. Ces sites sont beaucoup plus sensibles aux questions de budget de crawl et comptent sur l’indexation des nouvelles pages le plus rapidement possible. Pour ces sites, connaître leur taux de crawl pour les différents types de pages est essentiel afin de repérer et de résoudre les problèmes de visibilité de recherche ayant une cause technique.

Oncrawl vous donne une vue granulaire de toute l’historique de Googlebot sur votre site, depuis le moment où vous avez commencé à surveiller les logs jusqu’à aujourd’hui, peu importe le nombre d’années écoulées. Que vous souhaitiez visualiser le comportement du Googlebot seul, ou inclure d’autres robots de moteur de recherche pour les actualités, les images, les vidéos, ou même les publicités ; que vous souhaitiez voir les tendances générales des derniers mois ou surveiller la réponse à une migration en temps réel ; que vous souhaitiez simplement regarder les données de logs de manière autonome, ou croiser les données de suivi des logs avec les données de crawl et les données d’autres sources pour déterminer l’impact de vos actions sur le crawl et les visites des robots – Oncrawl vous accompagne.