Les métriques OnCrawl pour les bots SEA et de recherche verticale donnent aux SEOs une fenêtre sur le comportement des bots additionnels de Google.
Google utilise environ une douzaine de bots différents pour explorer le web. Cependant, il ne communique pas beaucoup sur le comportement des bots en dehors du googlebot (classique et mobile) qui parcourt le web pour des fins d’indexation des pages. Par conséquent, nous n’en savons pas autant sur le comportement des bots « secondaires » ni des détails de leur rôle dans l’univers des recherches Google.
Les informations extraits des logs et mises à disposition dans OnCrawl ont pour but d’éclaircir les zones d’ombre créées par l’interaction entre l’SEO et ces bots-ci.
Quels sont les bots SEA et vertical search ?
La liste officielle des bots inclut :
- Les bots AdWords qui vérifient la qualité des pages pour lesquelles des publicités ont été achetées dans Google Ads.
- Les bots AdSense, qui sont censés vérifier le contenu d’une page afin de fournir des publicités adaptés dans le contexte d’une monétisation de la page.
- Les bots média, qui recensent les images ou les vidéos sur un site et les indexent pour utilisation dans les SERPs pour les images ou les vidéos.
D’autres bots ont été observés, comme le AMP bot et un bot dédié à l’Ajax qui a finalement été assimilé à googlebot-desktop. Certains ne sont toujours présents dans les listes officielles. C’est pour cette raison que nous avons pris le choix de ne pas les inclure dans les rapports OnCrawl pour l’instant.
Quand est-ce que je peux avoir d’autres bots de Google sur mon site ?
Nous savons que Google utilise googlebot et googlebot-mobile pour indexer les pages utilisées pour répondre aux requêtes de recherche. Ces bots apparaissent sur tous les sites qui ne les interdisent pas, dans l’objectif de indexer tout le web. Mais quand est-ce qu’on voit les autres bots ?
Si vous investissez dans des publicités Google Ads, peu importe la taille de votre site ou l’importance de votre investissement, vous trouverez des hits des bots AdWords.
Si vous utilisez la monétisation de Google pour permettre le placement par Google AdSense de publicités sur votre site web, vous constaterez le passage des bots de Google AdSense, qui s’identifient par leur user-agent « mediapartners ».
Les bots qui indexent les images et les vidéos permettent les recherches verticales. Ils peuvent explorer n’importe quel site à la recherche des fichiers de vidéos et d’images.
Comment l’utiliser : s’assurer d’un référencement par images
Google améliore la visibilité des visites sur votre site venant d’une recherche d’images sur Google : dans Google Analytics, les recherches d’images chez Google sont listées comme une source à part depuis l’été 2018.
Avec l’augmentation de recherches par images, il devient essentiel de placer les images des produits dans les SERPs d’images de Google. Il s’agit d’un canal apporteur de trafic SEO en essor et source de consommation importante pour la plupart des sites d’e-commerce : déjà en 2014, 63% des recherches d’images aboutissent par une visite sur le site web. Plusieurs indices indiquent que ce canal est alimenté par les images explorées par Googlebot-images.
En suivant le bot Googlebot-images, vous vous assurez que vos images continuent à être indexées et mises à jour correctement. De la même façon que le contrôle du comportement des googlebots permet de mieux comprendre son SEO classique, les pics et d’autres changements abrupts du comportement de Googlebot-images sont souvent indicatifs des problèmes liés à vos positions Google images.
Pour réussir le SEO d’images, appuyez-vous sur les bonnes pratiques pour les images :
- Suivez le comportement de googlebot-images
- Utilisez une taille d’image adaptée
- Mettez une taille d’image exploitable à disposition de Google
- Nommez vos images de façon à y inclure les mots clés visés
- Lors d’une utilisation sur votre site, ajoutez un texte « alt » approprié
Comment l’utiliser : identifier rapidement la cannibalisation SEO-SEA
Lorsque les campagnes SEO visant la recherche naturelle et SEA visant le trafic payant ne sont pas bien coordonnées, une cannibalisation de clics sur certains mots clés peut se produire.
Il s’agit des instances d’une hausse d’investissement dans le référencement payant pour un mot clé. Par conséquent, pour le même recherche, un résultat payant et un résultat naturel apparaissent pour le même site. Dans ce cas, l’URL positionnée par l’SEO continue à garder sa position, s’affiche avec un nombre constant d’impressions, mais n’attire pas autant de visiteurs qu’avant.
Plusieurs études ont constaté cette baisse de CTR est dû à la présence d’une publicité pour le même site qui apparaît sur la page de résultats avant le premier résultat naturel.
Le suivi des bots AdWords permettent d’être prévenu des modifications dans les campagnes SEA qui risquent de cannibaliser le SEO : des pics de hits par les bots google-adwords et google-adwords-mobile peuvent être déclenchés par un investissement dans le référencement payant par Google Ads. Ainsi, sans outil supplémentaire, OnCrawl vous met à disposition des indicateurs sur les campagnes SEA.
[Étude de cas] Stimuler la croissance sur de nouveaux marchés grâce au SEO on-page
Comment l’utiliser : démystifier le « budget de crawl » magique dans GSC
L’ancienne interface de Google Search Console met à disposition un « budget de crawl » pour votre site. Cependant, les informations fournies dans cette rubrique ne correspondent pas aux courbes obtenues à partir des données des logs de serveur pour les bots associés à l’indexation SEO (googlebot, googlebot-mobile).
Les études du comportement de l’ensemble des bots de Google permettent de révéler que les données de la Google Search Console ne concernent pas le comportement de Googlebot, mais représentent le comportement de tous les bots Google, pris ensemble.
L’agrégation de tous les bots a pour résultat de cacher certains comportements et de créer des fausses alertes sur d’autres. La vue par bot proposée par OnCrawl vise à démystifier ce qui est caché par la courbe de Google Search Console. Il s’agit de pouvoir répondre aux questions suivantes :
- Comment est-ce que le budget de crawl se distribue entre les différents bots ?
- Si la courbe générale n’est pas représentative du comportement des bots SEO, quelles sont les différences ?
- Un pic dans dans les données, pages, ou bytes est-il indicatif d’une tendance globale, ou est-il la responsabilité d’un bot en particulier ?
- Une baisse dans le budget de crawl est-elle la signe d’un problème d’indexation ou est-elle dû à un bot non-SEO ?
- Un problème de performances (bytes) est-il dû à un seul bot ?
- L’absence ou perte de visites par un bot peut-elle être corrigée :
- AdSense : est-il bloqué par un script ou par le robots.txt ?
- AdWords : dans les cas d’automatisation des investissements, un problème est-il survenu ?
- Images / vidéos : le robots.txt interdit-il l’accès par les bots aux fichiers d’images ou vidéos ?
- Googlebot : faut-il ajuster sa stratégie SEO ?
Attention cependant : si vous faites des comparatifs précis entre l’information de Google Search Console et les informations des logs de votre serveur, notez que les statistiques dans la Search Console sont enregistrées à l’heure de Californie. Pour un site web sur la côte est des USA, 3 heures de chaque journée (ou 9h pour les sites en Europe occidentale !) sont comptabilisées dans le jour précédent.
