Comment se servir des métriques “SEA & vertical bots” pour améliorer son SEO
2018-11-06 - 4 min de lecture - par Nicolas Duverneuil
Les métriques OnCrawl pour les bots SEA et de recherche verticale donnent aux SEOs une fenêtre sur le comportement des bots additionnels de Google.
Google utilise environ une douzaine de bots différents pour explorer le web. Cependant, il ne communique pas beaucoup sur le comportement des bots en dehors du googlebot (classique et mobile) qui parcourt le web pour des fins d’indexation des pages. Par conséquent, nous n’en savons pas autant sur le comportement des bots “secondaires” ni des détails de leur rôle dans l’univers des recherches Google.
Les informations extraits des logs et mises à disposition dans OnCrawl ont pour but d’éclaircir les zones d’ombre créées par l’interaction entre l’SEO et ces bots-ci.
La liste officielle des bots inclut :
D’autres bots ont été observés, comme le AMP bot et un bot dédié à l’Ajax qui a finalement été assimilé à googlebot-desktop. Certains ne sont toujours présents dans les listes officielles. C’est pour cette raison que nous avons pris le choix de ne pas les inclure dans les rapports OnCrawl pour l’instant.
Nous savons que Google utilise googlebot et googlebot-mobile pour indexer les pages utilisées pour répondre aux requêtes de recherche. Ces bots apparaissent sur tous les sites qui ne les interdisent pas, dans l’objectif de indexer tout le web. Mais quand est-ce qu’on voit les autres bots ?
Si vous investissez dans des publicités Google Ads, peu importe la taille de votre site ou l’importance de votre investissement, vous trouverez des hits des bots AdWords.
Si vous utilisez la monétisation de Google pour permettre le placement par Google AdSense de publicités sur votre site web, vous constaterez le passage des bots de Google AdSense, qui s’identifient par leur user-agent “mediapartners”.
Les bots qui indexent les images et les vidéos permettent les recherches verticales. Ils peuvent explorer n’importe quel site à la recherche des fichiers de vidéos et d’images.
Google améliore la visibilité des visites sur votre site venant d’une recherche d’images sur Google : dans Google Analytics, les recherches d’images chez Google sont listées comme une source à part depuis l’été 2018.
Avec l’augmentation de recherches par images, il devient essentiel de placer les images des produits dans les SERPs d’images de Google. Il s’agit d’un canal apporteur de trafic SEO en essor et source de consommation importante pour la plupart des sites d’e-commerce : déjà en 2014, 63% des recherches d’images aboutissent par une visite sur le site web. Plusieurs indices indiquent que ce canal est alimenté par les images explorées par Googlebot-images.
En suivant le bot Googlebot-images, vous vous assurez que vos images continuent à être indexées et mises à jour correctement. De la même façon que le contrôle du comportement des googlebots permet de mieux comprendre son SEO classique, les pics et d’autres changements abrupts du comportement de Googlebot-images sont souvent indicatifs des problèmes liés à vos positions Google images.
Pour réussir le SEO d’images, appuyez-vous sur les bonnes pratiques pour les images :
Lorsque les campagnes SEO visant la recherche naturelle et SEA visant le trafic payant ne sont pas bien coordonnées, une cannibalisation de clics sur certains mots clés peut se produire.
Il s’agit des instances d’une hausse d’investissement dans le référencement payant pour un mot clé. Par conséquent, pour le même recherche, un résultat payant et un résultat naturel apparaissent pour le même site. Dans ce cas, l’URL positionnée par l’SEO continue à garder sa position, s’affiche avec un nombre constant d’impressions, mais n’attire pas autant de visiteurs qu’avant.
Plusieurs études ont constaté cette baisse de CTR est dû à la présence d’une publicité pour le même site qui apparaît sur la page de résultats avant le premier résultat naturel.
Le suivi des bots AdWords permettent d’être prévenu des modifications dans les campagnes SEA qui risquent de cannibaliser le SEO : des pics de hits par les bots google-adwords et google-adwords-mobile peuvent être déclenchés par un investissement dans le référencement payant par Google Ads. Ainsi, sans outil supplémentaire, OnCrawl vous met à disposition des indicateurs sur les campagnes SEA.
L’ancienne interface de Google Search Console met à disposition un “budget de crawl” pour votre site. Cependant, les informations fournies dans cette rubrique ne correspondent pas aux courbes obtenues à partir des données des logs de serveur pour les bots associés à l’indexation SEO (googlebot, googlebot-mobile).
Les études du comportement de l’ensemble des bots de Google permettent de révéler que les données de la Google Search Console ne concernent pas le comportement de Googlebot, mais représentent le comportement de tous les bots Google, pris ensemble.
L’agrégation de tous les bots a pour résultat de cacher certains comportements et de créer des fausses alertes sur d’autres. La vue par bot proposée par OnCrawl vise à démystifier ce qui est caché par la courbe de Google Search Console. Il s’agit de pouvoir répondre aux questions suivantes :
Attention cependant : si vous faites des comparatifs précis entre l’information de Google Search Console et les informations des logs de votre serveur, notez que les statistiques dans la Search Console sont enregistrées à l’heure de Californie. Pour un site web sur la côte est des USA, 3 heures de chaque journée (ou 9h pour les sites en Europe occidentale !) sont comptabilisées dans le jour précédent.
