OnCrawl Labs : Détection d’anomalies en SEO

17 novembre 2020 - 5  min de lecture - par Rebecca Berbel
Accueil > SEO Technique > Détection d'anomalies en SEO

« Détection d’anomalie », un terme qui peut paraître compliqué, mais qui veut simplement dire « trouver les choses qui ne sont pas normales ». Elle s’inscrit dans le cadre du monitoring SEO, ce qui fait probablement déjà partie de votre stratégie et qui est se réalise grâce à un certain nombre de fonctionnalités des outils classiques, de Google Analytics au crawler SEO d’OnCrawl. La liste des cas d’utilisation dans le SEO pour la détection d’anomalies est infinie, elle comprend des thématiques de performances d’un site web, de statistiques d’indexation ou encore du comportement de recherche.

Le principe est d’utiliser les capacités de détection de modèles d’un algorithme pour filtrer le bruit et ainsi de trouver les éléments qui ne correspondent pas au modèle attendu.

Quels types de métriques SEO peuvent présenter des anomalies ?

Toute métrique SEO sujette à évoluer peut présenter de petites variations sans importance ou bien, elle peut afficher un écart important qui peut avoir un impact sur votre SEO ainsi que sur vos objectifs : c’est-à-dire la visibilité de votre site web, votre trafic organique et in-fine, vos conversions.

En fonction de ce que vous analysez, la détection d’anomalies peut vous alerter :

  • D’un pic de trafic
  • D’une série de nouvelles pages qui ne sont pas indexées aussi rapidement qu’elles le sont habituellement
  • D’une recrudescence de a fréquence du crawl par Googlebot, qui vient souvent avant une mise à jour qui pourrait impacter le site
  • D’une augmentation des statuts HTTP indiquant des erreurs, qu’il s’agisse d’erreurs 404 ou des erreurs de serveur 5xx
  • Des temps de réponse plus lents que d’habitude
  • Un changement significatif dans le nombre ou le type de requêtes de recherche pour lesquelles vos pages se positionnent.

Dans de nombreux cas, il est extrêmement important de pouvoir détecter quand ce type de changement se situe en dehors de la plage de variance normale. Cela vous permet de réagir en temps utile, soit pour corriger les problèmes avant qu’ils ne deviennent trop importants, soit pour saisir les opportunités avant qu’elles ne soient passées.

Comment utiliser les données OnCrawl pour détecter des anomalies ?

Si vous effectuez régulièrement des crawls, vous créez un historique de nombreuses métriques différentes pour votre site. En examinant ces données, les algorithmes de machine learning peuvent ensuite analyser les nouveaux crawls afin de déterminer si les valeurs des métriques que vous souhaitez suivre se situent dans une plage normale ou si elles sont inhabituelles.

Pour donner un exemple extrêmement simplifié, si vos données de taille et vitesse de page montrent que vos articles portant sur les actualités de dernière minute se chargent généralement en 0,12 à 0,18 seconde, mais que votre dernier crawl vous informe que ils se chargent désormais en 0,25 seconde, c’est que quelque chose ne va pas du tout !

Que pouvez-vous faire avec les résultats de la détection des anomalies ?

Trouver un comportement ou des performances inhabituels sur votre site web peut être une bonne ou une mauvaise nouvelle, mais dans les deux cas, ça a son importance !

Par conséquent, il est très avantageux d’effectuer régulièrement des crawls, puis de vérifier les anomalies à chaque fois qu’un crawl a été réalisé. Si vous n’êtes pas doué pour automatiser les tâches répétitives, vous pouvez toujours le faire manuellement.

Une fois que vous avez mis en place des analyses régulières pour rechercher des anomalies, l’une des meilleures choses à faire avec les résultats de l’exécution des modèles de machine learning pour leur détection sera de mettre en place un système d’alerte. Cela peut être à la fois extrêmement complexe, comme la mise en place automatique des résolutions. ou bien d’une simplicité enfantine comme l’affichage de l’alerte dans la fenêtre où se tourne l’algorithme. Pour démarrer, vous pouvez viser un entre deux, comme l’envoi d’une alerte via Slack ou par e-mail à vous-même ou à une autre personne chargée du SEO.

De quoi avez-vous besoin pour mettre en place la détection des anomalies ?

Comme vous l’avez probablement compris, OnCrawl Labs repose sur vos données de crawl via un accès API. Vous aurez donc besoin à la fois d’un accès API et d’un historique des crawls de votre site. Ils devront répondre aux critères suivants :

  • Les crawls doivent tous utiliser le même profil de crawl, afin que nous puissions être sûrs de comparer les bons éléments entre eux.
  • Les crawls doivent tous contenir les métriques que vous souhaitez analyser. Par exemple, si vous avez l’intention de détecter des pics d’activité du Googlebot, vous devez avoir activé la surveillance des logs pour tous les crawls. Si vous souhaitez surveiller les baisses de la position moyenne du SERP, vous devez avoir connecté la Search Console pour tous vos crawls.
  • Il doit y avoir au moins cinq crawls non archivés avec le profil choisi disponible. Il est évident que plus vous pouvez fournir d’historique, plus les résultats seront précis, mais cinq crawls est un bon point de départ.
  • Les calculs pouvant nécessiter une certaine puissance de calcul, vous devrez les exécuter sur un ordinateur doté d’un bon GPU (carte graphique).
  • Vous aurez également besoin d’un spécialiste des données ou d’un ingénieur logiciel pour effectuer les opérations en suivant les étapes et le code fournis dans le cadre du projet OnCrawl Labs.

Pourquoi utiliser OnCrawl Labs pour la détection des anomalies ?

Nous savons que la vie de votre site Internet n’est pas une chose parfaitement stable et immuable.

D’une part, vous savez bien que votre boutique de e-commerce connaît un mois d’août lent chaque année, que votre site d’information connaît un pic à chaque élection majeure dans les pays influents, ou que votre site d’apprentissage en ligne est surchargé à la rentrée scolaire et avant les examens de fin d’année.

D’autre part, votre site change au fil du temps : votre SEO s’améliore, votre marque devient plus connue, votre budget pour l’hébergement augmente. Le trafic normal d’il y a cinq ans n’est, espérons-le, pas du tout comparable à celui d’aujourd’hui.

C’est pourquoi le projet de détection d’anomalies que nous avons fourni dans OnCrawl Labs tient compte de tout cela. L’utilisation du machine learning plutôt que de l’analyse statistique permet de prévoir une croissance (ou d’autres changements) au fil du temps et c’est exactement ce que nous avons choisi comme algorithme.

En outre, comme vous pouvez accéder à quasiment toutes les métriques par le biais de notre API, vous pouvez facilement les modifier afin de les adapter à votre site ou à votre projet SEO.

Rebecca travaille comme Product Marketing Manager chez Oncrawl. Elle est passionnée de NLP et de modèles informatiques de langage, ainsi que des systèmes de tout type et leur fonctionnement. Elle n'est jamais en manque de sujets techniques à partager, et elle croit dans l'importance de l'évangelisation des technologies et de l'utilisation des données pour mieux comprendre le référencement. Elle contribue régulièrement au blog Oncrawl.
Sujets en lien :