Si vous voulez savoir comment les moteurs de recherche et les systèmes d’IA parcourent réellement votre site, il n’existe qu’une source qui enregistre chaque requête : vos fichiers logs.
Chaque fois que Googlebot, Bingbot, un crawler IA ou un visiteur réel demande une URL, votre serveur l’enregistre. Un analyseur de logs SEO transforme cet enregistrement brut en quelque chose que vous pouvez réellement lire et exploiter.
Ce guide explique ce que sont les fichiers logs, pourquoi ils vous révèlent des choses que Google Search Console ne peut pas montrer, et comment configurer l’analyse de logs avec Oncrawl pour commencer à exploiter ces données pour votre SEO.
Qu’est-ce qu’un fichier log serveur ?
Un fichier log serveur est un enregistrement que votre serveur conserve de chaque requête qui lui est adressée. Chaque ligne indique qui a fait la requête, ce qui a été demandé et comment le serveur a répondu.
Cela inclut généralement l’adresse IP de l’émetteur, un horodatage, l’URL demandée, le user-agent (qui vous indique s’il s’agissait de Googlebot, d’un autre bot ou d’un humain), le code de réponse et, selon la configuration de votre serveur, la taille de la réponse et le temps mis à la servir.
Aucune de ces données n’est échantillonnée ni estimée. Si Googlebot a demandé une URL 800 fois en une seule journée, chacune de ces requêtes figure dans le log.
Si aucune requête n’a été faite depuis 60 jours, cette absence est elle aussi visible dans le log. C’est cette exhaustivité qui rend les fichiers logs si précieux, et c’est pourquoi ils restent, selon une formule souvent attribuée à John Mueller de Google, l’une des sources les plus sous-estimées en SEO.
Pourquoi les fichiers logs en disent plus que la Search Console
La plupart des SEO commencent par Google Search Console, et c’est un rapport très utile. Cependant, il résume l’activité de crawl de Google au lieu d’exposer chaque requête, et il ne conserve qu’une fenêtre glissante d’historique. Vous voyez un résumé, a posteriori, de ce que Google a choisi de rapporter.
Vos logs, eux, n’ont pas ces limites, à condition de les conserver. Ils enregistrent chaque requête, de chaque bot, et sont conservés aussi longtemps que vous le décidez. Lorsque vous voulez savoir exactement quelles pages Googlebot a visitées mardi dernier, à quelle fréquence il revient sur vos principales pages catégorie, ou s’il perd du temps sur des URLs à paramètres qui ne génèrent aucun trafic, la réponse se trouve le plus sûrement dans vos logs.
L’une des applications les plus courantes de l’analyse de logs est l’optimisation du budget de crawl, mais ce n’est qu’une partie du tableau. Ces mêmes données peuvent vous aider à analyser des problèmes d’indexation, valider des migrations, surveiller les crawlers IA, détecter des régressions techniques et comprendre précisément comment les bots interagissent avec votre site au fil du temps.
Oncrawl Analyseur de logs
Ce que fait un analyseur de logs SEO
Lire des fichiers logs bruts à la main n’est pas réaliste. Un seul grand site peut générer des centaines de millions de lignes de log par jour, et le format brut est dense et répétitif.
Un analyseur de logs traite l’ensemble de ces données, le nettoie, filtre le bruit et l’organise en vues exploitables.
Avec un bon analyseur, vous pouvez voir :
- Quelles pages les bots des moteurs de recherche crawlent, à quelle fréquence, et quelles pages ils n’atteignent jamais
- Comment l’activité de crawl se répartit sur votre site, pour comparer les pages produit, les pages catégorie et les autres sections
- Les status codes dans le temps, pour repérer une hausse des 404 ou des erreurs serveur avant qu’elle ne coûte du trafic
- Les pages fréquemment crawlées par rapport à celles qui ne reçoivent que rarement, voire jamais, la visite d’un crawler
- Les pages orphelines qui reçoivent encore des visites de crawlers alors que rien sur votre site ne pointe vers elles
La véritable valeur de l’analyse de logs réside dans le croisement des données de logs avec d’autres jeux de données SEO. Seul, un fichier log vous dit ce que les bots ont fait.
Combiné à un crawl, à Google Search Console ou à vos analytics, il vous dit s’ils ont crawlé les bonnes pages, si ces pages sont indexées, et si elles génèrent réellement de la valeur business.
Comment utiliser l’analyseur de logs d’Oncrawl
Faire entrer vos logs dans Oncrawl demande généralement peu de développement au quotidien. Vous connectez une source une fois, et Oncrawl se charge ensuite de l’ingestion et du traitement.
Vous pouvez importer vos logs via des connecteurs de stockage cloud et de CDN, notamment Amazon S3, Google Cloud Storage et Akamai, ou en téléversant directement vos fichiers via FTPS.
Oncrawl traite les logs des serveurs Apache, Nginx et IIS, ainsi que de tout serveur capable de fournir un fichier log au format JSON, et gère des centaines de millions de lignes de log filtrées par jour : la taille du site n’est donc pas un obstacle.
Une fois vos logs en place, vous pouvez suivre l’activité des bots en quasi temps réel avec le monitoring des logs en direct, la décomposer par segment pour comparer la façon dont les bots parcourent vos pages produit, vos pages catégorie et vos autres sections, et suivre les hits de bots, les visites SEO et les codes de statut dans le temps.
Vous pouvez aussi croiser vos données de logs avec vos données de crawl, la Search Console et vos analytics pour répondre à vos propres questions.
Ce que vous pouvez faire avec ces données
Une fois votre analyse de logs en place, quelques cas d’usage apportent rapidement de la valeur.
Suivi des bots IA
Les fichiers logs sont l’un des moyens les plus clairs de comprendre comment les systèmes d’IA explorent votre site. Oncrawl identifie les visites des crawlers IA, dont GPTBot (OpenAI), PerplexityBot, ClaudeBot et Gemini, aux côtés des bots traditionnels des moteurs de recherche, pour que vous puissiez suivre si vos contenus sont repris par les systèmes qui façonnent de plus en plus la visibilité.
Détection des problèmes techniques
L’analyse de logs aide à mettre au jour des problèmes techniques que les crawlers rencontrent en conditions réelles. Vous pouvez identifier des 404 récurrentes, des pics d’erreurs serveur, des chaînes de redirections ou des temps de réponse lents qui n’apparaissent pas toujours dans un simple crawl, car ils ne se manifestent que lors des visites réelles des bots.
Détection des régressions
Comme les logs enregistrent tout à mesure que cela se produit, vous pouvez détecter les problèmes dès leur apparition. Une hausse des codes d’erreur, une baisse de la fréquence de crawl sur une section clé, ou un bot qui ignore soudain un contenu fraîchement publié apparaissent dans les données avant de se transformer en perte de positionnement que vous ne constateriez dans vos analytics que des semaines plus tard.
Optimisation du budget de crawl
Les données de logs vous montrent exactement où les moteurs de recherche dépensent leur crawl, pour que vous puissiez repérer les pages à faible valeur qui grignotent votre budget et rediriger cette attention vers les pages qui comptent. Pour un guide complet, consultez notre guide sur le budget de crawl.
Validation des migrations et du nettoyage
Lorsque vous migrez un site ou supprimez d’anciennes pages, les logs vous permettent de confirmer ce que font réellement les bots : vous voyez quelles URLs reçoivent encore des crawls et nécessitent des redirections, et lesquelles peuvent réellement être supprimées.
Investigations sur l’indexation
Lorsque des pages importantes n’apparaissent pas dans les résultats de recherche, les données de logs aident à comprendre pourquoi. Vous pouvez déterminer si Googlebot découvre une page, à quelle fréquence il y revient, s’il cesse de la crawler après des changements techniques, ou si le problème se situe ailleurs dans le processus d’indexation.
[Ebook] Crawling & les fichiers de logs : cas pratiques et conseils basés sur l’expérience
Pour commencer
Un analyseur de logs SEO vous donne l’enregistrement le plus complet qui soit : une vision fidèle de la façon dont les moteurs de recherche et les systèmes d’IA interagissent avec votre site.
Les autres sources de données fournissent des résumés ou des vues partielles. Les logs serveur enregistrent chaque requête reçue par votre serveur.
Si vous voulez voir ce qui se passe réellement sur votre site, découvrez l’analyseur de logs d’Oncrawl.
