Analyse de logs SEO : comprendre le comportement de Googlebot
Réponse courte : les logs serveur sont la seule source qui prouve ce que Googlebot (et les robots d’IA) font réellement sur votre site : quelles URL, à quelle fréquence, avec quels statuts. Analysés sur au moins quatre semaines et croisés avec le crawl et la Search Console, ils révèlent le gaspillage de crawl, les zones ignorées et les erreurs invisibles ailleurs. Un consultant SEO en tire un plan d’action sur le « crawl utile ».
Que montrent les logs que rien d’autre ne montre ?
| Question | Réponse apportée par les logs | Outil alternatif ? |
|---|---|---|
| Quelles URL Googlebot visite-t-il vraiment ? | Liste et fréquence réelles, par gabarit | Aucun : la Search Console n’est qu’un échantillon |
| Le crawl est-il utile ? | Part des visites sur des pages stratégiques et sur des URL inutiles (paramètres, facettes) | Non |
| Quelles erreurs rencontre-t-il ? | Statuts 404, 410, 5xx, redirections, par robot | Partiel (Search Console) |
| Mes pages importantes sont-elles ignorées ? | Pages jamais visitées malgré un sitemap | Non |
| Les robots d’IA passent-ils sur le site ? | Visites de GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot | Non |
| Un faux Googlebot m’imite-t-il ? | Vérification par DNS inversé et plages IP officielles | Non |
La vérification d’authenticité suit la méthode de Google : une adresse IP dont le DNS inversé se résout vers googlebot.com ou google.com est légitime ; un simple user-agent ne prouve rien.
La méthode d’analyse
- Collecter au moins quatre semaines de logs bruts (serveur, CDN ou répartiteur de charge) en conservant les en-têtes utiles.
- Filtrer et vérifier les robots : Googlebot, Bingbot, robots d’IA, en écartant les imitations.
- Segmenter par gabarit (accueil, catégories, fiches, articles, paramètres) pour lire des proportions et non des URL isolées.
- Croiser avec le crawl, le sitemap et la Search Console : pages visitées non indexées, pages indexées jamais visitées.
- Prioriser : réduire le crawl inutile, renforcer l’accès aux pages stratégiques, corriger les erreurs.
Les résultats complètent l’audit de crawl et d’indexation : le crawl décrit le site, les logs décrivent le comportement des robots.
Indicateurs que je suis
| Indicateur | Définition | Lecture |
|---|---|---|
| Part de crawl utile | Visites sur pages indexables et stratégiques ÷ visites totales | Plus elle monte, mieux le crawl est employé |
| Répartition par statut | 200, 301, 404, 5xx en proportion | Les redirections et erreurs doivent être marginales |
| Fréquence par gabarit | Nombre de visites par jour et par type de page | Détecte les zones délaissées |
| Délai de découverte | Temps entre publication et première visite | Indique la réactivité du crawl aux nouveautés |
| Crawl des robots d’IA | Volume par robot et par section | Éclaire la politique d’accès du site |
Googlebot se perd sur votre site ?
Je lis vos logs sur un échantillon et vous dis, chiffres à l’appui, où va le crawl.
Demander une analyse de logsQuel budget prévoir ?
L’analyse de logs demande un accès technique et du temps d’interprétation. Côté outils, le Log File Analyser de Screaming Frog coûte 99 £ par licence et par an ; un entrepôt comme BigQuery permet aussi de requêter de gros volumes, avec un mode sandbox gratuit dans ses limites. Le coût principal reste le temps d’un consultant.
| Périmètre | Durée | Budget indicatif HT | Nature |
|---|---|---|---|
| Échantillon de logs sur un site moyen | 3 à 5 jours | 1 500 à 3 500 € | Estimation |
| Analyse complète, croisée avec crawl et Search Console | 1 à 2 semaines | 3 500 à 8 000 € | Estimation |
| Suivi trimestriel après correction | 1 à 2 jours par trimestre | 500 à 1 800 € | Estimation |
| Licence Log File Analyser | — | 99 £ par an | Screaming Frog |
Estimations sans valeur de devis. Les logs de l’hébergeur ou du CDN sont parfois facturés à part : à vérifier avec votre prestataire.
Le chargement et la requête des logs gagnent à être automatisés, comme dans l’article sur le reporting SEO avec BigQuery et Search Console.
Les logs permettent aussi de tester llms.txt dans les logs : est-il réellement consulté ?
Pourquoi me confier l’analyse de vos logs ?
Lire des logs, c’est facile ; en tirer des décisions, c’est le métier. Ce que vous obtenez :
| Ce que vous obtenez | Concrètement |
|---|---|
| Des constats vérifiés | Robots authentifiés, échantillon représentatif, périodes comparables |
| Une lecture par gabarit | Des proportions utilisables, pas des listes d’URL ingérables |
| Un plan d’action concret | Demandes précises sur robots.txt, canoniques, maillage et erreurs |
| Un suivi chiffré | La part de crawl utile avant et après chaque chantier |
- Un échange de 30 minutes, gratuit et sans engagement, pour cadrer votre contexte et vos objectifs.
- Un expert senior qui reste sur le dossier : vingt ans de SEO depuis 2005, côté agence comme côté annonceur, dont +50 M€ de chiffre d’affaires SEO généré chez LDLC.
- Une réponse écrite et chiffrée : priorités classées par impact sur votre chiffre d’affaires, pas une checklist générique.
- Une confidentialité totale : je peux intervenir en complément de votre agence ou de votre équipe, sans que vous ayez à résilier quoi que ce soit.
Parlons de votre projet
Décrivez-moi votre site et votre objectif : je reviens vers vous avec une première analyse et la façon la plus simple de travailler ensemble, en tant que consultant SEO indépendant.
Contacter Laurent BousquetQuestions complémentaires
Combien de temps de logs faut-il analyser ?
Au moins quatre semaines pour lisser les variations hebdomadaires ; davantage si le site est saisonnier ou si une migration a eu lieu.
Mon hébergeur peut-il fournir les logs ?
Presque toujours, sous forme de fichiers d’accès ou via le CDN. Il faut demander des logs bruts incluant l’adresse IP, l’URL, le statut et le user-agent.
L’analyse de logs est-elle utile sur un petit site ?
Rarement prioritaire : selon la documentation de Google, le budget de crawl concerne surtout les grands sites. Elle devient utile en cas de problème d’indexation inexpliqué ou pour suivre les robots d’IA.
À retenir
- Les logs sont la seule preuve du comportement réel des robots.
- On analyse au moins quatre semaines, par gabarit, robots vérifiés.
- L’objectif : augmenter la part de crawl utile et corriger les erreurs invisibles.
Laurent Bousquet, consultant SEO et GEO freelance. Parlons de votre projet ›