Analyse de logs : ce que Googlebot fait vraiment sur votre site

Ce que les logs révèlent

Un fichier de logs est le journal de bord de votre serveur : chaque requête, y compris celle d’un robot, y est inscrite. Aucun autre outil (crawl, Search Console, outils de positions) ne montre aussi précisément ce que Googlebot et les autres robots font sur votre site.

• Les pages réellement explorées, et celles que Google ignore.
• Le gaspillage de crawl sur des paramètres, des facettes ou des pages sans valeur.
• Les codes de réponse rencontrés : erreurs 404, 5xx, chaînes de redirections.
• La fréquence de passage par section du site et par type de robot.
• Les robots IA qui visitent (ou non) vos pages, un enjeu croissant pour le GEO.

À quoi ressemble une ligne de log

Voici un exemple illustratif au format « combined » d’un serveur web : une requête de Googlebot sur une URL de tri d’une catégorie. On y mesure aussi l’utilité de llms.txt sur votre propre trafic.

Quand une analyse de logs devient indispensable

Google réserve son guide du budget de crawl aux sites avancés : en pratique, les sites de plus d’un million de pages dont le contenu change environ chaque semaine, ou les sites de plus de 10 000 pages mis à jour quotidiennement, ou encore les sites dont une grande part des URL apparaît comme « Découverte, actuellement non indexée » dans la Search Console. Ces seuils sont indicatifs. En dessous, le budget de crawl est rarement le facteur limitant, mais les logs restent utiles pour vérifier les erreurs et les robots IA.

Comment s’y prendre, étape par étape

1. Récupérer plusieurs semaines de journaux auprès de l’hébergeur ou du CDN (au moins quatre semaines pour lisser les variations).
2. Filtrer les robots utiles en vérifiant leur authenticité : Google publie des plages d’adresses IP et recommande le contrôle par reverse DNS.
3. Segmenter les URL par type de page (catégories, fiches, articles, paramètres, ressources).
4. Croiser avec un crawl du site et la Search Console pour comparer ce qui existe, ce qui est exploré et ce qui est indexé.
5. Prioriser les écarts selon leur poids dans le chiffre d’affaires et lancer les corrections.

Les logs font partie des fondations techniques du référencement. Pour un site de plusieurs milliers de pages, l’analyse de logs SEO est souvent le point de départ le plus rentable. Un assistant comme Claude peut écrire le script de segmentation : voir son usage en SEO, avec ses limites.

Quels outils et quel budget ?

Un fichier de logs s’analyse avec des outils accessibles. Le Log File Analyser de Screaming Frog coûte 99 £ par an (version gratuite limitée à 1 000 lignes de logs et un projet), et le SEO Spider, crawler de référence, 279 $ par an (gratuit jusqu’à 500 URL). Des plateformes d’entreprise existent pour les très gros volumes, avec des tarifs sur devis.

Les deux premiers prix sont tirés des pages officielles de l’éditeur ; la dernière ligne est une estimation fondée sur des journées de consultant senior, à valider par un devis.

Les actions qui en découlent

• Réduire l’exploration des zones inutiles : paramètres, tris, facettes sans demande (robots.txt, canoniques, liens).
• Corriger les erreurs fréquemment rencontrées : 404 massives, chaînes de redirections, erreurs 5xx.
• Renforcer le maillage vers les pages stratégiques peu explorées.
• Vérifier les robots IA qui visitent le site et ceux que vous souhaitez autoriser.
• Suivre l’effet des chantiers sur la répartition du crawl.

C’est le quotidien d’un consultant SEO, Freelance seo : mesurer, prioriser, puis livrer.

Trois constats fréquents

• Une part importante du crawl se concentre sur des URL sans valeur (paramètres, facettes, pages de tri).
• Des pages stratégiques sont rarement visitées, car trop profondes ou mal maillées.
• Des erreurs 5xx ponctuelles, invisibles dans un crawl, apparaissent dans les logs : Google précise que les réponses 5xx et les signaux de limitation (429) font baisser la capacité de crawl.

Ces constats se corrigent avec des mesures simples, mais on ne peut les établir qu’avec les journaux. Sur un gros catalogue, ils guident l’acquisition de trafic pour l’e-commerce.

Un indicateur utile : le ratio de crawl utile

Pour chaque section du site, comparez la part du crawl qu’elle reçoit et la part du chiffre d’affaires ou des pages stratégiques qu’elle représente.

Exemple illustratif construit pour expliquer la méthode, et non des données d’un client.

Suivi dans le temps, cet indicateur permet de vérifier l’effet réel de vos chantiers : après une réorganisation du maillage ou un nettoyage des paramètres, la répartition du crawl doit évoluer. Pour suivre ces enseignements dans la durée, voir BigQuery et Search Console : construire un reporting SEO fiable.

Sur des sujets voisins : optimiser LCP, INP et CLS, gérer les robots IA et migrer son site sans perdre de trafic.

Pourquoi me confier votre analyse de logs ?

Lire des logs n’est pas difficile ; savoir quoi en faire l’est. Voici ce que je vous apporte :

• Un échange de 30 minutes, gratuit et sans engagement, pour cadrer votre contexte et vos objectifs.
• Un expert senior qui reste sur le dossier : vingt ans de SEO depuis 2005, côté agence comme côté annonceur, dont +50 M€ de chiffre d’affaires SEO généré chez LDLC.
• Une réponse écrite et chiffrée : priorités classées par impact sur votre chiffre d’affaires, pas une checklist générique.
• Une confidentialité totale : je peux intervenir en complément de votre agence ou de votre équipe, sans que vous ayez à résilier quoi que ce soit.

Questions fréquentes