Audit de crawl et d’indexation : comprendre ce que Google voit de votre site
Réponse courte : explorer n’est pas indexer. Un audit de crawl et d’indexation compare ce que Google peut atteindre, ce qu’il explore réellement et ce qu’il retient dans son index, page par page et par gabarit. L’écart entre ces trois ensembles désigne les gaspillages (URL inutiles explorées) et les pertes (pages utiles non indexées). Un consultant SEO le chiffre pour décider quoi indexer, quoi bloquer et quoi supprimer.
Explorer, indexer, classer : trois étapes distinctes
| Étape | Ce qui se passe | Ce qui peut bloquer | Où le voir |
|---|---|---|---|
| Exploration | Googlebot télécharge la page | robots.txt, erreurs 4xx/5xx, lenteur, liens non explorables | Logs, statistiques d’exploration |
| Indexation | Google décide d’ajouter la page à son index | noindex, canonique vers une autre URL, contenu jugé pauvre ou dupliqué | Rapport d’indexation, inspection d’URL |
| Classement | Google ordonne les résultats | Pertinence, autorité, expérience | Rapport de performances |
Le rapport d’indexation de la Search Console liste des statuts comme « Explorée, actuellement non indexée » ou « Détectée, actuellement non indexée » : chacun appelle une action différente, et un audit sert à les trier.
Les causes d’exclusion que je rencontre le plus
- Canoniques contradictoires : une page se déclare canonique d’une autre, ou le sitemap liste des URL non canoniques (voir les consignes sur les URL en doublon).
- Directives noindex oubliées après une préproduction, ou placées dans un en-tête HTTP que personne ne regarde.
- Chaînes et boucles de redirections 301 qui épuisent l’exploration et diluent les signaux.
- Paramètres et facettes qui génèrent des milliers d’URL quasi identiques.
- Pages orphelines : aucun lien interne explorable ne les atteint.
- Erreurs serveur intermittentes : Google réduit son rythme d’exploration quand le site répond mal.
La méthode en quatre temps
| Temps | Action | Résultat |
|---|---|---|
| 1 | Crawl complet du site et extraction des URL du sitemap, de la Search Console et des logs | Trois listes d’URL à comparer |
| 2 | Segmentation par gabarit (accueil, catégorie, fiche, article…) | Taux d’indexation par type de page |
| 3 | Analyse des écarts : indexées non voulues, voulues non indexées, explorées inutilement | Liste des corrections par cause |
| 4 | Décision d’indexation par gabarit et plan d’action priorisé | Règles claires : indexer, canonicaliser, bloquer, supprimer |
Sur les gros sites, le budget de crawl devient un vrai sujet ; la documentation de Google précise qu’il concerne surtout les sites de grande taille ou à contenu très changeant. Dans les autres cas, le gain vient de la qualité d’indexation plus que du volume exploré. L’analyse de logs apporte alors la preuve de ce que Googlebot fait réellement.
Des pages utiles qui n’apparaissent pas dans Google ?
Je repère en quelques jours les gabarits concernés et les causes dominantes, avant de proposer un plan de correction.
Demander un audit d’indexationQuel budget prévoir ?
Le crawl se fait avec un outil dont la licence annuelle est publique (Screaming Frog : 279 US$ par licence et par an d’après sa page tarifaire) et avec les données gratuites de la Search Console. Le coût principal est le temps d’analyse. D’après la grille Kolonell 2026, un audit ponctuel coûte 500 à 1 200 € HT chez un freelance senior et 1 800 à 3 500 € chez une agence senior.
| Périmètre | Durée | Budget indicatif HT | Nature |
|---|---|---|---|
| Petit site, crawl et indexation seuls | 1 semaine | 800 à 1 800 € | Estimation |
| Site moyen avec Search Console segmentée | 1 à 2 semaines | 1 800 à 4 000 € | Estimation |
| Grand site, crawl + logs + plan de correction | 2 à 3 semaines | 4 000 à 9 000 € | Estimation |
| Repère marché : audit ponctuel freelance senior | — | 500 à 1 200 € | Kolonell, 2026 |
Estimations sans valeur de devis ; les prix dépendent du volume d’URL et de l’accès aux logs.
Les questions techniques de rendu (JavaScript, SSR) sont détaillées dans l’article sur Next.js, SSR, SSG et ISR ; l’accès des robots d’IA relève du GEO technique.
Côté agents d’IA, la question « llms.txt est-il utile ? » se tranche aussi avec les logs, pas avec une intuition.
Pourquoi me confier votre audit de crawl et d’indexation ?
Savoir quelles pages Google retient est la base de tout le reste. Ce que j’apporte :
| Ce que vous obtenez | Concrètement |
|---|---|
| Un diagnostic par gabarit | Vous voyez quel type de page perd de l’indexation, pas seulement des URL isolées |
| Des règles d’indexation claires | Une décision écrite par type de page, applicable par vos équipes |
| Des preuves | Croisement du crawl, de la Search Console et, si possible, des logs |
| Un suivi après correction | Je mesure l’évolution de l’indexation, pas seulement la livraison des tickets |
- Un échange de 30 minutes, gratuit et sans engagement, pour cadrer votre contexte et vos objectifs.
- Un expert senior qui reste sur le dossier : vingt ans de SEO depuis 2005, côté agence comme côté annonceur, dont +50 M€ de chiffre d’affaires SEO généré chez LDLC.
- Une réponse écrite et chiffrée : priorités classées par impact sur votre chiffre d’affaires, pas une checklist générique.
- Une confidentialité totale : je peux intervenir en complément de votre agence ou de votre équipe, sans que vous ayez à résilier quoi que ce soit.
Parlons de votre projet
Décrivez-moi votre site et votre objectif : je reviens vers vous avec une première analyse et la façon la plus simple de travailler ensemble, en tant que consultant SEO indépendant.
Contacter Laurent BousquetQuestions complémentaires
Pourquoi mes pages sont « explorées, actuellement non indexées » ?
Google a lu la page mais ne l’a pas jugée assez utile ou distincte pour l’indexer : contenu faible, quasi-doublon, maillage insuffisant. Un audit par gabarit identifie la cause dominante.
Faut-il bloquer des pages dans le robots.txt pour économiser le budget de crawl ?
Pas systématiquement : bloquer empêche Google de voir un noindex ou une canonique. Selon la documentation de Google, le budget de crawl concerne surtout les très grands sites ; on choisit entre noindex, canonique et blocage selon le cas.
Combien de temps pour voir l’effet d’une correction d’indexation ?
Quelques semaines en général : Google doit réexplorer les pages, puis mettre à jour l’index. On suit l’évolution par gabarit dans la Search Console.
À retenir
- Explorer, indexer et classer sont trois étapes distinctes à diagnostiquer séparément.
- On compare trois listes d’URL : crawl, sitemap/Search Console, logs.
- Livrable : règles d’indexation par gabarit et plan de correction priorisé.
Laurent Bousquet, consultant SEO et GEO freelance. Parlons de votre projet ›