Trois familles de robots
| Famille | Exemples | Rôle | Si vous les bloquez |
|---|---|---|---|
| Entraînement | GPTBot (OpenAI), ClaudeBot (Anthropic) | Collectent des contenus susceptibles d’entraîner des modèles | Vos contenus futurs sont exclus des jeux d’entraînement |
| Recherche | OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot | Alimentent les résultats de recherche des assistants | Vous disparaissez des citations de l’assistant concerné |
| Action utilisateur | ChatGPT-User, Claude-User, Perplexity-User | Consultent une page quand un internaute le demande | Le robots.txt peut ne pas s’appliquer ; impact sur la visibilité dans la recherche dirigée par l’utilisateur |
- Robots d’entraînement (par exemple GPTBot d’OpenAI ou ClaudeBot d’Anthropic) : ils collectent des contenus pour entraîner des modèles.
- Robots de recherche (par exemple OAI-SearchBot d’OpenAI) : ils alimentent les résultats de recherche des assistants. Les bloquer revient à disparaître des citations.
- Robots d’action utilisateur (par exemple ChatGPT-User) : ils consultent une page lorsqu’un utilisateur le demande.
Les noms et les rôles évoluent : vérifiez toujours la documentation officielle de chaque éditeur avant de modifier votre fichier robots.txt. Côté Google, Google-Extended est un jeton de contrôle du robots.txt, pas un robot : il n’agit pas sur votre présence dans Google Search. Cela s’inscrit dans une stratégie GEO plus large.
Fiche d’identité des principaux robots
| Robot | Éditeur | Usage documenté | Respect du robots.txt | Liste d’IP publiée |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Recherche ChatGPT | Oui ; prise en compte en environ 24 h | openai.com/searchbot.json |
| GPTBot | OpenAI | Entraînement des modèles | Oui | openai.com/gptbot.json |
| ChatGPT-User | OpenAI | Action demandée par un utilisateur | Les règles robots.txt peuvent ne pas s’appliquer | openai.com/chatgpt-user.json |
| ClaudeBot | Anthropic | Entraînement des modèles | Oui ; Crawl-delay pris en charge | claude.com/crawling/bots.json |
| Claude-SearchBot | Anthropic | Recherche, pertinence des résultats | Oui | claude.com/crawling/bots.json |
| Claude-User | Anthropic | Accès à la demande d’un utilisateur | Oui | claude.com/crawling/bots.json |
| PerplexityBot | Perplexity | Faire apparaître les sites dans les résultats | Oui (autorisation recommandée) | perplexity.com/perplexitybot.json |
| Perplexity-User | Perplexity | Action demandée par un utilisateur | Ignore généralement le robots.txt | perplexity.com/perplexity-user.json |
Synthèse des documentations officielles d’OpenAI, Anthropic et Perplexity consultées le 15 octobre 2026. Les chemins d’IP sont ceux indiqués par les éditeurs.
Une politique raisonnable
En règle générale, on autorise les robots de recherche, qui conditionnent votre visibilité dans les réponses, et l’on décide au cas par cas pour les robots d’entraînement, selon votre stratégie de contenu et vos contraintes juridiques.
Exemple de politique robots.txt : autoriser la recherche, refuser l’entraînement
# Recherche des assistants : autorisée
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Entraînement : refusé (exemple, à décider selon votre stratégie)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /Attention : le robots.txt est une demande adressée aux robots, pas une barrière technique. Le protocole (RFC 9309) précise qu’il ne constitue pas une forme d’autorisation d’accès. Pour un contrôle réel, il faut aussi agir au niveau du pare-feu ou du CDN. Pour un site marchand, l’arbitrage dépend de la part de trafic et de ventes issue des IA : voir acquisition et référencement e-commerce.
Vérifier ce qui se passe réellement
Les journaux serveur montrent quels robots visitent votre site, à quelle fréquence et avec quelles erreurs. Certains robots usurpent un user-agent connu : la vérification passe par les plages d’adresses IP publiées par les éditeurs. Anthropic déconseille d’ailleurs de bloquer ses IP, car cela empêche les robots de lire votre robots.txt. Pour en savoir plus sur mon approche de consultant SEO Freelance seo, retrouvez la présentation complète sur la page d’accueil.
C’est l’un des apports de l’analyse de logs SEO, et un volet central du GEO technique.
Quels robots IA visitent réellement votre site ?
Je lis vos logs, vérifie l’authenticité des robots, contrôle votre robots.txt et vous remets une politique d’accès adaptée à votre modèle économique.
Demander un audit des robots IALes questions à se poser avant de bloquer
- Vos contenus sont-ils sensibles ou soumis à des droits qui justifient de refuser l’entraînement des modèles ?
- Votre activité dépend-elle de la visibilité dans les réponses des assistants (e-commerce, services, médias) ?
- Disposez-vous d’un moyen de vérifier que les règles sont respectées, par exemple l’analyse de vos journaux serveur ?
| Profil | Politique type | Raison |
|---|---|---|
| E-commerce, services locaux | Autoriser recherche ; entraînement à décider | La visibilité dans les réponses génère des ventes |
| Éditeur de contenu payant | Restreindre l’entraînement, étudier l’accès par pare-feu | Le contenu est le produit |
| Média d’information | Arbitrage juridique et commercial au cas par cas | Enjeux de droits et de trafic |
| Site B2B de niche | Autoriser recherche ; surveiller | Être cité par les assistants aide la notoriété |
La réponse varie d’une entreprise à l’autre : un éditeur de contenu payant n’a pas les mêmes enjeux qu’un site e-commerce qui cherche à être recommandé. Il n’existe pas de politique universelle, seulement une politique cohérente avec votre modèle économique. Pour régler l’accès robot par robot et mesurer assistant par assistant, voir le référencement Perplexity, Claude et Gemini.
Autres leviers à connaître
Au-delà du robots.txt, certains contenus peuvent être protégés par des balises ou des en-têtes spécifiques, et l’accès peut être limité au niveau du pare-feu ou du réseau de diffusion de contenu. Ces outils sont complémentaires, et leur usage dépend du niveau de contrôle recherché. Côté Google, les contrôles d’extraits (nosnippet, data-nosnippet, max-snippet) limitent ce qui est affiché dans la Recherche, au prix d’une moindre visibilité.
Enfin, gardez à l’esprit que la situation évolue vite : de nouveaux robots apparaissent, d’autres changent de nom ou de comportement. Un contrôle trimestriel de votre fichier robots.txt et de vos journaux évite de découvrir trop tard qu’une règle est obsolète. Pour élargir le sujet : optimiser pour l’AI Mode, auditer sa visibilité dans les IA et apparaître dans ChatGPT.
Plan de contrôle trimestriel des robots IA
| Étape | Action | Outil |
|---|---|---|
| 1 | Relire le fichier robots.txt et les règles par robot | Éditeur de texte, testeur de robots.txt |
| 2 | Extraire les requêtes des robots IA dans les logs sur 4 semaines | Logs serveur ou CDN, Log File Analyser |
| 3 | Vérifier l’authenticité des IP avec les plages publiées par chaque éditeur | Fichiers JSON d’IP des éditeurs |
| 4 | Repérer les robots inconnus ou les user-agents suspects | Analyse des logs |
| 5 | Comparer avec les citations obtenues dans les réponses des assistants | Panel de questions clients |
| 6 | Mettre à jour la politique et documenter les changements | Document de référence partagé |
Pourquoi me confier votre politique d’accès aux robots IA ?
Un robots.txt mal réglé peut vous rendre invisible dans les assistants ou, à l’inverse, ouvrir vos contenus sans contrepartie. Voici ce que j’apporte :
| Ce que vous obtenez | Concrètement |
|---|---|
| Un état des lieux factuel | Robots qui visitent réellement votre site, fréquences, erreurs, usurpations |
| Une politique sur mesure | Entraînement, recherche, action utilisateur : une règle par usage, alignée sur votre modèle |
| Un contrôle au niveau infrastructure | Recommandations pare-feu et CDN quand le robots.txt ne suffit pas |
| Une veille trimestrielle | Nouveaux robots, changements de noms et de comportements |
| Une vision GEO complète | Accès technique, contenus citables, entités et sources tierces |
- Un échange de 30 minutes, gratuit et sans engagement, pour cadrer votre contexte et vos objectifs.
- Un expert senior qui reste sur le dossier : vingt ans de SEO depuis 2005, côté agence comme côté annonceur, dont +50 M€ de chiffre d’affaires SEO généré chez LDLC.
- Une réponse écrite et chiffrée : priorités classées par impact sur votre chiffre d’affaires, pas une checklist générique.
- Une confidentialité totale : je peux intervenir en complément de votre agence ou de votre équipe, sans que vous ayez à résilier quoi que ce soit.
Parlons de votre projet
Décrivez-moi votre site et votre objectif : je reviens vers vous avec une première analyse et la façon la plus simple de travailler ensemble, en tant que consultant SEO indépendant.
Contacter Laurent BousquetQuestions fréquentes
Quelle différence entre GPTBot et OAI-SearchBot ?
GPTBot collecte des contenus pouvant servir à l’entraînement des modèles d’OpenAI ; OAI-SearchBot alimente les résultats de recherche de ChatGPT. Ils se bloquent indépendamment l’un de l’autre.
Bloquer GPTBot me retire-t-il de ChatGPT ?
Non : bloquer GPTBot signale que vos contenus ne doivent pas servir à l’entraînement. C’est OAI-SearchBot qui conditionne l’apparition dans les réponses de recherche.
Google-Extended est-il un robot ?
Non, c’est un jeton de contrôle du robots.txt. Il n’agit pas sur votre présence dans Google Search.
Le robots.txt suffit-il à empêcher l’accès ?
Non. Le Robots Exclusion Protocol n’est pas un mécanisme d’autorisation d’accès. Pour un contrôle réel, agissez aussi au niveau du pare-feu ou du CDN.
Combien de temps pour qu’un changement soit pris en compte ?
OpenAI indique environ 24 heures pour OAI-SearchBot après une mise à jour du robots.txt ; Perplexity mentionne jusqu’à 24 heures.
Comment vérifier qu’un robot est authentique ?
En comparant l’adresse IP des requêtes aux plages publiées par l’éditeur (fichiers JSON des IP) plutôt qu’en se fiant au user-agent.
À retenir
- Autorisez les robots de recherche : ils conditionnent votre présence dans les réponses des assistants.
- Les robots d’entraînement se décident au cas par cas, selon votre modèle économique.
- Les robots d’action utilisateur peuvent ignorer le robots.txt.
- Le robots.txt n’est pas une barrière technique : complétez par le pare-feu ou le CDN si besoin.
- Contrôlez vos logs chaque trimestre : les robots et leurs noms évoluent vite.
Un projet sur ce sujet ?
Échangeons 30 minutes sur votre site et vos objectifs, ou découvrez les missions associées :
Demander un audit