Définition
GPTBot est le robot d’OpenAI utilisé pour collecter des contenus destinés à l’entraînement de ses modèles. OAI-SearchBot est celui qui alimente la recherche de ChatGPT. Les deux se contrôlent séparément dans le fichier robots.txt.
Pourquoi c’est important
On peut donc autoriser l’un sans l’autre : refuser l’entraînement tout en restant visible dans les réponses de recherche est un choix courant. Chaque marque doit arbitrer selon ses objectifs. Voir aussi l’exploration par Googlebot.
En pratique
Au-delà du robots.txt, il faut vérifier que le pare-feu ou le CDN ne bloque pas ces robots par erreur. Dans la pratique, cela se traite avec Audit SEO technique et logs et budget de crawl.
Aller plus loin sur ce sujet
Ces notions sont celles que j’applique comme consultant SEO, en mission Freelance seo chez mes clients e-commerce et marques. Échangeons 30 minutes sur votre site, ou découvrez les contenus et missions associés :