D'où viennent les sources de ChatGPT, Claude, Perplexity et Gemini ?
En bref
Chaque assistant cherche sur le web avec ses propres robots ou index : OAI-SearchBot pour ChatGPT, Claude-SearchBot pour Claude, PerplexityBot pour Perplexity, et l'index de recherche Google pour Gemini et les réponses IA de Google. Pour être cité partout, laissez passer ces robots et soyez bien indexé dans Google et Bing.
Comment un assistant IA trouve-t-il ses sources ?
Un assistant IA répond soit avec ses connaissances d’entraînement, soit en cherchant sur le web au moment de la question. Dans le second cas, il interroge un index de recherche, sélectionne des pages et cite celles qui répondent le mieux. Chaque éditeur utilise des robots différents, déclarés publiquement, qu’un site peut autoriser ou bloquer dans son robots.txt.
Quels robots utilisent ChatGPT, Claude et Perplexity ?
| Assistant | Robot de recherche | Robot d’entraînement | Robot à la demande |
|---|---|---|---|
| ChatGPT (OpenAI) | OAI-SearchBot | GPTBot | ChatGPT-User |
| Claude (Anthropic) | Claude-SearchBot | ClaudeBot | Claude-User |
| Perplexity | PerplexityBot | aucun robot d’entraînement déclaré | Perplexity-User |
- OpenAI : selon sa documentation, OAI-SearchBot sert à afficher des sites dans la recherche de ChatGPT, et bloquer GPTBot indique seulement que le contenu ne doit pas servir à l’entraînement.
- Anthropic : selon son centre d’aide, Claude-SearchBot indexe les contenus pour améliorer les réponses de recherche, Claude-User consulte des pages quand un utilisateur pose une question, et ClaudeBot collecte des contenus pouvant servir à l’entraînement.
- Perplexity : selon sa documentation, PerplexityBot sert à afficher et lier des sites dans ses résultats et n’est pas utilisé pour entraîner des modèles ; Perplexity-User agit pour les utilisateurs.
D’où viennent les sources de Gemini et des réponses IA de Google ?
Google s’appuie sur son propre index de recherche. Pour AI Overviews et AI Mode, Google indique qu’il n’y a pas d’exigence supplémentaire au-delà des bonnes pratiques SEO, et que ces fonctionnalités peuvent lancer plusieurs recherches liées sur des sous-thèmes avant de répondre (le « query fan-out »).
Pour Gemini, Google propose un jeton robots.txt distinct, Google-Extended. Selon Google, il permet de choisir si les contenus explorés peuvent servir à entraîner les futurs modèles Gemini et à ancrer les réponses des applications Gemini, mais il n’a aucun effet sur l’inclusion ou le classement dans la recherche Google.
Quelles sources les assistants préfèrent-ils ?
Les études publiées donnent deux tendances utiles :
- Les listes et comparatifs : selon Ahrefs, les listes du type « les meilleurs X » représentent 43,8 % des pages citées par ChatGPT pour les questions de recommandation.
- Les contenus récents : selon Ahrefs, les assistants IA citent des contenus 25,7 % plus récents que les résultats classiques de Google, à l’exception des AI Overviews.
Que faire pour être cité par tous ?
- Autorisez les robots de recherche de chaque assistant dans votre robots.txt : OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot et Bingbot.
- Vérifiez votre pare-feu : un blocage des « robots IA » peut annuler votre robots.txt.
- Faites indexer votre site dans Google Search Console et Bing Webmaster Tools.
- Décidez séparément pour l’entraînement : vous pouvez bloquer GPTBot ou ClaudeBot sans disparaître des recherches. Réfléchissez davantage avant de bloquer Google-Extended, qui couvre aussi l’ancrage des réponses de Gemini.
- Mesurez chaque assistant à part, avec les mêmes questions, car chacun cite des sources différentes.
Questions fréquentes
Bloquer les robots d'entraînement empêche-t-il d'être cité ?
Pas chez OpenAI, Anthropic et Perplexity, qui séparent l'entraînement et la recherche : GPTBot et ClaudeBot servent à l'entraînement, OAI-SearchBot, Claude-SearchBot et PerplexityBot à la recherche. Chez Google, le jeton Google-Extended ne touche pas la recherche Google, mais il couvre aussi l'ancrage des réponses de Gemini sur des contenus de l'index.
Les assistants citent-ils les mêmes sites ?
Non. Chacun a son propre index et ses propres critères, et les réponses varient d'une fois à l'autre. Il faut donc mesurer sa présence séparément dans chaque assistant.