Autoriser ou bloquer les robots d'IA ? L'arbitrage
La décision est le plus souvent traitée comme une question de principe alors qu'elle relève du modèle économique : qui gagne sa vie avec ses contenus perd en autorisant. Qui gagne des clients grâce à ses contenus perd en bloquant – et davantage.
L'essentiel en bref
- Il existe deux sortes d'accès : les collecteurs anticipés et les récupérations à l'exécution. Ils se pilotent séparément – et c'est là que se trouve la solution la plus utile.
- Qui vend des prestations devrait dans tous les cas autoriser les récupérations à l'exécution : elles produisent des mentions auprès de gens en pleine recherche de solution.
- Qui vend des contenus ou vit de l'affichage publicitaire a de bonnes raisons de bloquer les collecteurs.
- robots.txt est une demande, pas un verrou. Qui veut imposer techniquement doit bloquer au niveau du serveur.
Les deux sortes d'accès
Les collecteurs anticipés
Ils récupèrent des contenus indépendamment de toute question concrète – pour l'entraînement ou pour un index propre. Exemples : GPTBot, PerplexityBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot.
Utilité pour vous : indirecte – les contenus sont disponibles dans un index. Coût : les contenus sont utilisés sans que personne ne visite votre site.
Les récupérations à l'exécution
Elles récupèrent une page au moment où quelqu'un a posé une question correspondante. Exemples : OAI-SearchBot, ChatGPT-User, Perplexity-User, Claude-User.
Utilité pour vous : directe – il en naît des mentions et des liens dans des réponses concrètes. Coût : pratiquement nul.
Le saviez-vous ?
Qui bloque globalement « tous les robots d'IA » bloque les deux sortes – et perd précisément la part qui lui sert. Être nommé comme source dans une réponse suppose que la page puisse être récupérée à l'exécution.
Pour une entreprise qui vend des prestations, c'est le pire échange imaginable : on empêche une recommandation adressée à quelqu'un en pleine recherche de solution, pour empêcher qu'un modèle n'apprenne d'un article public.
Trois stratégies
| Stratégie | Collecteurs | Récupérations à l'exécution | Convient à |
|---|---|---|---|
| Ouverte | autorisés | autorisées | prestataires, B2B, conseil |
| Mixte | bloqués | autorisées | éditeurs, organismes de formation, médias spécialisés |
| Fermée | bloqués | bloquées | contenus payants, espaces protégés |
Pour la plupart des petites et moyennes entreprises, « ouverte » est le bon choix. La stratégie mixte est le juste milieu pour tous ceux dont le contenu est lui-même le produit.
Le robots.txt
Pour la stratégie ouverte avec mention explicite – ce n'est pas indispensable, mais cela rend la décision visible et la documente :
User-agent: GPTBot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / User-agent: Google-Extended Allow: / User-agent: Applebot-Extended Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Pour la stratégie mixte, les collecteurs sont bloqués et les récupérations à l'exécution autorisées :
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: PerplexityBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: CCBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Perplexity-User Allow: / User-agent: Claude-User Allow: / User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
Google-Extended ne pilote que l'usage pour les produits d'IA de Google – pas l'indexation classique. Bloquer Googlebot par inadvertance fait disparaître de la recherche. Ces deux noms désignent des choses différentes et sont régulièrement confondus.
Ce que robots.txt ne fait pas
Trois limites à connaître avant de s'en remettre à ce fichier :
- C'est une demande. Les acteurs sérieux la respectent, les autres non. Qui veut imposer techniquement doit bloquer au niveau du serveur ou du pare-feu, sur la base de l'identifiant.
- Elle n'agit pas rétroactivement. Ce qui a déjà été collecté ne disparaît pas.
- Elle ne protège pas contre une reprise à partir d'autres sources. Si vos contenus sont cités ailleurs, votre propre fichier n'y peut rien.
Avant de trancher, un regard dans les journaux serveur vaut la peine : lesquels de ces identifiants apparaissent réellement, à quelle fréquence, et quelles pages récupèrent-ils ?
Sur les petits sites, le résultat est souvent modeste – peu d'accès, peu de pages. La question devient alors secondaire, et la vraie tâche est autre : être trouvé tout court. Bloquer des robots qui ne viennent pas ne résout aucun problème et empêche seulement que cela change plus tard.
Le cadre juridique
Dans l'UE existe une réserve relative à la fouille de textes et de données : les titulaires de droits peuvent interdire expressément l'usage de leurs contenus pour une exploitation automatisée, et cette réserve doit être formulée de façon lisible par une machine. Le robots.txt en est la forme courante, parfois complétée par une mention dans les conditions d'utilisation.
Pour la Suisse, cela ne s'applique pas directement ; qui adresse aussi ses contenus à des utilisateurs de l'UE devrait néanmoins formuler la réserve s'il la souhaite. C'est un point qu'un spécialiste devrait apprécier – cet article ne remplace pas un conseil juridique.
Conclusion
La question n'est pas de principe, elle tient au modèle économique. Qui vend des contenus bloque les collecteurs. Qui vend des prestations autorise les deux – et gagne ainsi des mentions auprès de gens qui cherchent justement une solution.
Dans tous les cas : traiter les récupérations à l'exécution séparément. Les bloquer globalement avec le reste est l'erreur la plus fréquente et la plus coûteuse de cette décision.
Questions fréquentes
Faut-il bloquer les robots d'IA ?
Cela dépend du modèle économique. Qui gagne de l'argent avec ses contenus eux-mêmes – éditeurs, organismes de formation, médias spécialisés – a de bonnes raisons de bloquer les collecteurs anticipés. Qui vend des prestations perd plus qu'il ne gagne en bloquant.
Quelle différence entre collecteurs et récupérations à l'exécution ?
Les collecteurs comme GPTBot, ClaudeBot ou PerplexityBot récupèrent des contenus indépendamment de toute question, pour l'entraînement ou un index propre. Les récupérations à l'exécution comme ChatGPT-User, Perplexity-User ou OAI-SearchBot vont chercher une page précisément quand quelqu'un a posé une question correspondante – il en naît des mentions et des liens.
Qu'est-ce que Google-Extended ?
Un identifiant permettant de piloter l'usage des contenus pour les produits d'IA de Google – pas l'indexation classique. C'est autre chose que Googlebot ; bloquer ce dernier par inadvertance fait disparaître de la recherche.
Tous les robots respectent-ils le robots.txt ?
Non. C'est une demande, pas un verrou technique. Les acteurs sérieux la respectent, les autres non. Qui veut imposer un blocage a besoin d'une règle au niveau du serveur ou du pare-feu, fondée sur l'identifiant – et même alors, elle n'agit pas rétroactivement sur ce qui a déjà été collecté.
Comment vérifier quels robots viennent réellement ?
Par les journaux serveur, filtrés sur les identifiants connus. Cela montre quels robots récupèrent quelles pages et à quelle fréquence. Sur les petits sites, le résultat est souvent modeste – la question du blocage devient alors secondaire par rapport à la tâche d'être trouvé tout court.
Un marketing qui se met en place tout seul
La bêta du Studio Engine est ouverte. Réservez votre place et participez dès le départ.
Participer à la bêta →