Claude-SearchBot : qui l'utilise, à quoi il sert et combien de sites belges le bloquent
Fiche du lab InspectAI. Robot d'Anthropic ; usage déclaré : indexation pour un moteur de recherche ou des réponses d'assistant. Chiffres issus de l'analyse des robots.txt de 3 176 domaines .be, collectés le 16 novembre 2026.
À quoi sert ce robot
Selon Anthropic, Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche proposés aux utilisateurs de Claude, en analysant les contenus pour rendre les réponses de recherche plus pertinentes et plus exactes. Il est distinct de ClaudeBot, utilisé pour l'entraînement.
Combien de sites .be le bloquent
Au 16 novembre 2026, 83 des 2 887 sites .be joignables (2,9 %) interdisent à Claude-SearchBot d'explorer à la fois leur page d'accueil et leurs pages de contenu. Parmi les 1 000 domaines .be les plus visités, la part monte à 3,6 %.
| Indicateur | Valeur |
|---|---|
| Sites .be joignables analysés | 2 887 |
| Sites qui bloquent Claude-SearchBot | 83 (2,9 %) |
| Sites qui citent Claude-SearchBot nommément dans leur robots.txt | 62 |
| … et qui le bloquent | 22 |
| Blocages hérités de la règle générale « User-agent: * » | 46 |
| Part de blocage dans le top 1 000 .be | 3,6 % |
Comment le bloquer ou l'autoriser
Dans le fichier robots.txt à la racine du site, un groupe dédié au token Claude-SearchBot s'applique à ce robot et remplace les règles générales :
User-agent: Claude-SearchBot
Disallow: /
Pour l'autoriser explicitement, remplacer Disallow: / par Allow: /. Le robots.txt reste une consigne : son respect dépend de l'éditeur du robot, et un blocage au niveau du pare-feu ou du CDN n'y apparaît pas.
Méthode
Liste Tranco (top 1 million, identifiant JZWZY), 3 176 domaines en .be, robots.txt interprétés selon la RFC 9309. Un site est compté comme bloquant quand la page d'accueil et une page de contenu sont toutes deux interdites. Méthode détaillée : https://lab.inspectai.eu/methodologie/
Publié le 18/11/2026 par Mathieu Steenput.