InspectAI Lab · Méthodologie

CCBot : qui l'utilise, à quoi il sert et combien de sites belges le bloquent

Fiche du lab InspectAI. Robot de Common Crawl ; usage déclaré : collecte de contenus pour entraîner des modèles d'IA. Chiffres issus de l'analyse des robots.txt de 3 176 domaines .be, collectés le 16 novembre 2026.

À quoi sert ce robot

CCBot est le robot de Common Crawl, qui se présente comme un dépôt ouvert de données d'exploration du web. Ces archives publiques sont réutilisées par de nombreux acteurs, y compris pour constituer des jeux d'entraînement de modèles de langage : bloquer CCBot agit donc en amont de leurs usages. Common Crawl publie la liste de ses adresses IP.

Source : https://commoncrawl.org/ccbot

Combien de sites .be le bloquent

Au 16 novembre 2026, 314 des 2 887 sites .be joignables (10,9 %) interdisent à CCBot d'explorer à la fois leur page d'accueil et leurs pages de contenu. Parmi les 1 000 domaines .be les plus visités, la part monte à 13,9 %.

IndicateurValeur
Sites .be joignables analysés2 887
Sites qui bloquent CCBot314 (10,9 %)
Sites qui citent CCBot nommément dans leur robots.txt287
… et qui le bloquent252
Blocages hérités de la règle générale « User-agent: * »47
Part de blocage dans le top 1 000 .be13,9 %

Comment le bloquer ou l'autoriser

Dans le fichier robots.txt à la racine du site, un groupe dédié au token CCBot s'applique à ce robot et remplace les règles générales :


User-agent: CCBot
Disallow: /

Pour l'autoriser explicitement, remplacer Disallow: / par Allow: /. Le robots.txt reste une consigne : son respect dépend de l'éditeur du robot, et un blocage au niveau du pare-feu ou du CDN n'y apparaît pas.

Méthode

Liste Tranco (top 1 million, identifiant JZWZY), 3 176 domaines en .be, robots.txt interprétés selon la RFC 9309. Un site est compté comme bloquant quand la page d'accueil et une page de contenu sont toutes deux interdites. Méthode détaillée : https://lab.inspectai.eu/methodologie/

Publié le 18/11/2026 par Mathieu Steenput.