InspectAI Lab · Méthodologie

Méthodologie

Les chiffres des fiches viennent de l'analyse des fichiers robots.txt des 3 176 domaines en .be de la liste Tranco (top 1 million, identifiant JZWZY), collectés le 16 novembre 2026. 2 887 domaines ont répondu.

Chaque robots.txt est interprété selon la RFC 9309 : le groupe propre au robot s'applique s'il existe, sinon le groupe « User-agent: * » ; la règle la plus longue l'emporte et Allow prime à égalité. Un fichier en erreur 5xx vaut interdiction totale, un fichier absent (4xx) vaut autorisation.

Un site est compté comme bloquant un robot quand la page d'accueil et une page de contenu sont toutes deux interdites.

Limites : la liste Tranco reflète les sites les plus visités, pas l'ensemble des entreprises belges ; un blocage au niveau du pare-feu ou du CDN n'apparaît pas dans le robots.txt ; le robots.txt est une consigne dont le respect dépend de chaque éditeur.