web2b robot

User-Agent : Mozilla/5.0 (compatible; web2b/1.0; +https://web2b.simonjanvier.com/robot)

Objectif

web2b scanne des sites web publics d’entreprises françaises pour en qualifier la stack technique (CMS, TLS, e-commerce, signaux d’obsolescence), à des fins B2B.

Comportement

• Requêtes HTTP GET limitées (homepage et quelques chemins publics)
• Pas de contournement d’auth, pas de formulaires, pas de spam
• Respect des hôtes en blocklist (réseaux sociaux, annuaires, etc.)
• Fréquence maîtrisée ; workers pausables depuis l’application

Exclure un site

Deux moyens, tous deux respectés :

• Une règle Disallow visant web2b dans votre robots.txt.
• Le formulaire d’opposition : le domaine ou le SIREN est inscrit en liste de suppression et n’est plus jamais réindexé.

Contact

Pour toute question sur le collecteur : simon@simonjanvier.com. Voir aussi la politique de confidentialité.