Comportement
Le crawler lit robots.txt, limite son volume, ne contourne pas les interdictions, ne se fait pas passer pour un autre agent et expose une page d’identité publique.
Exclusion
Un site peut l’exclure dans robots.txt. Une exclusion est traitée comme un signal de gouvernance, pas comme une permission de contournement.