je suis en train de me faire un spider actuellement
est-ce que l'on est obligé de respecter le fichier robots.txt s'il existe ?

il n'y a rien de l'ietf qui dise de le prendre en compte obligatoirement, keywords "MUST", "SHOULD", "SHALL"