je suis en train de me faire un spider actuellement
est-ce que l'on est obligé de respecter le fichier robots.txt s'il existe ?
il n'y a rien de l'ietf qui dise de le prendre en compte obligatoirement, keywords "MUST", "SHOULD", "SHALL"![]()
je suis en train de me faire un spider actuellement
est-ce que l'on est obligé de respecter le fichier robots.txt s'il existe ?
il n'y a rien de l'ietf qui dise de le prendre en compte obligatoirement, keywords "MUST", "SHOULD", "SHALL"![]()
Partager