Bonjour,

Jusqu'il y a quelque temps, mon site donnait la possibilité via un moteur de recherche d'afficher la totalité des pages des établissement du site par page de 20 (environ 10 700) cette requête très lourde provoquaient des ralentissement côté serveur et des erreurs 500 dans bien des cas.

J'ai supprimé la possibilité de lancer ce type de requête depuis 1 semaine mais je remarque que les robots de Google continuent de tester ces pages.
Voici des exemples de ce que j'ai trouvé dans mes logs et qui est envoyé par les robots
GET /page/13/?s&category&location&a=true&paged=5
GET /page/41/?s&category&location&a=true&paged=3
GET /page/9/?s&category&location&a=true&paged=541
J'ai lu un certain nombre d'articles sur le sujet qui préconisent de passer par des instructions au niveau du fichier robots.txt MAIS je ne suis pas un expert de ce type de codage et je ne voudrais pas faire n'importe quoi.

Merci d'avance à celui ou celle qui m'apportera son aide
Bonne journée.

Philippe