Bonjour
Je rentre directement au vif du sujet, je suis entrains de bosser sur un projet web en c++ !!!
j'ai beaucoup de problèmes avec tous ce qui est Regex
je dois parser le fichier robots.txt
dans se fichier
on peut avoir 4 types de règles :
(Les faciles a parser)
User-agent : * | Googlebot ... etc
Sitemap:
http://... | sitemap.xml ....
(Les difficiles a parser)
Allow : et Disallow :
ils peuvent contenir des liens (relatives ou absolues) ou même des Regex !!! et c'est ça mon problème
quelque exemples :
Disallow: /*.gif$
Allow: /*?$
des idées pour parser ça ?
Merci d'avance
Partager