Bonjour je voudrais programmer ou plutot porter un webcrawler de perl vers C# pour plus de puissance et d'éfficatité parce que voir un programme de 80Ko prendre 800Mo de ram sa fait froid dans le dos ce problème est du au threads qui ne sont pas vraiment au point dans perl.
Je me suis renseigné sur la faisabilité d'un webcrawler complet utilisant C#, mais j'ai quelques questions sans réponde pour l'instant !!
Comment avec le framework implémenté la gestion des cookies lors d'une requête HTTP?
Existe il une classe de gestion des fichiers robots.txt en dans l'un des language .NET ?
Existe il des structure associative en C# parce que j'ai beau cherché je ne trouve pas de renseignement la dessus mon hash en perl ressemble a cela
Si un tel structure n'existe pas je peut passer par une structure Xml
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10 my $data = { url => $res->base, code => $res->content ..... links => { $backlink => 1, ..... } .... }
merci a tous et bon code
Partager