[C#] Comment programmer un web crawler ?

Bonjour je voudrais programmer ou plutot porter un webcrawler de perl vers C# pour plus de puissance et d'éfficatité parce que voir un programme de 80Ko prendre 800Mo de ram sa fait froid dans le dos :aie: ce problème est du au threads qui ne sont pas vraiment au point dans perl.

Je me suis renseigné sur la faisabilité d'un webcrawler complet utilisant C#, mais j'ai quelques questions sans réponde pour l'instant !!


Comment avec le framework implémenté la gestion des cookies lors d'une requête HTTP?

Existe il une classe de gestion des fichiers robots.txt en dans l'un des language .NET ?

Existe il des structure associative en C# parce que j'ai beau cherché je ne trouve pas de renseignement la dessus mon hash en perl ressemble a cela

Code:

---

1 2 3 4 5 6 7 8 9 10

my $data = { url => $res->base, code => $res->content ..... links => { $backlink => 1, ..... } .... }

---

Si un tel structure n'existe pas je peut passer par une structure Xml

merci a tous et bon code 8-)

Citation:

---

Envoyé par siaoly

Existe il des structure associative en C# parce que j'ai beau cherché je ne trouve pas de renseignement la dessus

---

Tu as la classe HashTable ou, si tu utilises le framework 2.0, la classe Dictionary qui est un HashTable typé.

Merci de ton aide StormimOn, j'ai une dernière question mon crawler perl utilise un fichier dbm ( il s'agit une hash lié sur le disque ) qui me permet de sauvegarder mes hash sous forme sérialisé sur le disque ainsi en cas d'arret du robot je ne perd pas de données :lol: :lol: , je voudrais savoir si il existe un équivalent des DBM avec le framework ou si je doit me lancer dans la programmation d'une extesion


http://access.www.webthing.com/software/AnyDBM/

Ca n'existe pas, mais ce n'est pas bien dur à faire : il y a deux propriétés Keys et Values sur la hashtable.