Recherche de Web-pages, interaction, performances

Bonjour et merci à ceux qui pourront me répondre


dans une application vb 2010 j'utilise System.Net.HttpWebRequest pour charger des pages HTML, puis les analyser et ainsi récupérer les données dont j'ai besoin. ce code fonctionne dans des threads pour désynchroniser et paralléliser les traitements, parfait.

Par contre pour un autre site j'utilise un WebBrowser car je dois charger une première page, toujours identique, puis lui apporter les paramétres de la recherche (Document.GetElementById et .InvokeMember) et enfin recevoire la page dont j'ai besoin et extraire les données nécessaires.

WebBrowser est térriblement lent, (recherche + requete à partir du code java prés d' une minute!)

Comment améliorer ce mécanisme pour le rendre plus rapide, ou puis je trouver de la doc car je suis débutant?

Un grand merci pour vos contributions

par défaut le webrequest (et le webbrowser aussi surement) limite à 2 connexions simultannées par domaine, il y a une propriété shared quelque part pour augmenter ce nombre (si tu as plus de 2 threads sur un même domaine actuellement cette propriété limite tes accès)

concernant le webbrower, tu peux faire ce qu'il fait via un webrequest
tu peux mettre un plugin sur ton navigateur pour voir les entetes http, tu vas sur ton site, et tu peux alors reproduire une méthode POST via la httpwebrequest, qui sera plus rapide car il n'y a pas de téléchargements des images et autres

Merci de ton retour,

Concernant les threads,
quatre sont lancés, mais effectivement à un même instant seul deux sont actifs, les deux autres patientent? Je pensais que cette limitation était induite par le serveur! Je fouille

Au sujet de webrequest, je récupére un flux stream qui ne me permet pas d'utiliser Document.GetElementById et InvokeMember("click") car je ne dispose pas d'un Document en retour

Comment faire pour récupérer une réponse sous cette forme??

N'oublies pas, je suis trés débutant!!

Merci, à +

Bonjoir,

Voici ce que j'ai trouvé pour récupérer le document xml:

Code:

---

1 2 3 4 5

Dim document As New System.Xml.XmlDocument()   Demande = WebRequest.Create(url_recherche) Reponse = Demande.GetResponse() document.LoadXml(codeHTML)

---

mais je récupére l'erreur:

Citation:

---

Le serveur distant a retourné une erreur (403) Interdit.

---

Une idée?