Discussion :

[compte]

Bonjour,

J'ai un souci lors de l'utilisation de l'objet StreamReader durant le téléchargement du contenu HTML d'une page Web,

En fait le code en bas ne s’exécute correctement que si je temporise l’exécution du programme, Que ce soit par la ligne commentée ou via un MsgBox dans la boucle qui nécessite un click humain donc du temps,

J'ai comme l’impression que lors d'une boucle rapide, Le téléchargement de la page n'est pas complet et je me trouve avec des donnée du milieu de la page, Contrairement après une temporisation je reçoit le dernier de la page qui inclut la balise de fin de la page web à savoir </html>

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
Public Class Form1
 
    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
 
        Dim objWebRequest As System.Net.WebRequest = System.Net.HttpWebRequest.Create("http://www.SiteQuelconque.net")
 
        Dim objWebResponse As System.Net.WebResponse = objWebRequest.GetResponse()
 
        Dim objStreamReader As New System.IO.StreamReader(objWebResponse.GetResponseStream())
 
        Dim c(1024) As Char
 
        Do While objStreamReader.Peek() >= 0
 
            objStreamReader.Read(c, 0, c.Length)
 
            'System.Threading.Thread.Sleep(1000)
 
        Loop
 
        MsgBox(c)
 
        objStreamReader.Close()
        objWebResponse.Close()
 
    End Sub
 
End Class

Mon besoin été d'éviter les méthodes "ReadLine" et "ReadToEnd" qui prennent énormément de temps d’exécution surtout avec les pages long,

Merci de m'expliquer ce constat SVP ?

[tomlev]

Bah c'est normal, tu lis les données en boucle par blocs de 1024 octets, donc à chaque passage les données lues précédemment sont écrasées dans ton tableau, et à la fin il ne reste que les données qui sont tout à la fin.

Mon besoin été d'éviter les méthodes "ReadLine" et "ReadToEnd" qui prennent énormément de temps d’exécution surtout avec les pages long,

C'est pas plus long que de lire tout le flux dans une boucle comme tu fais... Si tu veux récupérer le document complet, ReadToEnd est clairement la meilleure solution

[compte]

Bonjour,

Merci de votre retour,

Effectivement j’écrase les donnée, Mais le problème c'est que je ne trouve pas les données relatives au pied de la page à savoir le </html>, (Qui m’intéresse),

Je pense que je vais utiliser ReadToEnd pour le moment, Mais l’exécution de cette boucle "Read" est vraiment très rapide par rapport à "ReadToEnd", Mais mon souci c'est que je récupère pas tout le flux,

Mon besoin c'était de boucler tout le flux pour arriver à la fin qui m'interesse, J'ai opté cette solution parce que je n'ai pas réussi à se possitionner dans le Flux, J'arrive pas à utiliser les méthodes BaseStream (Seek, Peek, ...)!

Quelque chose d'étrange ce passe... Si quelqu'un peut tester vite fait ce code il pourra l’apercevoir,

Merci encore,

[tomlev]

l’exécution de cette boucle "Read" est vraiment très rapide par rapport à "ReadToEnd"

Euh, t'es sûr ? Je vois pas trop pourquoi ce serait plus rapide, vu que dans les deux cas tu lis tout le flux. Le seul overhead de ReadToEnd, c'est qu'il doit allouer de la mémoire pour une chaine de plus en plus grande, mais en comparaison du temps de transfert des données sur le réseau, c'est assez négligeable.

Mon besoin c'était de boucler tout le flux pour arriver à la fin qui m'interesse, J'ai opté cette solution parce que je n'ai pas réussi à se possitionner dans le Flux, J'arrive pas à utiliser les méthodes BaseStream (Seek, Peek, ...)!

Normal, le ResponseStream d'une requête HTTP n'est pas "seekable" (ce qui est assez logique : tu ne peux pas te déplacer vers la fin du flux alors que tu n'as pas encore téléchargé les données jusqu'à la fin)

[compte]

Bonjour,

Merci infiniment pour vos retours, C'est noté,

Pour vous confirmez la durée d’exécution, Je viens de refaire le test ci-dessous, Une Form avec 2 Buttons, La requête avec Read s’exécute dans 538 ms, Tandis que celle avec ReadToEnd dure 11344 ms,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
 
    Private Sub Button2_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button2.Click
        Dim objWebRequest As System.Net.WebRequest = System.Net.HttpWebRequest.Create("http://www.SiteQuelconque.com")
        Dim objWebResponse As System.Net.WebResponse = objWebRequest.GetResponse()
        Dim objStreamReader As New System.IO.StreamReader(objWebResponse.GetResponseStream())
        Dim c(1024) As Char
        Dim monSWtest1 As New Stopwatch
        monSWtest1.Start()
        objStreamReader.ReadToEnd()
        monSWtest1.Stop()
        MsgBox(monSWtest1.ElapsedMilliseconds.ToString & " milliseconde(s)")
        objStreamReader.Close()
        objWebResponse.Close()
        Me.Close()
    End Sub
    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
        Dim objWebRequest As System.Net.WebRequest = System.Net.HttpWebRequest.Create("http://www.SiteQuelconque.com")
        Dim objWebResponse As System.Net.WebResponse = objWebRequest.GetResponse()
        Dim objStreamReader As New System.IO.StreamReader(objWebResponse.GetResponseStream())
        Dim c(1024) As Char
        Dim monSWtest1 As New Stopwatch
        monSWtest1.Start()
        Do While objStreamReader.Peek() >= 0
            objStreamReader.Read(c, 0, c.Length)
        Loop
        monSWtest1.Stop()
        MsgBox(monSWtest1.ElapsedMilliseconds.ToString & " milliseconde(s)")
        objStreamReader.Close()
        objWebResponse.Close()
        Me.Close()
    End Sub