Lecture de Flux directement depuis un StreamReader

Version imprimable

Bonjour,

J'ai un souci lors de l'utilisation de l'objet StreamReader durant le téléchargement du contenu HTML d'une page Web,

En fait le code en bas ne s’exécute correctement que si je temporise l’exécution du programme, Que ce soit par la ligne commentée ou via un MsgBox dans la boucle qui nécessite un click humain donc du temps,

J'ai comme l’impression que lors d'une boucle rapide, Le téléchargement de la page n'est pas complet et je me trouve avec des donnée du milieu de la page, Contrairement après une temporisation je reçoit le dernier de la page qui inclut la balise de fin de la page web à savoir </html>
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 Public Class Form1 Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click Dim objWebRequest As System.Net.WebRequest = System.Net.HttpWebRequest.Create("http://www.SiteQuelconque.net") Dim objWebResponse As System.Net.WebResponse = objWebRequest.GetResponse() Dim objStreamReader As New System.IO.StreamReader(objWebResponse.GetResponseStream()) Dim c(1024) As Char Do While objStreamReader.Peek() >= 0 objStreamReader.Read(c, 0, c.Length) 'System.Threading.Thread.Sleep(1000) Loop MsgBox(c) objStreamReader.Close() objWebResponse.Close() End Sub End Class
Mon besoin été d'éviter les méthodes "ReadLine" et "ReadToEnd" qui prennent énormément de temps d’exécution surtout avec les pages long,

Merci de m'expliquer ce constat SVP ?

16/07/2012, 10h56
tomlev

Bah c'est normal, tu lis les données en boucle par blocs de 1024 octets, donc à chaque passage les données lues précédemment sont écrasées dans ton tableau, et à la fin il ne reste que les données qui sont tout à la fin.

Citation:

Mon besoin été d'éviter les méthodes "ReadLine" et "ReadToEnd" qui prennent énormément de temps d’exécution surtout avec les pages long,

C'est pas plus long que de lire tout le flux dans une boucle comme tu fais... Si tu veux récupérer le document complet, ReadToEnd est clairement la meilleure solution
16/07/2012, 15h48
compte

Bonjour,

Merci de votre retour,

Effectivement j’écrase les donnée, Mais le problème c'est que je ne trouve pas les données relatives au pied de la page à savoir le </html>, (Qui m’intéresse),

Je pense que je vais utiliser ReadToEnd pour le moment, Mais l’exécution de cette boucle "Read" est vraiment très rapide par rapport à "ReadToEnd", Mais mon souci c'est que je récupère pas tout le flux,

Mon besoin c'était de boucler tout le flux pour arriver à la fin qui m'interesse, J'ai opté cette solution parce que je n'ai pas réussi à se possitionner dans le Flux, J'arrive pas à utiliser les méthodes BaseStream (Seek, Peek, ...)!

Quelque chose d'étrange ce passe... Si quelqu'un peut tester vite fait ce code il pourra l’apercevoir,

Merci encore,
16/07/2012, 15h54
tomlev

Citation:

Envoyé par compte

l’exécution de cette boucle "Read" est vraiment très rapide par rapport à "ReadToEnd"

Euh, t'es sûr ? Je vois pas trop pourquoi ce serait plus rapide, vu que dans les deux cas tu lis tout le flux. Le seul overhead de ReadToEnd, c'est qu'il doit allouer de la mémoire pour une chaine de plus en plus grande, mais en comparaison du temps de transfert des données sur le réseau, c'est assez négligeable.

Citation:

Envoyé par compte

Mon besoin c'était de boucler tout le flux pour arriver à la fin qui m'interesse, J'ai opté cette solution parce que je n'ai pas réussi à se possitionner dans le Flux, J'arrive pas à utiliser les méthodes BaseStream (Seek, Peek, ...)!

Normal, le ResponseStream d'une requête HTTP n'est pas "seekable" (ce qui est assez logique : tu ne peux pas te déplacer vers la fin du flux alors que tu n'as pas encore téléchargé les données jusqu'à la fin)

Bonjour,

Merci infiniment pour vos retours, C'est noté,

Pour vous confirmez la durée d’exécution, Je viens de refaire le test ci-dessous, Une Form avec 2 Buttons, La requête avec Read s’exécute dans 538 ms, Tandis que celle avec ReadToEnd dure 11344 ms,

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
 
    Private Sub Button2_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button2.Click
        Dim objWebRequest As System.Net.WebRequest = System.Net.HttpWebRequest.Create("http://www.SiteQuelconque.com")
        Dim objWebResponse As System.Net.WebResponse = objWebRequest.GetResponse()
        Dim objStreamReader As New System.IO.StreamReader(objWebResponse.GetResponseStream())
        Dim c(1024) As Char
        Dim monSWtest1 As New Stopwatch
        monSWtest1.Start()
        objStreamReader.ReadToEnd()
        monSWtest1.Stop()
        MsgBox(monSWtest1.ElapsedMilliseconds.ToString & " milliseconde(s)")
        objStreamReader.Close()
        objWebResponse.Close()
        Me.Close()
    End Sub
    Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
        Dim objWebRequest As System.Net.WebRequest = System.Net.HttpWebRequest.Create("http://www.SiteQuelconque.com")
        Dim objWebResponse As System.Net.WebResponse = objWebRequest.GetResponse()
        Dim objStreamReader As New System.IO.StreamReader(objWebResponse.GetResponseStream())
        Dim c(1024) As Char
        Dim monSWtest1 As New Stopwatch
        monSWtest1.Start()
        Do While objStreamReader.Peek() >= 0
            objStreamReader.Read(c, 0, c.Length)
        Loop
        monSWtest1.Stop()
        MsgBox(monSWtest1.ElapsedMilliseconds.ToString & " milliseconde(s)")
        objStreamReader.Close()
        objWebResponse.Close()
        Me.Close()
    End Sub

18/07/2012, 14h24
tomlev

OK, je viens de faire le test avec cette page. Ton code avec la boucle est effectivement beaucoup plus rapide, mais il ne fait pas du tout la même chose... il ne lit que 955 caractères, alors que ReadToEnd lit tout (296790 caractères quand j'ai testé)

C'est parce que ta condition pour le While n'est pas bonne : le fait que Peek() renvoie 0 ne veut pas dire que tu es à la fin du flux, ça veut seulement dire qu'il n'y a plus de données à lire pour l'instant (mais il peut y en avoir qui ne sont pas encore arrivées). Il faut tester la propriété EndOfStream pour savoir si tu es au bout.
18/07/2012, 17h51
compte

Bonjour,

Ah OK, Enfin une explication logique, Merci infiniment, :ccool:

Je viens de refaire les tests, Les durée sont à peu prêt semblables,