Version imprimable
Bonjour à tous
Je fais une opération de récupération de page web, je charge plus de 2000 pages web en format txt (ce qui représente 64373 0ctets) dans un délai d'environ 28 minutes, ce qui représente environ 40 octets seconde. je me demande comment améliorer si possible la vitesse de chargement.
Mario
faire des threads
ok, présentement mes adresses web sont dans un fichier txt que je met en tableau pour ensuite les passer dans ma procédure de récupération. Supposons que je planifis 5 threads,
1. est-ce que je dois diviser mon fichier txt en 5 tableaux?
2. ou je dois faire appel à la fonction de queue pour alimenter mes threads si oui un tutos SVP
A noter que dans mon Status strip j'ai un progress bar et un compteur.
merci de votre aide
Mario
le queue(of ) est une collection (les tableaux c'est démodé, il y a plusieurs types de collections)Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35Private _Links As New System.Collections.Generic.Queue(Of String) Private _Verrou As New Object Private Function GetLink() As String SyncLock _Verrou If _Links.Count = 0 Then Return Nothing Return _Links.Dequeue End SyncLock End Function Private Sub StartThreadsDL() For i As Integer = 0 To 10 Dim th As New System.Threading.Thread(AddressOf DL) th.IsBackground = True th.Start() Next End Sub Private Sub DL() While True Dim l As String = GetLink() If l Is Nothing Then Exit Sub 'traitement pour récupérer MonProgressBar.Invoke(New Action(AddressOf MajProgressBar)) End While End Sub Private Sub MajProgressBar() 'faire +1 sur le progressbar End Sub
.enqueue ajoute un élément
.dequeue prend le 1er élément et le retire de la liste
le synclock sert à sécuriser le multithreading, si 2 thread font .dequeue en meme temps ca plante, donc là on s'assure qu'un seul le fera à la fois
donc ici on ne découpe pas le tableau en x partie, mais chaque thread vient chercher un lien quand il en a besoin (car si tu donnes 5 liens à 2 threads, et qu'il y en a un qui a fini avant l'autre tu n'auras plus threads qui travaille)
et quand il n'y a plus de liens, les threads s'arretent
pour les perfs fait des essais avec 2, 5, 10, 20 threads etc... pour voir ce qui est le mieux, même avec un core ca peut etre utile, car le débit des serveur web est aussi en jeu
le progressbar.invoke sert à exécuter la sub précisée après sur le thread du progressbar car on ne peut modifier un control que depuis le thread qui l'a créé
ici c'est de la création de thread standard dira-t-on, il est aussi possible d'utiliser le backgroundworker qui se trouve dans la boite à outils, ca encapsule plusieurs trucs utiles en multithreading
Merci beaucoup Pol63
je travail la dessus à on retour de vacance.