Discussion :

[Abakai]

Bonjour tout le monde,



J'ai en ce petit moment un petit problème :

Je crée en ce moment un programme qui analyse des pages web. Pour lancer l'analyse sur un site, j'appelle une méthode qui va se charger de tout et me créer mon fichier de réponse. Mais j'aimerais maintenant que mon programme effectue l'analyse de 100 sites web. Je souhaiterais pour celà utiliser les Threads : lancer par exemple 5 threads en même temps, un par analyse de site web, et dès qu'une analyse est terminée, le thread est relancé avec un nouveau site à analyser, et celà jusqu'à 100.

Ma question première est : est-ce que celà est possible ?

Parce qu'en bouclant, je peux créer autant de Threads que je veux, mais ce que je n'arrive pas, c'est de faire "ok, lance 5 threads, et dès qu'un thread a terminé son travail, hop tu relance ."

Merci d'avance pour vos précieuses réponses

[Mose]

Tu peux faire un sixième thread qui est chargé de mettre les autres au travail.
Il boucle sur les 5 thread, et vérifie qu'ils sont bien vivants (IsAlive).
Quand y'en a un qui ne l'est plus, bah il en relance un
Et pour éviter de surcharger ton proc, tu colles un petit Sleep(200) entre tes vérifications.

Je suis clair là ?

[Abakai]

Ouai j'ai compris, je vais essayer. Je te tiens au courant si ça me va
Merci pour ta réponse rapide.

Bon j'ai un peu réussi à faire ce que je voulais a priori en utilisant un thread qui gère les autres.
Maintenant j'ai une petite question qui va surement faire rire tout le monde : imaginons que je veuille plus 100 mais un chiffre quelquonque. Vu qu'on ne peut pas passer d'arguments à un Thread, est ce que "ça se fait" de définir le nombre de sites à analyser dans une variable public static, qui est elle est toujours lisible depuis mon Thread, ou c'est du gros code de porc ?

Merci

[dev01]

Salut .

Alors 2 choses :

La premiere : On peut tout a fait passer un argument à un Thread. Une petite recherche google te donnera la méthode à suivre ou encore mieux une recherche dans l'aide du framework. ça c'est pour du 1.1, en dotnet 2.0 il y a le delegué ParameterizedThreadStart

La deuxieme : A partir du moment ou tu ne fait que lire le nombre de Thread à créer tu peut mettre dans une variable static, ce qu'il absolument éviter c'est de faire des lectures/écritures dessus.

[cinemania]

Bon tout ce que tu veux faire est possible, meme avec 100 threads, tant que t'oublie pas de synchroniser les accès aux ressources partagées.

Maintenant, quand tu écrit tes threads, fait en sortes que ceux si appele un délégué sur le thread principal pour indiquer qu'il vienne de finir, ou mieux, grace à tous les mécanisme de synchronisation qu'il existe, fait en sorte que ton thread principal attende gentillement qu'un des threads meurt. Quand il meurt, il le relance avec un nouveau site. Pour cela tu n'a meme pas besoin de commencer avec des parametres si tu utilise une pile ou file contenant les addresses, avec un lock (ou utiliser explicitement un mutex) pour synchroniser l'accès à cette pile. Ainsi chaque thread prend la premier élément de la pile, et s'occupe du site qu'il vient de recevoir.

Tu meme faire différemment. Plutot que de faire mourrir un thread et de le relancer, fait donc une boucle dans le corps du thread pour qu'il scan cette liste. Si ya pu rien à prendre, il s'arrete. Ensuite ton thread prncipal fait un Join sur chaque thread et dès qu'ils sont tous finis, il se reveille et clos proprement.

Si tu as des problèmes avec les threads tu peux directement me contacter par MP.
Mais bon pour 100 sites, et si tu fait tourner ca sur une bonne machine, 20 threads c'est bon.
tu pourrais meme aller jusqu'a oser mettre les 100, mais bon... là par contre...
en théorie c'est pas cencer ramer ni prendre trop de CPU, mais après cela dépend de l'implantation du corps de tes threads.

[neguib]

Une petite recherche google te donnera la méthode à suivre ou encore mieux une recherche dans l'aide du framework. ça c'est pour du 1.1,

et sans aller si loin
Comment passer un ou plusieurs paramètres à un thread ? Merci abelman et Morpheus

[Abakai]

Alors au final j'ai fait comme çà :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
 
 public void threadLauncher()
        {
            Thread t = new Thread(new ParameterizedThreadStart(ExecuteThread));
            Thread t1 = new Thread(new ParameterizedThreadStart(ExecuteThread));
            Thread t2 = new Thread(new ParameterizedThreadStart(ExecuteThread));
            Thread t3 = new Thread(new ParameterizedThreadStart(ExecuteThread));
            int count = 0;
            while(count!= nUpDownNumber.Value)
            {
                if (!t.IsAlive && count != nUpDownNumber.Value)
                {
                    t = new Thread(new ParameterizedThreadStart(ExecuteThread));
                    t.Start(list[count]);
                    count++;
                }
 
                Thread.Sleep(200);
                if (!t1.IsAlive && count != nUpDownNumber.Value)
                {
                    t1 = new Thread(new ParameterizedThreadStart(ExecuteThread));
                    t1.Start(list[count]);
                    count++;
 
                }
                Thread.Sleep(200);
                if (!t2.IsAlive && count != 100)
                {
                    t2 = new Thread(new ParameterizedThreadStart(ExecuteThread));
                    t2.Start(list[count]);
                    count++;
                }
                Thread.Sleep(200);
                if (!t3.IsAlive && count != 100)
                {
                    t3 = new Thread(new ParameterizedThreadStart(ExecuteThread));
                    t3.Start(list[count]);
                    count++;
                }
                Thread.Sleep(200);
 
            }
            Thread.CurrentThread.Abort();
 
        }

Evidemment ThreadLaucher() est lancé dans un thread. Ca marche pas mal du tout mon petit truc, mais vous trouvez ça dégueulasse ?

Sinon ma méthode ExecuteThread() lance l'analyse de la page web en créant une instance d'un objet, puis en appelant diverses méthodes qui vont alimenter un hashtable pour les informations sur chaque site, et génere un fichier HTML à partir de ce hastable.

Bon le truc c'est que maintenant, je voudrai générer un fichier html qui contiendra en fait des statistiques génerées à partir de chacune des analyses: imaginons que mon programme detecte si il y a des META sur chaque site, je voudrai pouvoir generer une page HTML a la fin de l'analyse qui me dit : 60 /100 sites analysés on des metas.

Je pourrais évidemment mettre un hashtable static global alimenté par mes différents threads mais c'est pas bien du tout, n'est ce pas ?

Alors je si quelqu'un a un excellent lien ou une explication simple de comment partager des variables entre différent threads, je suis preneur.

Merci pour vos réponses, et merci pour le ParameterizedThreadStart

[Mose]

Un solution ton pb de partage de données :
- Tu créé un tableau static de valeurs en parallèle de ton tableau de Thread (même taille).
- A la fin de son traitement, chaque Thread écrit dans SA case du tableau les stats de son traitement.
- Ton ThreadLauncher, quand il voit un thread mort, il récupère les stats et il relance un nouveau thread.

Comme ça tu n'as pas de pb d'écriture concurrente sur un même segment de donnée

[cinemania]

Tu instancie tes threads dans un code static ou normal ?

Si tes threads sont instancés dans une instance de classe A, les threads étant de vulgaire fonctions de l'instance A, ceux ci peuvent utiliser tous les membres de l'instance A.

Pourquoi voulez vous toujours jouer avec des static ? quelle sale manie.
Générallement si on utilise un thread par instance c'est justement parce que le thread en question peut accèder aux membres. Et s'il faut synchroniser les membres publiques de la classe, c'est parce que le thread principal peut vouloir y accèder en meme temps que le thread interne.

Mais dans la mesure ou tous les threads concurrents, sont lancé par la MEME instance, les threads partagent tous les memes ressources, et donc, les static deviennent inutiles.