Script Auto et gestion de la consommation CPU

Version imprimable

10/07/2008, 14h03
air135

1 pièce(s) jointe(s)

Script Auto et gestion de la consommation CPU

Bonjour à tous,

Je vais essayer d'être le plus clair possible car mon problème est un peu compliqué à expliquer.

J'ai créé un script en Perl qui utilise des threads pour effectuer 4 grosses opérations (par itération).
Il y a 256 itérations donc les 4 opérations sont exécutées 256 fois pour une durée totale d'environ 11h si le script parvient à ses fins (2mn35 par itération).

Le problème c'est qu'au bout d'environ 50 itérations (c'est variable) j'obtiens
une erreur de ce type : "Free to wrong pool 15d59a8 not 280afec8 at C:/Perl/lib/XSLoader.pm line -1"

Je suppose que cela est du à une consommation excessive de la mémoire CPU ce qui engendre des erreurs mais je n'en suis pas sur. En fait j'ai des pics de consommation CPU comme le montre l'image en pièce-jointe.

J'ai essayé d'utiliser les sémaphores mais sans grand succès.
Donc savez-vous d'où vient mon erreur et si oui comment faire pour régler ce problème.

P.S: Est-ce que je gère bien mes threads, je fais des join mais est-ce que cela suffit pour réellement bien les nettoyer ??

Merci d'avance.
10/07/2008, 14h47
djibril

sans scripts, ça va être difficile aux forumeurs de t'aider :mrgreen:
10/07/2008, 14h59
CKLN00

Citation:

Envoyé par djibril

sans scripts, ça va être difficile aux forumeurs de t'aider :mrgreen:

Bha ? et ta boule de cristal tu l'as mise aux oubliette :p djibril ?

Voilà du code

Mon problème n'est pas assez clair peut-être. Je ne veux pas vraiment de solution je veux savoir si quelqu'un sait d'où vient mon problème et comment pourrais-je y remédier.

Je veux bien mettre une partie du code mais je sais pas si ce sera très utile.
J'ai créé 4 packages (même 5) plus un fichier *.pl pour lier le tout et je dois avoir en tout 800 lignes de code.
Donc je veux bien mettre un extrait du cœur du code ou sont appelés les threads mais je ne sais pas si ça donnera des indications sur le type de mon erreur.

Je vous mets le code, j'ai quelque peu modifié le code que j'utilise ( par exemple les noms des 4 threads pour garder privé ce que je fais).
J'ai ajouté récemment les sémaphores mais je ne sais pas si je les utilise correctement, de même pour les threads je ne sais pas si je m'en sers comme il faut.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
 
 
use threads;
use Thread::Semaphore;
use pplus;
use wouhou;
use ripou;
use cloclo;
 
 
 
package all_tests;
 
 
my $nombre_de_jobs_en_parallele = 1;
 
my $semaphore = Thread::Semaphore->new($nombre_de_jobs_en_parallele);
 
 
 
################
###Procédures###
################
 
 
 
##Procédures éxécutant les Threads des 4 tests et qui renvoie les informations nécessaires
#
sub exec_threads
{
	 ($class, %cnf) = @_;
	 $add_deb =delete $cnf{add_deb};	
	 $add_fin =delete $cnf{add_fin};	
 
 
###############
##Les Threads##
###############
 
my $thr_ripou = threads->new (\&ripou);
my $thr_wouhou = threads->new (\&wouhou);
my $thr_pplus = threads->new (\&pplus);
my $thr_cloclo = threads->new (\&cloclo);
$semaphore->down();
 
 
#########
#Reponses des Threads
#########
 
###
#Ripou ok ;)
###
@rep_ripou=split("¤",$thr_ripou->join); #on récupére le thread ripou (tableau->plusieurs elements)
 
###
#Wouhou ok ;)
###
@rep_wouhou=split("¤",$thr_wouhou->join); #on récupère le thread wouhou 
while(1) #tant que le thread wouhou renvoie une erreur
{
	if ($rep_wouhou[0]=~/probleme/) #si wouhou renvoi un probleme
	{
		#print "pb\n";
		select(undef, undef, undef,5); #on temporise 5 secondes
		$semaphore->up();
		$thr_wouhou = threads->new (\&wouhou);#on recréé un thread wouhou
		$semaphore->down();
		@rep_wouhou=split("¤",$thr_wouhou->join);#on récupère la réponse du nouveau thread
	}
	else #sinon on quitte la boucle
	{
		last;
	}
}
 
 
###
#Pplus ok ;)
###
@rep_pplus=split("¤",$thr_pplus->join); # on récupère le thread pplus
 
 
###
#Cloclo ok ;)
###
@rep_cloclo=split("¤",$thr_cloclo->join); #on récupére le thread cloclo (tableau->plusieurs elements)
 
 threads->yield(); #pour etre sur que les threads rendent la main
 threads->yield();
 threads->yield();
 threads->yield();
 
 
$semaphore->up();
 
return .....
 
}

14/07/2008, 22h49
Jedai

Tu as 4 threads, communiquent-ils comme des petits fous ? En tout cas tu n'as pas l'air d'utiliser ton CPU à plein, as-tu vraiment besoin de ces threads, penses-tu vraiment qu'ils améliore tes performances, as-tu plusieurs core ?

Je te dis ça parce que le Free to Wrong Pool est typique d'un problème de thread, aléatoire en général et impossible à débuguer, les threads en Perl ne sont pas une solution très stable (surtout sous Windows, est-ce ton cas ?) et rarement recommandée, ne pourrais-tu pas soit t'en passer soit utiliser plutôt des processus ?

--
Jedaï
15/07/2008, 10h02
air135

C'est vrai Jedai que je devrai me passer de ces threads mais le problème c'est qu'à la place de 2mn30 par itération je passe à environ 4 mn ce qui après me donne environ 17h au lieu de 11h.
Mes threads ne communiquent pas entre eux, je les ai vraiment utiliser pour travailler en parallèle et gagner du temps. Et effectivement les erreurs sont complètement aléatoires.
Si c'est possible d'utiliser des processus, oui ça peut être une bonne idée mais en fait je ne sais pas ce que tu entends par processus, c'est la fonction fork () ou exec () peut-être ??
Je vais me former un peu en attendant une réponse.

Et merci pour les indications.

P.S : Je suis bien sur du WIndows NT (et je n'ai qu'un seul core, un vieux P4 même)
16/07/2008, 09h09
air135

Problème résolu

Je n'ai pas réussi à me servir des threads ou à créer des processus (pas réussi à lancer des méthodes mais juste des commandes externes, j'ai essayé system(), open() et exec() ) pour palier mon problème.
Mais suite à la confirmation que mon problème était aléatoire j'ai abandonné finalement le parallélisme et j'ai laissé tourné le script en faisant un simple appel aux méthodes en série. Au final il ne met que 14h10 pour s'exécuter donc ce qui suffit de 18h à 9h.
Soit tout cela n'est pas optimal mais cela fonctionne et c'est bien là le principal.
Merci à ceux qui ont participé à cette discussion.
:yaisse2: