Discussion :

[photorelief]

Bonjour,

Je dispose d'un programme perl tout simple qui filtre un fichier pour générer un fichier csv.

Exemple simplifié:
12 56 toto 24
45 55 toto 67
=>
12;56;24
45;55;67

Je lance ce script sur plusieurs centaines de fichier.
J'ai migré mon script sur un machine multi-core, malheuresement le script ne tire pas partie de cette puissance, seulement 3% du CPU, ce qui correspond à 1 core (CPU 32 core).
Je pourrai lancé le script sur 32 fichiers en même temps en shell, et ainsi de suite mais je préférerai lançer 4 scripts en même temps pour utiliser 25%+25%+25%+25% de CPU, et ainsi de suite.

je ne voudrait pas partir sur une mauvaise piste en utilisant des modules alors que mon besoin est assez simple.
J'ai vu deux modules
-thread
-Parallel::ForkManager:

Pourriez-vous me conseiller lequel utiliser et la façon de procéder ou au contraire partir sur une autre piste?
Faut-il lire 1000 lignes les mettre dans un thread, et ainsi de suite jusqu'a 32?

Cela me parait un peu complexe à mettre en place et j'ai peur de perdre beaucoup de puissance CPU en échange de données au thread.
Pour info mes fichiers font entre 5Go et 30Go avec de 30 millions à 500 millions de lignes.

Merci

[Philou67430]

Une autre option, sans modification de ton application perl, serait de traiter ta liste de fichier à l'aide d'un Makefile, et d'utiliser l'option -j de la commande make.

Il devrait être assez facile d'écrire le Makefile à l'aide de règles gérériques et d'utiliser les fonctions de Makefile pour générer la liste des cibles à mettre à jour directement dans le Makefile.

[djibril]

Pourquoi ne pas utiliser le module threads. Il est déjà dans le core de Perl.

[photorelief]

Si j'utilise un Makefile, j'utiliserai toute la puissance CPU donc si je comprend bien?
J'ai regarder la synthaxe du makefile de php, c'est spécial mais apparament on peut utiliser automake et autoconf pour le générer?

Concernant le module thread, il va falloir thread(apparament c'est threads avec un t minuscule qu'il faut utiliser) et threads::shared pour partager les infos.
Donc il faut que j'ajoute un compteur à mon script qui va toutes les 1000 lignes passer un tableau les contenant à un thread, et ainsi de suite jusqu'a 32 et surveiller la fin d'un thread pour lui attribuer 1000 lignes et je continue jusqu'a la fin du fichier.
Je vais voir cela.
J'ai vu qu'il y avait des centaines de modules autour de thread...

Par contre faut-il compiler perl avec le support thread car j'ai ceci (je suis sous solaris 10)? :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ perl -V | grep threads
    usethreads=undef use5005threads=undef useithreads=undef usemultiplicity=undef

Le script suivant me donne ce résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 $Config{useithreads} or die
      "Recompilez Perl avec les threads activ\351s pour faire tourner ce programme.";

Recompilez Perl avec les threads activés pour faire tourner ce programme. at 1.pl line 1.

[Philou67430]

Si j'utilise un Makefile, j'utiliserai toute la puissance CPU donc si je comprend bien?

Avec l'option -j, tu peux spécifier le nombre de processus parallèle que tu souhaites utiliser. Sur un quadri-core, si tu utilises -j 2, tu devrais n'en utiliser que 2.

J'ai regarder la synthaxe du makefile de php, c'est spécial mais apparament on peut utiliser automake et autoconf pour le générer?

Makefile de PHP ???
Je pensais à un Makefile écrit à la main, très simple du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
SRC = $(wildcard *.txt)
DST = $(patsubst %.txt, %.out, $(SRC))
 
all: $(DST)
 
%.out : %.txt
	perl my_script.pl $< $@

Dans cet exemple, my_script.pl prend en 1er paramètre un fichier d'entrée à partir duquel il génère un fichier de sortie fourni en 2e paramètre.

A lancer par exemple avec
make -j 2

[photorelief]

Effectivement ta méthode correspond exactement à ce que je veux faire.
Par compte l'option -j n'hésiste pas sur le make de solaris 10.
Je vais continuer à chercher, il y a peut être une commande gnumake.