IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Modules Perl Discussion :

Optimiser l'utilisation d'un processeur multi-core


Sujet :

Modules Perl

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Profil pro
    Inscrit en
    Février 2005
    Messages
    85
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2005
    Messages : 85
    Par défaut Optimiser l'utilisation d'un processeur multi-core
    Bonjour,

    Je dispose d'un programme perl tout simple qui filtre un fichier pour générer un fichier csv.

    Exemple simplifié:
    12 56 toto 24
    45 55 toto 67
    =>
    12;56;24
    45;55;67

    Je lance ce script sur plusieurs centaines de fichier.
    J'ai migré mon script sur un machine multi-core, malheuresement le script ne tire pas partie de cette puissance, seulement 3% du CPU, ce qui correspond à 1 core (CPU 32 core).
    Je pourrai lancé le script sur 32 fichiers en même temps en shell, et ainsi de suite mais je préférerai lançer 4 scripts en même temps pour utiliser 25%+25%+25%+25% de CPU, et ainsi de suite.

    je ne voudrait pas partir sur une mauvaise piste en utilisant des modules alors que mon besoin est assez simple.
    J'ai vu deux modules
    -thread
    -Parallel::ForkManager:

    Pourriez-vous me conseiller lequel utiliser et la façon de procéder ou au contraire partir sur une autre piste?
    Faut-il lire 1000 lignes les mettre dans un thread, et ainsi de suite jusqu'a 32?

    Cela me parait un peu complexe à mettre en place et j'ai peur de perdre beaucoup de puissance CPU en échange de données au thread.
    Pour info mes fichiers font entre 5Go et 30Go avec de 30 millions à 500 millions de lignes.

    Merci

  2. #2
    Expert confirmé

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    3 577
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Bas Rhin (Alsace)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Avril 2009
    Messages : 3 577
    Par défaut
    Une autre option, sans modification de ton application perl, serait de traiter ta liste de fichier à l'aide d'un Makefile, et d'utiliser l'option -j de la commande make.

    Il devrait être assez facile d'écrire le Makefile à l'aide de règles gérériques et d'utiliser les fonctions de Makefile pour générer la liste des cibles à mettre à jour directement dans le Makefile.

  3. #3
    Responsable Perl et Outils

    Avatar de djibril
    Homme Profil pro
    Inscrit en
    Avril 2004
    Messages
    19 822
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Avril 2004
    Messages : 19 822
    Par défaut
    Pourquoi ne pas utiliser le module threads. Il est déjà dans le core de Perl.

  4. #4
    Membre confirmé
    Profil pro
    Inscrit en
    Février 2005
    Messages
    85
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2005
    Messages : 85
    Par défaut
    Si j'utilise un Makefile, j'utiliserai toute la puissance CPU donc si je comprend bien?
    J'ai regarder la synthaxe du makefile de php, c'est spécial mais apparament on peut utiliser automake et autoconf pour le générer?

    Concernant le module thread, il va falloir thread(apparament c'est threads avec un t minuscule qu'il faut utiliser) et threads::shared pour partager les infos.
    Donc il faut que j'ajoute un compteur à mon script qui va toutes les 1000 lignes passer un tableau les contenant à un thread, et ainsi de suite jusqu'a 32 et surveiller la fin d'un thread pour lui attribuer 1000 lignes et je continue jusqu'a la fin du fichier.
    Je vais voir cela.
    J'ai vu qu'il y avait des centaines de modules autour de thread...

    Par contre faut-il compiler perl avec le support thread car j'ai ceci (je suis sous solaris 10)? :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    $ perl -V | grep threads
        usethreads=undef use5005threads=undef useithreads=undef usemultiplicity=undef
    Le script suivant me donne ce résultat :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
     $Config{useithreads} or die
          "Recompilez Perl avec les threads activ\351s pour faire tourner ce programme.";
    Recompilez Perl avec les threads activés pour faire tourner ce programme. at 1.pl line 1.

  5. #5
    Expert confirmé

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    3 577
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Bas Rhin (Alsace)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Avril 2009
    Messages : 3 577
    Par défaut
    Citation Envoyé par photorelief Voir le message
    Si j'utilise un Makefile, j'utiliserai toute la puissance CPU donc si je comprend bien?
    Avec l'option -j, tu peux spécifier le nombre de processus parallèle que tu souhaites utiliser. Sur un quadri-core, si tu utilises -j 2, tu devrais n'en utiliser que 2.
    J'ai regarder la synthaxe du makefile de php, c'est spécial mais apparament on peut utiliser automake et autoconf pour le générer?
    Makefile de PHP ???
    Je pensais à un Makefile écrit à la main, très simple du style
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    SRC = $(wildcard *.txt)
    DST = $(patsubst %.txt, %.out, $(SRC))
     
    all: $(DST)
     
    %.out : %.txt
    	perl my_script.pl $< $@
    Dans cet exemple, my_script.pl prend en 1er paramètre un fichier d'entrée à partir duquel il génère un fichier de sortie fourni en 2e paramètre.

    A lancer par exemple avec
    make -j 2

  6. #6
    Membre confirmé
    Profil pro
    Inscrit en
    Février 2005
    Messages
    85
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2005
    Messages : 85
    Par défaut
    Effectivement ta méthode correspond exactement à ce que je veux faire.
    Par compte l'option -j n'hésiste pas sur le make de solaris 10.
    Je vais continuer à chercher, il y a peut être une commande gnumake.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Les processeurs multi-cores pourraient gagner en performances
    Par Katleen Erna dans le forum Hardware
    Réponses: 0
    Dernier message: 01/02/2011, 18h44
  2. Réponses: 268
    Dernier message: 07/11/2007, 11h11
  3. Benchmark sur processeur multi-core
    Par Charlemagne dans le forum C++
    Réponses: 123
    Dernier message: 16/07/2007, 10h51
  4. Réponses: 5
    Dernier message: 14/04/2007, 14h12
  5. [Weblogic][Tuning] Optimiser l'utilisation du processeur
    Par Jacques - 06 dans le forum Weblogic
    Réponses: 5
    Dernier message: 04/07/2006, 15h07

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo