Discussion :

[superjb66]

Bonjour à tous,

Je programme actuellement un script perl sur un linux embarqué. Je suis sur une plateforme ARM. Le script perl que je programme fait appel à une dizaine de modules (pm) que j'ai créer. Le script perl permet de lancer différents traitements sous forme de threads. Je souhaiterai lancer une trentaine de threads. Or étant sur un linux embarqué, je dispose que de 16Mo de mémoire (extensible à 32Mo). Mon script perl de base contient l'ensemble des bibliothèques que j'ai crée (ce qui fait beaucoup de code-> beaucoup de variables et beaucoup de fonctions).Lorsque je lance plus d'une dizaine de threads en parallèle ça plante (out of memory) puisque en perl pour chaque thread lancée, une copie de toutes les variables et données du thread parent doive être faite.
Donc ce que je souhaiterai faire, c'est de réduire la taille de mes threads perls.
Plusieurs questions:
J'utilise use pour exporter les modules: l'espace de nommage de chaque module s'évère grand. Est ce qu'il est pas préférable d'utiliser require pour que les threads ne duplique pas un espace de nommage trop élevé?
Est ce que le fait d'écrire certaines fonctions de mes modules en C me fera gagner de la taille au niveau des threads? si j'écris les fonctions en C, il faudra au final que je l'ai charge avec dynaloader et que j'exporte le nom des fonctions C dans mon programme perl.
J'ai essayé perlcc mais j'ai des problèmes à la compilation et il s'évère instable.
Existe il un autre langage interprété qui utilise de façon propre les threads parce qu'en perl ça ressemble plus à du bidouillage qu'à autre chose.
Existe il des méthodes pour optimiser un code en perl?

Merci par avance
JB

[Jedai]

Première question : Pourquoi utilises-tu les threads ? Etant donné que tu as 16 MO de mémoire vive, j'ai un doute sur le fait que tu ais plusieurs processeurs, donc les threads ne t'apporte aucun avantage de vitesse, as-tu vraiment besoin de faire ces traitements en même temps, utilises-tu des ressources partagés, coordonnes-tu ces threads ?

Autre chose, comment utilises-tu tes modules ? Les utilises-tu tous dans tous les threads ? Y a-t-il des états privés à un module susceptible d'être partagé entre les threads ?
Utilises-tu des objets ?
(utiliser require plutôt que use est une bonne pratique dès lors qu'on manque de place ou de temps de toute façon. Utiliser Autoloader si on n'emploie qu'une partie d'un module est également une bonne idée, les réécrire en XS est toujours un échange de temps de développement contre une vitesse accrue et un encombrement en mémoire diminué, tout dépend en premier lieu de ton expérience avec XS et l'API Perl)

Tu peux aussi aller jeter un coup d'oeil sur le sujet sur l'optimisation, en haut du forum, néanmoins ton problème me semble plus proche d'un problème de conception : je ne pense pas qu'il soit raisonnable d'espérer qu'un langage interprété puisse travailler avec une trentaine de threads sur 16 Mo de RAM (avec une partie déjà occupé par l'OS j'imagine... De quel OS s'agit-il d'ailleurs ?)

--
Jedaï

[superjb66]

Bon alors, je suis obligé de lancer des threads car je dois effectué plusieurs taches en même temps.
Les modules sont inclus dans le .pl de base: en fait j'ai une fonction (définit dans un .pm) qui permet de lancer sous forme de threads, des fonctions définit dans le .pl (ça c'est pour résumer le principe).
Pour l'OS: Je suis sur un linux embarqué 2.6.11 (linux embarqué crée), noyau ARM.

[Jedai]

Qu'est-ce que tu cherches à faire ?

--
Jedaï

[superjb66]

En fait j'ai une fonction qui polle une liste de fifo sous linux. Lorsque je reçois un truc dans une des fifos, j'identifie la fifo et je lance sous forme de thread une fonction qui gère le contenu de la fifo. Chaque fifo à sa propre fonction. à la rigueur le multithread n'est pas indispensable, mais le multitache oui: je vais regarder du côté de POE pt.

[Jedai]

En fait j'ai une fonction qui polle une liste de fifo sous linux. Lorsque je reçois un truc dans une des fifos, j'identifie la fifo et je lance sous forme de thread une fonction qui gère le contenu de la fifo. Chaque fifo à sa propre fonction. à la rigueur le multithread n'est pas indispensable, mais le multitache oui: je vais regarder du côté de POE pt.

Excellente conclusion, j'allais te proposer du POE moi-même. C'est une bien meilleure solution que les threads dans l'état actuel des choses.

--
Jedaï

[superjb66]

salut,

J'ai regarder POE. Bon j'ai réussi à compiler les biblios pour ARM. Par contre, j'aimerai savoir si une fois qu'on a ouvert une session pour gérer les taches à effectuer, il est possible d'en rajouter une de façon dynamique. En fait, je fait un select qui polle une dizaine de fifos. Le select est bloquant et lorsque je reçois qqch dans une fifo, je recherche celle qui a sautée et je lance un traitement. Pour chaque fifo, j'ai un traitement. Bon admettons que j'ouvre une session POE que je mette comme tâches les différents fonctions faisant le traitement. La fifo saute une fois: je lance le multitache (->run). Juste après j'ai la fifo qui saute à nouveau. Comment pourrai je faire pour indiquer à la session EN COURS qu'il y a un nouveau traitement à faire et d'insérer la fonction de traitement dans la liste des taches.
Bon je sais pas si j'ai été trop clair :o)

[Jedai]

Essaie de lire ce tutorial :
http://perl.com/pub/a/2004/07/22/poe.html?page=1
Je pense que ton problème devrait pouvoir être réglé par une petite Wheel.
(NB : la première partie de ce tutorial est là : http://perl.com/pub/a/2004/07/02/poeintro.html mais je ne pense pas que tu en ais besoin)

--
Jedaï