Signal fin de tâche (pour parallélisation)

Version imprimable

Bonjour,

Je ne suis pas du tout un programmeur bash mais plutôt Matlab. Cependant, j'ai un problème avec Matlab au niveau de la parallélisation des calculs (toolbox qui est vraiment catastrophique). Donc je souhaite paralléliser matlab depuis l'extérieur. J'ai écris un petit script (c'est possible que ce soit une horreur, c'est mon premier script).

Ça fonctionne... mais pas trop :aie:
Ce que fais ce programme, je regarde le nombre de coeurs disponibles, ensuite je créer un fichier temporaire que j’exécute (pour faire un simulacre de boucle).
Maintenant mes problèmes :
- je voudrais ajouter quelque chose pour que la boucle avec var1 attende que tout les taches qu'elle a lancée soient terminées (sinon je lance plusieurs matlab sur le même coeur -> pas rentable).
- que le disown fonctionne pour de vrai (ce qui ne semble pas être le cas). Comment appliquer de façon certaine le disown à un pid particulier ? Je veux lancer une tâche en tâche de fond puis disown pour pouvoir me déconnecter de l'ordinateur distant sur lequel je travaille.
- comment être certain que chaque matlab soit bien lancé sur un processeur différent ?
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 #! /bin/bash # # parmat.sh File Nb_iteration # np=$(nproc) echo "nombre de processeurs disponibles : "$np nbf=$(( $2 / $np)) #number of loops on all processors rmd=$(expr $2 % $np) #remainder # Loop for var1 in $(seq 1 $nbf) do lp=$((var1 * $np - $np + 1)) le=$(($lp + $np - 1)) for var in $(seq $lp $le) do echo $var sed s/pl_id/$var/g <$1 >temp_$var.m /applications/matlab/r2013a/bin/matlab -nodesktop -r temp_$var & #rm temp_$var.m disown done #write something for the loop to wait that all matlabs finished their run. done # Remainder if [ "$rmd" -ne "0" ] then lp=$(($nbf * $np + 1)) le=$(($lp + $rmd - 1)) for var in $(seq $lp $le) do echo $var sed s/pl_id/$var/g <$1 >temp_$var.m /usr/local/MATLAB/R2011b/bin/matlab -nodesktop -r temp_$var & #rm temp_$var.m disown done fi
Merci beaucoup !

Bonjour

En ce qui concerne la parallélisation, tu pourrais peut-être te tourner vers parallel, outil présent dans les dépôts. Puis

Code:

man parallel

Citation:

Envoyé par man parallel

EXAMPLE:To convert *.wav to *.mp3 using LAME running one process per CPU core
run:

parallel lame {} -o {.}.mp3 ::: *.wav

Ensuite, l'aide de disown est claire, je crois
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 $ help disown disown: disown [-h] [-ar] [jobspec ...] Retire des tâches du shell courant. Retire chaque argument JOBSPEC de la table des tâches actives. Sans JOBSPEC, le shell utilise sa propre notion de tâche courante. Options : -a retirer toutes lestâches si JOBSPEC n'est pas fourni -h marque chaque JOBSPEC de façon que SIGHUP ne soit pas envoyé à la tâche si le shell reçoit un SIGHUP -r retire seulement les tâches en cours de fonctionnement Code de sortie : Renvoie le code de succès à moins qu'une option ou un JOBSPEC non valable ne soit donné.
Enfin, une tâche qui se termine renvoie un code erreur (0 si réussite). Ceci te permet de gérer la suite, si tu récupères le code retour.

Je ne suis pas sudo sur la machine qui m'intéresse... donc pas de parallel possible.

Un programme qui fonctionne :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
#! /bin/bash
#
# parmat.sh   File   Nb_iteration
#
np=$(nproc)
echo "nombre de processeurs disponibles : "$np
 
nbf=$(( $2 / $np))   #number of loops on all processors
rmd=$(expr $2 % $np) #remainder
 
# Loop
for var1 in $(seq 1 $nbf)
do
   lp=$((var1 * $np - $np + 1))
   le=$(($lp + $np - 1))
   for var in $(seq $lp $le) 
   do
     cpu=$(($var - $lp))
    (
     sed s/pl_id/$var/g <$1 >temp_$var.m
     taskset -c $cpu matlab -nodesktop -r temp_$var
     ) &
   done
sleep 10
echo "Waiting for subshells to finish..."
wait 
done
 
# Remainder
if [ "$rmd" -ne "0" ]
then
   lp=$(($nbf * $np + 1))
   le=$(($lp + $rmd - 1))
   for var in $(seq $lp $le) 
   do
     cpu=$(($var - $lp))
    (
     sed s/pl_id/$var/g <$1 >temp_$var.m
     taskset -c $cpu matlab -nodesktop -r temp_$var
     ) &
   done
sleep 10
echo "Waiting for subshells to finish..."
wait 
fi
 
#Remove temp files
for var in $(seq "1" $2)
   do
   rm temp_$var.m
done

Ensuite j'ai réalisé que le disown peut être directement appliqué au script bash et donc nul besoin de le faire dans chaque boucle à chaque fois que je lance la commande matlab arg

Merci de l'aide !