Discussion :

[paS_Tek]

Bonjour,

Je suis élève ingénieur actuellement en stage et dans le cadre de mon projet je dois traiter de larges quantités de données.
Mon maitre de stage m'a tout de suite conseillé de travailler avec des MEX pour gagner en temps de calcul mais après deux semaines d'optimisations, j'en suis à effectuer un traitement de 5h sur un fichier de données d'une minute alors que je dois pouvoir traiter 50 minutes d'un coup en un temps raisonnable pour pouvoir avancer dans mon travail.
J'ai essayé d'avoir une gestion intelligente de la mémoire et ait essayé d’appeler des fonctions optimisées comme le quicksort dans mes algorithmes mais je commence à avoir du mal à gagner en temps de calcul.
Cela étant dit, je dispose d'un dual core, d'un GPU et de 32go de RAM.
N'utilisant que 12% du CPU en moyenne lors de mon traitement, je pense pouvoir gagner en temps de calcul en parallélisant mes algorithmes mais cela voudrait dire que je dois repenser mes algorithmes qui ne sont pour l'instant pas vraiment intéressants à paralléliser. D'autant que je ne sais pas vraiment vers quelles librairies me tourner, n'ayant jamais fait l'exercice.
Il me reste également la possibilité d'utiliser le GPU, mais je crois savoir que c'est encore plus délicat que le multithreads avec les MEX...

Qu'en pensez-vous ?

Merci par avance,

Pastek

[Jerome Briot]

N'utilisant que 12% du CPU en moyenne lors de mon traitement, je pense pouvoir gagner en temps de calcul en parallélisant mes algorithmes mais cela voudrait dire que je dois repenser mes algorithmes qui ne sont pour l'instant pas vraiment intéressants à paralléliser. D'autant que je ne sais pas vraiment vers quelles librairies me tourner, n'ayant jamais fait l'exercice.
Il me reste également la possibilité d'utiliser le GPU, mais je crois savoir que c'est encore plus délicat que le multithreads avec les MEX...

La programmation parallèle n'a rien de magique. Il ne suffit pas d'ajouter quelques commandes. Il faut identifier les zones du code qui consomment du temps de calcul (avec le profiler de MATLAB) et parfois/souvent en repenser l’algorithme depuis le début (comme tu semble l'avoir compris).

Le choix de l'implémentation dépend également du matériel disponible (processeurs multicœurs, cluster, GPU NVIDIA/AMD…). Avec MATLAB, il y a aussi la possibilité d'utiliser la Parrallel Computing Toolbox. MAis encore une fois, rien de magique. Il faut tester et évaluer au cas par cas (ou par famille de problème).

Tu mentionnes que ton code traite un fichier. N'est-ce pas (en partie) un problème de temps d'accès en lecture/écriture ?

[ol9245]

Ton problème, c'est ces 12%. Si ton code était optimisé, tu serais à 50% (1 des deux coeurs serait à fond). Tu peux donc tripler ta vitesse de calcul rien qu'en réglant tes problèmes d'E/S.
Ta première étape est donc de gagner ce facteur 3.
La deuxième étape serait de vérifier si tu as fait les bons choix fondamentaux à la base de ton projet. Un vélo, même optimisé, reste un vélo.
Je ne mettrais le multithreading qu'en dernière intention dans ta course à la performance. C'est du boulot, et tu ne peux pas en espérer plus qu'un gain entre +50% et +80% si tu n'as que deux coeurs sous le capot.