Discussion :

[thomMonteillet]

Bonjour tous,

j'ai un code C++ qui est très bien mais qui prend beaucoup de temps,
j'aimerai savoir où il passe du temps es ce que ceci est possible ?
(je suis débutant)

Sinon, avez vous quelques conseille pour gagner du temps de calcul informatiquement parlant ?

1) par exemple je fais toujours des boucles "for i=1..." et une fois quelqu'un m'a dit d''utiliser "BOOST" or je ne l'ai jamais fait car je ne sais pas comment ça marche... es ce vraiment utile ?

2) Dans mon programme j'écris aussi pas mal de fichier texte, es ce qu'il y a une astuce là aussi pour gagner du temps ?
Moi en général à chaque itération de mon programme j'ouvre un fichier, j'écris dedans et je le referme. Peux etre que je devrais l'ouvrir et ne le refermer qu'à la fin de tout les calculs ?

3) j'ai entendu parlé de parallélisation mais ça me sembe un peu compliqué, auriez vous des conseils pour débuter dans ce domaine ? que faut il utiliser ? j'ai cru comprendre que MPI c'etait tres bien ???

merci grandement pour l'aide que vous pourrez m'apporter !

[Joker-eph]

Bonjour tous,

j'ai un code C++ qui est très bien mais qui prend beaucoup de temps,
j'aimerai savoir où il passe du temps es ce que ceci est possible ?
(je suis débutant)

Oui, on appelle ça du profiling. Voir gprof, cachegrind, intel Vtune (payant) par exemple.

1) par exemple je fais toujours des boucles "for i=1..." et une fois quelqu'un m'a dit d''utiliser "BOOST" or je ne l'ai jamais fait car je ne sais pas comment ça marche... es ce vraiment utile ?

Boost n'a rien à voir avec le fait de faire des boucles sur des entiers. Ce serait long d'expliquer ce qu'est Boost, comment par lire la page wikipedia ou la doc de Boost.

2) Dans mon programme j'écris aussi pas mal de fichier texte, es ce qu'il y a une astuce là aussi pour gagner du temps ?
Moi en général à chaque itération de mon programme j'ouvre un fichier, j'écris dedans et je le referme. Peux etre que je devrais l'ouvrir et ne le refermer qu'à la fin de tout les calculs ?

Oui il faut éviter d'ouvrir/fermer, mais également éviter d'écrire autant que possible. Si tu n'a pas grand chose à écrire, peut-être que tu peux tout garder en mémoire pendant plusieurs itérations et écrire de temps en temps seulement.

3) j'ai entendu parlé de parallélisation mais ça me sembe un peu compliqué, auriez vous des conseils pour débuter dans ce domaine ? que faut il utiliser ? j'ai cru comprendre que MPI c'etait tres bien ???

Il y a tellement de choses à faire avant de paralléliser, c'est vraiment la dernière chose que tu veux faire !
MPI est utilisé pour distribuer les données, en général sur un cluster de plusieurs machines. Pour exploiter un processeur multi-coeurs, on peut faire de l'OpenMP par exemple, ou du TBB, etc.
Ne pas oublier la vectorisation également...

[thomMonteillet]

merci énormement de prendre le temps de m'aider!!!

Oui, on appelle ça du profiling. Voir gprof, cachegrind, intel Vtune (payant) par exemple.

OK, je vais regarder. Es ce facile à utiliser pour un débutant ? es ce qu'il y a des choses qui sont dépendante de l'IDE ? moi j'utilise souvent Qt ou codeBlock...

Boost n'a rien à voir avec le fait de faire des boucles sur des entiers. Ce serait long d'expliquer ce qu'est Boost, comment par lire la page wikipedia ou la doc de Boost.

ah ok, j'avais cru comprendre que dans boost il y a des trucs qui s'appel "itérateurs" et que soit disant ça ferait gagner pas mal de temps si on met ceci dans toutes les boucles....

Oui il faut éviter d'ouvrir/fermer, mais également éviter d'écrire autant que possible. Si tu n'a pas grand chose à écrire, peut-être que tu peux tout garder en mémoire pendant plusieurs itérations et écrire de temps en temps seulement.

ah oui c'est une bonne idée !

Il y a tellement de choses à faire avant de paralléliser, c'est vraiment la dernière chose que tu veux faire !
MPI est utilisé pour distribuer les données, en général sur un cluster de plusieurs machines. Pour exploiter un processeur multi-coeurs, on peut faire de l'OpenMP par exemple, ou du TBB, etc.
Ne pas oublier la vectorisation également...

- en fait j'ai parlé de ceci car j'ai des taches qui se font totalement indépemment l'une de l'autre.
- du coup je me suis dis vu que mes taches sont compléments découplées si je pouvais les lancer sur trois PC mon programme irait 3fois plus vite ?

au fait qu'appel tu vectorisation ?

[gbdivers]

Oublie tes points 1, 2 et 3 et concentre toi sur le profiling pour commencer. C'est ça qui va t'indiquer les améliorations à apporter, toutes autres amélioration "a priori" risque d'être une perte de temps car non adapté à ton programme

vectorisation : utilisation des instructions de calcul parallèle CPU (SSE)

[thomMonteillet]

d'accord, merci.

Profiler:
quel est le profiler que vous me conseillerez ? avez vous un tuto qui explique comment s'en servir ?

Parallélisation:
par contre je suis certain que la parallélisation va me faire gagner du temps car voici comment mon code fonctionne :

- j'ai un objet "A" à qui on fourni à travers la méthode "input" un vecteur
- en sortie cet objet "A" à travers la méthode "output" me donne une matrice "B"
- et je peux avoir environ 80000 objets "A" différents. ce que je fais pour le moment c'est une boucle: pour le premier objet je fais le calcul, une fois fini je fais le calcul avec le 2eme objet, une fois fini avec le troisième...etc
- si je fais les choses en parallèle il est clair que je vais gagner du temps vu que mes objets sont totalement indépendants

[koala01]

Salut,

On peut déjà te donner quelques astuces cependant:

Essayes de passer tous les arguments qui ne sont pas des type primitifs par référence (éventuellement constante si la fonction qui les prend ne doit pas les modifier) et non par valeur: cela t'évitera bien des copies inutiles, et t'apportera sans doute un gain énorme tant en terme de temps d'exécution qu'en terme d'utilisation de mémoire.

Essayes de limiter au maximum les accès en lecture ou en écriture à des fichiers: les disques durs ont, vraiment, des performances catastrophiques comparé à la RAM, sans oublier qu'il faut fatalement un certain temps pour accéder aux endroits où se trouvent les fichiers sur le disque dur (déplacement des tête de lecture, fin du tour pour accéder à l'endroit exact, etc)

Vérifie tes algorithmes, il est souvent "facile" de gagner en performances en évitant d'entrer dans une boucle ou en faisant les choses "dans le bon ordre" (mais le profiling te dira surement où il est intéressant de revoir l'algorithme ) et quand tu crois avoir fini, revérifie les

Pour ce qui est du profiling, cela dépend énormément des outils que tu utilises:

La chaine de compilation Gcc vient, par exemple, avec un programme nommé gprof qui sert souvent de base au profiling, alors que certains outils sont prévus pour fonctionner avec Visual Studio et d'autres encore avec d'autres chaine d'outils

[Joker-eph]

- j'ai un objet "A" à qui on fourni à travers la méthode "input" un vecteur
- en sortie cet objet "A" à travers la méthode "output" me donne une matrice "B"
- et je peux avoir environ 80000 objets "A" différents. ce que je fais pour le moment c'est une boucle: pour le premier objet je fais le calcul, une fois fini je fais le calcul avec le 2eme objet, une fois fini avec le troisième...etc
- si je fais les choses en parallèle il est clair que je vais gagner du temps vu que mes objets sont totalement indépendants

OpenMP pour ta boucle sur les 80000 objets (gros grain), et SSE/AVX/Whatever pour les traitement à l'intérieur des objets (grain fin).
Encore une fois, c'est à la fin...

[JolyLoic]

par contre je suis certain que la parallélisation va me faire gagner du temps car voici comment mon code fonctionne :

- j'ai un objet "A" à qui on fourni à travers la méthode "input" un vecteur
- en sortie cet objet "A" à travers la méthode "output" me donne une matrice "B"
- et je peux avoir environ 80000 objets "A" différents. ce que je fais pour le moment c'est une boucle: pour le premier objet je fais le calcul, une fois fini je fais le calcul avec le 2eme objet, une fois fini avec le troisième...etc
- si je fais les choses en parallèle il est clair que je vais gagner du temps vu que mes objets sont totalement indépendants

Ce n'est pas si évident que tu gagnes du temps : Si à l'intérieur de ton traitement, tu accèdes à une ressource partagée, par exemple le disque dur, il y a des chances que si tu parallélises, tout le temps soit passé à attendre cette ressource. Un cas plus courant der essource partagée pouvant insidieusement plomber les performances en parallèle est la mémoire cache.

Ensuite, tu ne gagneras pas plus de temps que le nombre de processeurs de ta machine. Ce qui peut te sembler très bien (et l'est probablement), mais n'a d'intérêt que si à la base tu pars de code qui est déjà raisonnablement optimal. Si tes algorithmes sont mauvais, les remplacer peut provoquer des gains très importants (j'ai déjà gagnée des *1000 pour 1h de travail...) et d'autant plus importants que ton volume de données est grand. Ensuite, travailler en gérant bien la mémoire cache/la mémoire/le disque peut aussi avoir des impacts importants, minimiser le nombre d'allocations mémoire aussi.

Une fois que ce sera fait, il sera temps de regarder la parallélisation, qui est plus complexe à mettre en place, et qui en plus a besoin des améliorations citées au dessus pour pouvoir vraiment être rentable.