Discussion :

[dva2tlse]

Bonjour, bonsoir le forum,
ce post fait suite à ces autres : http://www.developpez.net/forums/d13...n-c-voire-cpp/ et http://forum.ubuntu-fr.org/viewtopic.php?id=1310981, où je demandais quel langage de programmation choisir entre le fortran et le C voire le C++. J'ai finalement choisi de coder en fortran, parce que c'est le langage que je connais le mieux, et que j'envisage par la suite que la plupart du travail soit effectuée en parallèle sur plusieurs processeurs. (il y a des serveurs de calcul qui tournent déjà sur quarante proc's dans ma boite, pour d'autres applications)
Le travail en question est la traduction d'un fichier d'entrée d'environ deux millions de lignes, en une suite de valeurs numériques déterminées d'après les informations de chaque ligne, et avec d'autres infos que l'on récupère dans deux autres fichiers d'entrée de quelques centaines de lignes chacun; on m'a informé sur ce forum ou sur celui de linux-ubuntu où j'ai exposé le problème aussi, que le travail en question s'apparentait à un "jointure" de bases de données.

La première fois où le programme a tourné correctement jusqu'au bout, il a mis environ vingt minutes; suite aux discussions sur les forums, j'en suis arrivé à deux minutes environ (en améliorant sensiblement la logique de l'algo et les I/O), et aujourd'hui vendredi, en passant d'une vieille HP9000 à bout de souffle, à un bon PC sous linux avec un (seul) processeur itanium, j'en suis à 21 secondes.

Avant cela, je voudrais, comme cela m'a été conseillé dans un post, profiler la tâche; maintenant qu'elle tourne bien, ça me permettrait de gagner encore ce qui peut l'être. Cependant le programme est assez peu découpé, et ne présente qu'un seul programme principal de six cents lignes environ; cela n'empêcherait-il pas le profilage d'être efficace ?

Merci de me donner toutes les idées, même farfelues, que vous inspire ce post', car n'étant pas informaticien mais mécanicien (en calcul de structures), mon imagination et mes connaissances sont assez pauvres dans ces domaines,
merci encore,

[moomba]

As tu regardé ici :
http://www.developpez.net/forums/d13...tre-que-gprof/

Il y a plein d'infos qui pourraient t'être utile.

[dva2tlse]

merci; je n'ai que survolé mais ça me paraît intéressant.

[moomba]

Après, si tu veut de la perf (notamment en mécanique des structures), il faut paralléliser, et tirer partie au maximum des instructions vectorielles.

Je vient du même monde que toi (physique), et j'y suis passé il y a quelques années. C'est un choix que l'on ne regrette pas

Tout vas dépendre ensuite de ton maillage, la difficulté sera là.

[Matthieu Brucher]

Première étape, optimiser la performance sérielle (ce que tu as déjà bien fait) puis la parallèle.
Pour le premier point, il te faut mesurer la bande passante mémoire utilisée, ainsi que les opérations de calcul effectuées et faire tendre ces deux valeurs vers leur maximum théorique. Ca passe par de la vectorisation, des vérifications sur la bonne utilisation des valeurs en cache...
Tu as des outils tels que perfexpert qui peuvent t'aider.