Discussion :

[pedro99]

Bonjour,

Toujours concernant mon gros projet (voir discussion intitulée lecturefichier+deciames du 08/06/07 pour les détails) j'ai de nouvelles questions:

Comment optimiser son code ?

J'ai presque fini mon algo et pour l'instant ça marche plutot bien, seulement je l'ai fait assez vite et il me semble qu'il est loin d'etre le plus performant possible. Par exemple je n'ai pas utilisé de classe ou fonction. Je voulais donc savoir les moyens pour booster son code en python.

De plus j'ai vu sur la F.A.Q dans la rubrique optimisation qu'il était possible de "traduire" son code en C avec la bibliothèque Psyco. Dans ce cas ci j'aimerais savoir si on peut avoir une idée du temps gagné en faisant ainsi vu que mon problème principal est mon très grand nombre de données (des centaines de millions)

Merci bien.

[gerard tarquin]

l'optimisation de code est un problème essentiellement d'algorithmique et pas de langage.
Les classes et méthodes utilisées dans les langages orientés objets servent en général à autoriser des dérivations qui permettent une spécialisation des classes.
je ne pense pas (mais je peux me tromper) que cela améliorera les performances de ton code.
Le C est un langage très performant car une fois compilé il n'est guère plus volumineux qui si tu avais programmé ton code en assembleur.
mais un algo inefficace le sera en python ou en c
Une traduction d'un programme dans un autre langage n'améliorera que marginalement les performances (optimisations réalisés par le compilateur).

je penses que les seules éléments qui peuvent réellement améliorer les performances sont :
- d'utiliser une version compilée et non interprétée de ton programme
- de soigner son algo

pour traiter des millions d'enregistrements rien ne vaut un bon vieux cobol fonctionnant sur un bon vieux mainframe

[Invité]

je penses que les seules éléments qui peuvent réellement améliorer les performances sont :
- d'utiliser une version compilée et non interprétée de ton programme
- de soigner son algo

D'où l'idée de transcrire son code Python en C... Non ?!

[Guigui_]

l'optimisation de code est un problème essentiellement d'algorithmique et pas de langage.

Pas forcément. Comme en Python, il n'y a aucune optimisation fait par l'interpréteur, il y a des optimisations spécifiques à Python à faire non négligeables.
Les optimisations courantes:
- éliminer les invariants de boucles dans les boucles for/while
- utiliser au maximum les variables locales et des pointeurs locaux sur les fonctions d'objets souvent utilisés.
- utiliser des tableaux plutôt que des listes (ce sont les mêmes données mais il peut-être judicieux d'utiliser un tableau suffisamment grand en gérant un indice de là où l'on est dans le tableau plutôt que de faire des milliers d'appels à append/pop/remove)
...



Pour Psyco, tu n'as que 2 lignes à rajouter dans ton programme (+ l'installation de la bibliothèque). Donc tu verras immédiatement combien tu y gagnes en temps.

[Invité]

Les optimisations courantes:
- éliminer les invariants de boucles dans les boucles for/while

Qu'est-ce que tu entends par invariants de boucles ? J'ai jamais entendu ce terme là...

[Guigui_]

Qu'est-ce que tu entends par invariants de boucles ? J'ai jamais entendu ce terme là...

Ce sont simplement les calculs/instructions qui seront constants/inchangées dans une boucle. C'est mieux de les faire une fois pour toute avant la boucle.

exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
for i in range(10):
    for j in range(10):
        print 5 * i + j

=>

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for i in range(10):
    a = 5 * i
    for j in range(10):
        print a + j

[gerard tarquin]

Les optimisations courantes:
- éliminer les invariants de boucles dans les boucles for/while
- utiliser au maximum les variables locales et des pointeurs locaux sur les fonctions d'objets souvent utilisés.
- utiliser des tableaux plutôt que des listes (ce sont les mêmes données mais il peut-être judicieux d'utiliser un tableau suffisamment grand en gérant un indice de là où l'on est dans le tableau plutôt que de faire des milliers d'appels à append/pop/remove)
...

Les éléments que tu avances sont présents dans tous les langages de programmation, les invavariants dans les boucles rendent inéfficace un code qu'il soit écrit en java, cobol, basic ou c.
D'ailleurs les calculs du complexité d'un algo (au sens mathématique du terme) sont indépendants du langage utilisé...
Evidemment, il faut garder un juste milieu entre l'optimisation du code et sa lisibilité.
Je pense qu'il est dommage de traduire un code python en c sans avoir fait un peu de nettoyage.
En traduisant un programme algorithmiquement propre en c, on y est doublement gagnant.

[Matthieu Brucher]

Les éléments que tu avances sont présents dans tous les langages de programmation, les invavariants dans les boucles rendent inéfficace un code qu'il soit écrit en java, cobol, basic ou c.

Sauf qu'un compilateur qui a du temps peut les détecter tout seul, l'interpréteur Python ne fait pas ce genre de chose.

[parp1]

Oui et puis si tu code en python pour retranscrire en C. Autant programmer en C directement.

Le python est fait pour programmer vite.
Et il est vrai que lorsque l'on connait les truc que Guigui vient de rappeler ca peux allez vite, beaucoup plus vite.

Il ne faut pas hésiter a poster pour l'optimisation. Faut tester.

[gerard tarquin]

Sauf qu'un compilateur qui a du temps peut les détecter tout seul, l'interpréteur Python ne fait pas ce genre de chose.

dans ce cas précis je suis entièrement d'accord