Discussion :

[Captain'Flam]

Bonjour,

simple petite questions concernant les perf / optimisation de python :

vaut-il mieux écrire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
import os
for dir in filter( os.path.isdir,os.listdir('.')):
    print dir

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
for dir in os.listdir('.'):
    if os.path.isdir( dir ):
        print dir

la seconde me paraît plus rapide parce qu'elle économise la construction d'une liste (générateur ?) intermédiaire...
Mais il me semble que parfois python fait des optimisations surprenantes, et que, si ça trouve, je me trompe complètement...
D'ailleurs, y a-t-il un moyen plus rapide/pythonesque de lister les sous répertoires ?

Merci

[VinsS]

Salut, avec glob ça marche

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
import glob
 
print glob.glob("/mon/chemin/*/")

Si ton intention était les dossiers cachés (vu le point)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
print glob.glob("/mon/chemin/.*/")

Pour la vitesse, plutôt difficile à dire,faudrait avoir suffisamment de sous dossiers pour s'en rendre compte.

[Captain'Flam]

Merci VinsS, mais au niveau perf c'est pas terrible car glob n'est qu'une surcouche python de os.
(je ne crois pas qu'il y ait une implémentation en C).

[dividee]

En Python 2.x, filter retourne une liste, et donc utiliser le second code évite l'allocation de cette liste.

En Python 3.x, filter retourne un itérateur, ce désavantage n'est donc pas présent, mais l'itérateur est tout de même une couche supplémentaire.

Toutefois, le premier code a un petit avantage: résoudre "os.path.isdir" demande deux dictionary lookups; en utilisant filter, ces deux lookups ne se font qu'une seule fois alors que dans le second code, elles sont faites à chaque itération. Pour éviter cela, tu peux écrire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
isdir = os.path.isdir
for dir in os.listdir('.'):
    if isdir( dir ):
        print dir

Mais la différence doit être minime; le fait que le listing du dossier soit déjà dans le cache disque de l'OS ou non aura sans doute plus d'effet que cette optimisation.
En fait, c'est sans doute le "print" qui limitera le plus les performances, s'il est dirigé sur un vrai terminal et non pas une redirection vers un fichier.

[PauseKawa]

Bonsoir,

Optimisation (comprendre pour vous plus rapide) : Locales, Built-in, yield, générateurs etc....

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
import os
 
osisdir = os.path.isdir
for rep in (rep for rep in os.listdir('.') if osisdir(rep)):
    print(rep) # print....

+++1 Pour le print. A ne pas utiliser dans les tests.

@+

[PauseKawa]

Bonjour,

J'avais oublier quelque chose dans l'optimisation : simple.
Tout en restant simple la solution de dividee reste la plus rapide avec os.path.isdir en local, quelque soit la version de Python.
La mienne ne s'en sort pas trop mal sous Python 2.6 (bien qu'aléatoire) mais atterrie en avant dernière position en 3.1.
Toutes donnent bien sur le même résultat.

@+

Edit : J'allais oublier. filter est toujours bon dernier, même avec des locales.