Discussion :

[st20085]

Bonjour

N'étant pas un pro python, je cherche à comprendre une bizarrerie que je rencontre en Python v2.5.4.

J'ai une liste (10000 éléments) de chaine de caractères que je parcours dans un for.
Pour chaque chaine, je construis un objet qui est rajouté dans une autre liste.
Voici mon code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
results = []
#
for xml : xml_list:
     # create object from xml
     obj = createObject(xml)
     # append obj in result
     results.append(obj)                   <---- pb de perfo

Mon pb vient du results.append qui prends 5s sur un total de 15s.
Si je commente la ligne qui fait le append, mon traitement prends 10s.
Je pensais que c'était le append qui prenait du temps mais si au lieu de faire un results.append(obj), je fais un results.append(xml), mon traitement continue de prendre 10s.
Donc c'est bien le fait de rajouter "un objet complexe" dans ma liste qui prends du temps mais je ne sais pas pourquoi.

Qu'un aurait une explication?

Merci

[wiztricks]

Salut,

voir la discussion
votre code devrait marcher mieux avec les gc.disable/gc.enable ci dessous.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
import gc
results = []
#
gc.disable()
for xml : xml_list:
     # create object from xml
     obj = createObject(xml)
     # append obj in result
     results.append(obj)  
gc.enable()

- W

[st20085]

Bonjour wiztricks

Et merci pour ta réponse.
J'ai essayé, je gagne une seconde de temps.

Il me reste donc ces 4 secondes dans les bras

[wiztricks]

Salut,

Si ce n'est plus un problème connu Python 2.5, il faut peut être regarder l'utilisation de ressources comme RAM, IO disques, fichiers de pagination,...
- W

[fred1599]

Vous avez essayé avec deque?

Un exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
>>> from collections import deque
>>> liste = deque()
>>> liste.append(5)
>>> liste.append(12)
>>> print liste
deque([5, 12])

[dividee]

... ou une list comprehension:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

results = [createObject(xml) for xml in xmlList]

Si la liste de résultats n'est utilisée que de façon séquentielle, on peut même éviter de créer la liste et utiliser une generator expression:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

results = (createObject(xml) for xml in xmlList)