Discussion :

[pouletator]

Bonjour,
Je crée deux listes de liste de 50000x6 dans mon programme. Puis après je lis un fichier binaire d'une vingtaine de méga avec la fonction unpack de struct et à ce moment là j'ai un problème de mémoire.
Est ce que je désalloue bien la mémoire lorsque je met liste=[] ou faut il utiliser une autre fonction (peut etre du genre del)?
Est ce que unpack est déconseillé?

J'espère que j'ai été à peu près clair.

Bien cordialement,
pouletator

[mon_pierre]

essaie ca

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

liste=None

tu ne devrais plus avoir de ref a liste.

++

[GnuVince]

Bonjour,
Je crée deux listes de liste de 50000x6 dans mon programme. Puis après je lis un fichier binaire d'une vingtaine de méga avec la fonction unpack de struct et à ce moment là j'ai un problème de mémoire.
Est ce que je désalloue bien la mémoire lorsque je met liste=[] ou faut il utiliser une autre fonction (peut etre du genre del)?
Est ce que unpack est déconseillé?

J'espère que j'ai été à peu près clair.

Bien cordialement,
pouletator

Pourquoi tu crées deux listes? T'en sers-tu après? Est-ce que c'est nécessaire qu'elles soient allouées avant quand tu lises ton fichier?

Plus d'informations aideraient à te diriger dans la bonne direction.

[pouletator]

liste=None

Ok merci beaucoup, je vais tester ca.

Pourquoi tu crées deux listes? T'en sers-tu après? Est-ce que c'est nécessaire qu'elles soient allouées avant quand tu lises ton fichier?

J'ai besoin des deux listes dans le début du traitement. Elles n'ont pas les memes paramètres et c'est plus pratique de les distinguer. Il y en a une dont je me sers plus juste avant l'ouverture de mon fichier avec unpack. A celle là je met

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

liste=[]

mais est ce suffisant pour désallouer toute la mémoire?

[GnuVince]

Non, Python décide quand il n'a plus besoin d'une référence et la supprime à ce moment là. Encore une fois, je t'invite à donner plus de détails sur ton problème. Est-ce que des itérateurs à la place d'une liste feraient l'affaire?

[pouletator]

Et donc le seul moyen de le faire décider qu'il n'a plus besoin de la référence est de mettre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

liste = None

, c'est bien ca?

Non je ne peux pas utiliser un itérateur car les éléments de la liste sont utilisés plusieurs fois.

Ce que je fais, c'est que je crée une liste puis je crée une deuxième liste à partir de la première.
Une fois ces deux listes créées, la première ne m'interesse plus et ca serait bien si je pouvais la supprimer. Ensuite, j'ouvre mon fichier avec unpack et je lance une boucle qui va lire plusieurs fois la seconde liste.
Une fois ce premier traitement réalisé, je vais à nouveau relancer le programme en recréant les listes (pas avec les memes données).

Je viens de voir le module garbage collector. Ne serait ce pas la solution?

[GnuVince]

Non. Quand tu fais

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
liste = None

Tu changes seulement la référence que liste désigne, mais ta liste est probablement encore en mémoire.

Si j'étais toi, je réviserais mes listes, car j'ai jamais rencontré de programme en Python qui ne pouvait s'exécuter parce que je manquais de mémoire.

[pouletator]

Ok, peut etre qu'il y a un problème au niveau de mes listes mais il doit bien quand meme y avoir une facon de supprimer des objets de la mémoire.

dans tous les cas merci pour le temps que tu as pris pour m'aider.

pouletator

[GnuVince]

La seule façon est de laisser le garbage collector s'en charger. Si t'as pas de références (genre quand tu fais liste = None), ton data va sûrement être ramassé au prochain cycle, mais c'est pas dit quand ça va arriver.

[pouletator]

Ok.
Bon ca a quand meme planté avec en mettant "none", le garbage collector n'a pas dû le collecter assez tot (enfin si j'ai bien compris tes explications).


Encore merci pour ton aide et ta patience.

Bien cordialement,

pouletator

[GnuVince]

Si tu pouvais me montrer ton code, je pourrais sans doute te mettre sur une piste pour que ça fonctionne.

[Matthieu Brucher]

A la place de list=None, del liste est plus explicite.
Normalement, la liste est supprimée dans la foulée s'il n'existe aucune référence sur elle, donc ton problème est autre part.

[ctiti60]

Salut,

Lorsque tu dis que c'est une liste de 50 000 x 6 c'est 50000x6 octects ou 300000 elements de type string ou autre ?

Et lorsque tu dis que tu as un problème de mémoire, cela se traduit comment ?

Et pour finir, tu as combien de Ram ?