Discussion :

[emmanuel_dumas]

Bonjour

Mon programme est une boucle infinie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
while 1:
   do_something()

Au début, pas de problème, je le lançais, il pouvait tourner des semaines, la consommation mémoire restait stable. je testais la consommation mémoire avec la commande top : le programme consomme environ 10% de la mémoire.

Biensur, j'ai fait plein de développement dans mon do_something(), et maintenant, je vois qu'en général sur une semaine, le programme passe de 10% à 80% de la mémoire.

Donc, j'ai cherché à comprendre ce qu'il se passe.

1 - je me suis plongé dans le module gc. J'ai notamment beaucoup regardé la fonction gc.get_objets(). J'ai constaté le nombre d'objets géré par le garbage collector reste stable : il oscille entre 42000 et 43000.

2 - j'ai ensuite suivi d'un peu plus prêt la consommation mémoire, pour cela je vais lire /proc/pid/stat, champ 24 (d'après le man : rss %ld Resident Set Size: number of pages the process has in real memory.... ). Je constate que cela augmente bien. Cela augmente pas vraiment à moment caractéristique, un peu à tout moment tout au long du programme.

Donc pour l'instant, j'en suis à :
- le rss augmentant, la taille mémoire de mon programme augmente bien.
- le garbage collector gère toujours le même nombre d'objet, donc pas de fuite flagrante.

Est-ce que quelqu'un aurait un conseil de direction ou chercher maintenant ?
Est-ce que les "objets non-mutable" pourrait créer une fuite mémoire ?



Cordialement
Emmanuel

[shaiHulud]

Juste quelques petites pistes:

1/ Est-ce que tu utilises des ressources (fichier, socket) que tu aurais oublié de fermer ?

2/ Est-ce que tu crée des threads (de plus en plus) ?

3/ est ce que la taille des objets que tu traites (listes et dict) augmente ?

4/ Est ce que tu utilises des références cycliques? Par exemple avec 2 objets a et b:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
a.versB= b
b.versA= a

Si c'est le cas, a et b ne seront pas collectés par le GC

[dividee]

A voir aussi:
En CPython 2.x, les objets de type int et float ne sont jamais libérés (mais ils sont réutilisés); si tu utilises un grand nombre d'entiers et de flottants avec des valeurs différentes, cela pourrait aussi être la cause.
En CPython 3.x, cela ne concerne plus que les floats, je pense.

[emmanuel_dumas]

Bonjour

Note : j'ai oublié de préciser que j'utilise Python 3.1.3 sous Ubuntu 10.04 LTS. J'ai reproduit le même phénomène sous Python 3.2.

Juste quelques petites pistes:

1/ Est-ce que tu utilises des ressources (fichier, socket) que tu aurais oublié de fermer ?

Oui j'utilise beaucoup de sockets, de fichiers etc . A priori, toutes les ouvertures ont lieu avant l'entrée dans la boucle infinie, et les fermetures à la sortie.
Comment vérifier qu'il n'y a pas dans un coin un bout de code qui ouvre une telle ressource sans la fermer ?
Est-ce qu'ouvrir un fichier est suivre le n° attribuer est suffisant ? :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
with open("toto", "r") as f:
    print("no=", f.fileno())

2/ Est-ce que tu crée des threads (de plus en plus) ?

Je n'oublie pas complétement cette idée, mais là c'est beaucoup moins probable.

3/ est ce que la taille des objets que tu traites (listes et dict) augmente ?

Existe-t-il une astuce pour cibler rapidement les plus grande liste et dictionnaire pour vérifier cela ?

4/ Est ce que tu utilises des références cycliques? Par exemple avec 2 objets a et b:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
a.versB= b
b.versA= a

Si c'est le cas, a et b ne seront pas collectés par le GC

Dans ce cas, est-ce que le nombre d'object géré par le GC (gc.get_objects()) ne devrait pas aussi augnmenter ?

A voir aussi:
En CPython 2.x, les objets de type int et float ne sont jamais libérés (mais ils sont réutilisés); si tu utilises un grand nombre d'entiers et de flottants avec des valeurs différentes, cela pourrait aussi être la cause.
En CPython 3.x, cela ne concerne plus que les floats, je pense.

Je suis donc potentielement soumis à ce problème concernant les float ? Comment je peux vérifier qu'il y a de plus en plus de float en mémoire ?


Cordialement
Emmanuel

[kango]

bonjour,

en utilisant guppy ?

et plus particulièrement ça: http://guppy-pe.sourceforge.net/#Heapy