Discussion :

[julien25]

Bonjour à tous,
Bonjour Tamiel.

Je viens de finir mon soft, mais lors de la mise en embarqué, je m'aperçois de fuite mémoire. Mon programme fonctionne pendant 30 min alors qu'il devrait fonctionner pendant des années.

J'ai cerné le problème, tout mes allocations dynamiques sont détruites dans mon destructeur. Le problème donc viens de mes Py_XDECREF, j'en ai omis certain et je n'ai pas fais de PyFinalyse(). Ainsi, lorsque j'appelle mon main en boucle la mémoire augmente infiniment.

Le problème lorsque j'essaie de faire mes Py_XDECREF sa plante, je ne sais pas pour qu'elle raison.

Par ailleurs, je suis en C++ donc je possède des classe, dans ces différentes classes je fais intervenir plusieurs fois des Py_Initialyse(). Et mon Py_mod().

Pour pallier à cela, j'ai mis mon Py_Initialyse() et Py_Finalyse() dans mon main. Ainsi, je n'ouvre qu'une seule fois l'instance du compilateur.

Ensuite j'a commente qq milliers de ligne de code pour me ramener au principal
J'ai ca dans un .cpp (pas le main)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
mymod = PyImport_ImportModule("interface");
	PyObject* mdict = PyModule_GetDict(mymod);
	PyObject* func5 = PyDict_GetItemString(mdict, "interoperability_Adding")
PyObject* class_need_interoperability = PyEval_CallObject(func5,NULL);
 
 
..code commenté..
 
        Py_XDECREF(class_need_interoperability); Qd je met cette ligne ca me plante.
	Py_XDECREF(func5);
	Py_XDECREF(mdict);  
        Py_XDECREF(mymod);
;

Tamiel as tu une idée.
Je pense quand je serais d'où cela vient ca va ensuite allé vite.Je continue mes recherches.
Merci beaucoup.
Julien

[tamiel]

Ca plante comment ?

Tu as quelque chose qui s'affiche ?

[Antoine_935]

Si tu as les moyens de tester ça sur une machine conventionnelle, utilise Valgrind. Il pourra sans doute t'aider à trouver la fuite de mémoire.

[tamiel]

Un petit coup de gdb/ltrace/strace aidera aussi

[julien25]

Bonjour, désolé je n'ai pas pu répondre avant.
Donc j'ai pu régler une partie du problème, une partie seulement.

Au lieu de déclarer
PyObject* class_need_interoperability = PyEval_CallObject(func5,NULL);
J'ai directement mis PyEval_CallObject(func5,NULL) dans la fonction ou j'en avais besoin.
J'ai d'ailleurs fait cela à chaque fois que j'avais le pb.

Comme dit, j'utilise cette interfacage dans d'autre partie de mon soft. Et la par contre, ca plante qd j'invoque le Py_XDECREF(mymod);
Est ce que c'est parce que j'invoque mymod plusieurs fois. Enfin je vais voir cela demain et vous redonner un feed back plus complet.

Pour Valgrine je crois que c'est sous Linux.
Mon soft est fait ss win, les autres de Tamiel je ne les connais pas.

Bon merci à Tamiel et Antoine_935, à demain.

[julien25]

Bonjour,

Alors voila, j'ai vraiment bien ciblé ma fuite mémoire.
1)J'ai créer le moins de PyObject* possible, du coup, j'ai des noms à rallonge mais ce n'est pas grave.
2)La fuite mémoire provient de la boucle for principalement. PyList_SetItem??
3)Pour info : "InitListGenerators", "i", 2 * GeneratorPDict->size()) permet d'initialiser une liste dans mon Python pour la remplir. Cette liste est vide pour le moment. Elle va ensuite accueillir mon first puis second de ma map.

4)Merci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
 
PyObject* mymod = PyImport_ImportModule("interface");
int CounterP =0;
	for (MapOfStringDouble::iterator iterP =GeneratorPDict->begin(); iterP!=GeneratorPDict->end(); iterP++)
	{
		PyList_SetItem(PyObject_CallMethod(PyEval_CallObject(PyDict_GetItemString(PyModule_GetDict(mymod), "interoperability"),NULL), "InitListGenerators", "i", 2 * GeneratorPDict->size()), CounterP++, PyString_FromString(iterP->first.c_str()));
		PyList_SetItem(PyObject_CallMethod(PyEval_CallObject(PyDict_GetItemString(PyModule_GetDict(mymod), "interoperability"),NULL), "InitListGenerators", "i", 2 * GeneratorPDict->size()), CounterP++, PyFloat_FromDouble(iterP->second));
 
    Py_XDECREF(mymod);
	}

[tamiel]

Remplace PyEval_CallObject par PyObject_CallMethod

Py_XDECREF(mymod); doit être après la boucle for .

PyList_SetItem(PyObject *list, Py_ssize_t index, PyObject *item) :
le premier argument doit être une liste python, le deuxième l'index et le troisième l'objet python a ajouté.
Donc :
- PyObject_CallMethod(PyEval_CallObject(PyDict_GetItemString(PyModule_GetDict(mymod), "interoperability"),NULL) est une PyList ?

[julien25]

Salut Tamiel,
Merci de ton aide.

Remplace PyEval_CallObject par PyObject_CallMethod

Ok, merci je viens de le faire.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Py_XDECREF(mymod); doit être après la boucle for .

Pardon, c'est une erreur de recopiage

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

PyList_SetItem(PyObject *list, Py_ssize_t index, PyObject *item) :

PyObject_CallMethod(PyObject_CallObject(PyDict_GetItemString(PyModule_GetDict(mymod), "interoperability"),NULL), "InitListGenerators", "i", 2 * GeneratorPDict->size()) est une liste vide dans qui comporte le nombre d'élements 2 * GeneratorPDict->size().

[julien25]

Niveau comportement mémoire.

J'ai l'impression qu'il y du mieux.
Sachant que je fais une boucle sur 17000 valeurs et que ma boucle va vite :
J'arrive à 120000 Kilos environ.

Maintenant et c'est la que je remarque un comportement nouveau. J'ai rajouté ma derniere ligende code :

Cette liste

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

PyObject_CallMethod(PyObject_CallObject(PyDict_GetItemString(PyModule_GetDict(mymod), "interoperability"),NULL), "InitListGenerators", "i", 2 * GeneratorPDict->size())

qui est rempli je l'envoie ensuite à Python.

comme ca :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

PyObject* retval_set_Generator = PyObject_CallMethod(PyInstance_New(PyDict_GetItemString(PyModule_GetDict(mymod), "set_Ipsa_Real_Power_Load"), NULL, NULL), "set_Ipsa_Generator", "O", PyObject_CallMethod(PyObject_CallObject(PyDict_GetItemString(PyModule_GetDict(mymod), "interoperability"),NULL), "InitListGenerators", "i", 2 * GeneratorPDict->size()));

CE python me fait un petit traitement et me change des valeurs à l'intérieur d'un soft spécifique.

Et la le fait d'ouvrir ce fichier prend du temps un petit peu, ce n'est pas gênant.Du coup j'ai l'impression que ma mémoire à le temps de ce vider.
J'ai une augmentation de mémoire de 20 kilos par boucle.

C'est bcp mieux, on n'est pas loin du compte mais c'est pas encore ça sachant que l'implantation ne doit pas planter au bout de 2 ans.

Merci encore Tamiel

[tamiel]

Vérifie que la mémoire revient à son niveau initial après tous les traitements faits .