Problème "MemoryError" sur boucle

Bonjour,

Par nécessité, je dois réécrire un vieux code VBA qui fonctionne très bien en Python.
Il s'agit de récupérer des données SAP R3 et des les charger dans une DB.
Les données sont récupérés par paquet de 200k lignes.
On boucle ensuite sur ces lignes pour les insérer avec un "Insert into tbl select Va1 union all Select Val2 ...

Code:

---

1 2 3 4 5 6 7 8 9

for iSAP in range(1,iLng_Lignes + 1): iStrTemp = str(pSAP_Data(iSAP, "WA")).replace("'", "''") iStrSQLValues = iStr_SQLValues + " select '" + iStr_Temp + "' union all " iInt_NbLignesRAW = iInt_NbLignesRAW + 1 iInt_NbLignesTemp = iInt_NbLignesTemp + 1 if iInt_NbLignesRAW == 1000: #=> insert iInt_NbLignesRAW = 0 iStrSQLValues =""

---

pSAP_Data est l'objet renvoyé par SAP.
Tout cela est fait dans une fonction à laquelle est passée pSAP_Data
Le problème est que lors du "iStrSQLValues = iStr_SQLValues + " select '" + iStr_Temp + "' union all "", la mémoire occupée augmente et n'est jamais libérée et donc forcément, ça finit par planter.
Quelqu'un aurait-il une idée pour résoudre le pb ?
Merci.

bonjour

Citation:

---

Envoyé par Kloun

Le problème est que lors du "iStrSQLValues = iStr_SQLValues + " select '" + iStr_Temp + "' union all "", la mémoire occupée augmente et n'est jamais libérée et donc forcément, ça finit par planter.

---

utiliser + pour additionner des chaines est la pire méthode en python (dans une boucle!), préférer f-string (rapidité et mémoire)

Code:

---

iStrSQLValues = f"{Str_SQLValues} select '{str(pSAP_Data(iSAP, 'WA')).replace(\"'\", \"''\")}' "

---

python utilise un ramasse-miettes, il est impossible de libérer la mémoire d'une variable donnée (encore plus si déférencée)

Par contre, tu peux appeler le garbage collector (rarement car ralenti le script) dans ce block ?

Code:

---

if iInt_NbLignesRAW == 1000:

---

la doc : https://docs.python.org/fr/3/library/gc.html#gc.collect

Citation:

---

Envoyé par Kloun

Quelqu'un aurait-il une idée pour résoudre le pb ?

---

Si vous êtes sûr que vous avez besoin de plus de mémoire... il faudrait comprendre pourquoi c'est le cas si vous avez une machine 64 bits car il est quand même plus probable qu'il y ait un problème dans le code (autre que celui que vous présentez).

- W

Bonjour

Citation:

---

Envoyé par Kloun

Le problème est que lors du "iStrSQLValues = iStr_SQLValues + " select '" + iStr_Temp + "' union all "", la mémoire occupée augmente et n'est jamais libérée et donc forcément, ça finit par planter.

---

C'est pas ici que ça plante. A chaque itération l'ancienne chaine "iStrSQLValues" est d'abord libérée pour pouvoir stocker la nouvelle.

Démo

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

#!/usr/bin/env python class myStr: def __init__(self, chaine): print("init [%s]" % repr(self)) self.chaine=chaine   def __del__(self): print("del [%s]" % repr(self))   def __add__(self, other): return self.__class__(self.chaine + other.chaine)   def __str__(self): return self.chaine   a=myStr("x") b=myStr("y") for i in range(4): tmp=a+b print(id(tmp))

---

Résultat

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

init [<__main__.myStr object at 0x7fec104e7160>] init [<__main__.myStr object at 0x7fec104e7df0>] init [<__main__.myStr object at 0x7fec104e7e50>] 140651862589008 init [<__main__.myStr object at 0x7fec104e7ee0>] del [<__main__.myStr object at 0x7fec104e7e50>] 140651862589152 init [<__main__.myStr object at 0x7fec104e7e50>] del [<__main__.myStr object at 0x7fec104e7ee0>] 140651862589008 init [<__main__.myStr object at 0x7fec104e7ee0>] del [<__main__.myStr object at 0x7fec104e7e50>] 140651862589152 del [<__main__.myStr object at 0x7fec104e7160>] del [<__main__.myStr object at 0x7fec104e7df0>] del [<__main__.myStr object at 0x7fec104e7ee0>]

---

Les lignes en bleu montrent la création d'un nouveau tmp puis l'autre est alors détruit (lignes en rouge) durant la boucle. On peut aussi voir id(tmp) changer à chaque itération.

Citation:

---

Envoyé par Sve@r

est d'abord libérée pour pouvoir stocker la nouvelle.

---

? del ne fait que déférencer la variable, aucunement libérer la mémoire. c'est au cg de libérer la mémoire des déférencés plus tard lors de sont passage.

c'est plus compliqué que çà: le référence count qui passe à 0 libère la mémoire mais le travail du GC en tache de fond c'est pour les boucles (les objets qui se référencent eux mêmes et pour lesquels le refcount ne passera pas à 0 lorsque "libérés").

- W

Merci pour les réponses.

Python 32 bits parce que SAP, ça fonctionne pas en 64 bits.

J'ai bien mis un gc.collect (j'en ai mis un peu partout)

Le f-string, c'est peut-être un peu plus rapide. Du coup, ça plante plus rapidement.

Citation:

---

Envoyé par Sve@r

Bonjour
C'est pas ici que ça plante. A chaque itération l'ancienne chaine "iStrSQLValues" est d'abord libérée pour pouvoir stocker la nouvelle.

---

Toutes les 1000 itérations, la mémoire utilisée augmente de 2M (et y'a que 8Go sur la machine).

Citation:

---

Envoyé par Kloun

Le f-string, c'est peut-être un peu plus rapide. Du coup, ça plante plus rapidement.

---

:D Amusant (un peu d'humour ça peut pas faire de mal)

Citation:

---

Envoyé par Kloun

Toutes les 1000 itérations, la mémoire utilisée augmente de 2M (et y'a que 8Go sur la machine).

---

Bon déjà avec un Python 32 bits tu ne pourras gérer que 4G de RAM (32 bits quoi).
Mais suis désolé, le souci ne peut pas provenir de la chaine

Je viens de taper ce petit code...

Code:

---

1 2 3 4 5 6 7

#!/usr/bin/env python3   iStr_SQLValues="Hello" iStr_Temp="World" for i in range(10000**2): chaine=iStr_SQLValues + " select '" + iStr_Temp + "' union all " + str(i) if (i % 1000000) == 0: print(i, chaine)

---

Python a tout avalé sans broncher. Et j'ai examiné ma RAM pendant que ça tournait, bon ok elle a bougé durant le travail mais ses mouvements étaient des oscillations (évidemment mon ordi faisait d'autres choses) et jamais elle n'a monté en croissance infinie...

Accessoirement je m'interroge sur pSAP_Data(iSAP, "WA") que tu appelles durant la boucle. Ne penses-tu pas qu'il faudrait t'intéresser à cette fonction? Peut-être la désactiver et retenter un test...? En tout cas c'est la seule inconnue de la boucle...

Citation:

---

Envoyé par Kloun

Toutes les 1000 itérations, la mémoire utilisée augmente de 2M (et y'a que 8Go sur la machine).

---

Si ça plante avec MemoryError, la mémoire alloué augmente certainement.... mais c'est pas ça qui va donner des pistes pour en trouver la cause et imaginer une solution.

- W

Citation:

---

Envoyé par Sve@r

Accessoirement je m'interroge sur pSAP_Data(iSAP, "WA") que tu appelles durant la boucle. Ne penses-tu pas qu'il faudrait t'intéresser à cette fonction? Peut-être la désactiver et retenter un test...? En tout cas c'est la seule inconnue de la boucle...

---

Oui, ça vient de là (testé en remplaçant par une chaine bidon).
Reste à savoir comment vider la mémoire du machin.
En sortie de fonction, je fait un del et un gc.collect.
Et dans la fonction appelante, je réinitialise tous les objets SAP.

Citation:

---

Envoyé par Kloun

Reste à savoir comment vider la mémoire du machin.

---

Elle est de toi la fonction ?

Houla non.
Fourni par SAP. Mais faut se démerder pour s'en servir.
win32com.client.Dispatch("SAP.Functions")
Ca permet d'utiliser les RFC (Remote Function Call) SAP mais la doc est comment dire ... succincte (voire inexistante).

Je vois bien une solution : lancer un process avec les param qui vont bien et attendre son retour (nb de lignes traitées ou -1 si KO).
Mais ça dépasse mes faibles compétences.

En fait, avec python, j'ai connu qu'une fois un problème mémoire dans une grosse boucle:

objets "étrangés" GLib que je recevais qui n'étaient jamais libérés de la mémoire
l'appel au garbage m'avait sauvé car je n'avais aucun code python sur la lib (bibliothèque compilée, chargée par gi).

note: une boucle passait, mais c'était une app graphique donc elle pouvait se reproduire 1 fois par minute suivant l'utilisateur (rafraichir une grille) et au bout d'une heure :aie:

Citation:

---

Envoyé par Kloun

Fourni par SAP. Mais faut se démerder pour s'en servir.
win32com.client.Dispatch("SAP.Functions")
Ca permet d'utiliser les RFC (Remote Function Call) SAP mais la doc est comment dire ... succincte (voire inexistante).

---

Si c'est le client COM de SAP qui a des fuites mémoire (suite à des bugs ou a une utilisation inappropriée), il serait plus judicieux d'aller chercher de l'aide dans des forums SAP.


- W

Je suis passé par le multithreading et le problème est contourné.
Merci pour l'aide.