Leak mémoire doctrine2

Version imprimable

16/05/2012, 12h15
mobuho

Leak mémoire doctrine2

Bonjour,

J'ai besoin de faire un import d'une base de donnée avec de nombreuses entrées (~300K), je me retrouve donc assez rapidement à exploser la limite de mémoire pour php.
Je pourrai donc faire un : ini_set(“memory_limit”,”16M”);
Mais bon il faudrait que j'alloue quelques Go ...

J'ai cherché les leaks, ils viennent des entités doctrine ce qui parait logique, j'ai donc essayé de faire des unset sur chacune des entités récupérées, mais cela ne suffit pas, j'ai aussi fait des unset sur les entités après avoir été appelé persit, cela ne change toujours rien.

Comment pourrai-je faire ?

Cordialement,
16/05/2012, 14h07
stealth35

montre ton code, sinon essaye avec un detach sur l'entitié

J'ai rajouté des detach un peu partout en rajouter "detach" au niveau du cascade, cela a diminué un peu le leak, mais il reste encore important.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
while ($hasPros)
        {
            $idPros = $proRepository->findAllLimit(100, $i * 100);
            $hasPros = (count($idPros) == 100);
            foreach ($idPros as $value)
            {
                try
                {
                    $base = $importdata->handle($value);
                    $entityManager->persist($base);
                    $entityManager->flush();
                    $entityManager->detach($base);
                    unset($base);
                    $base = null;
                }
                catch (\Exception $err)
                {
                    unset($base);
                    $base = null;
                    continue;
                }
            }
            $entityManager->clear();
            unset($idPros);
            $idPros = null;
            $i++;
        }

Je suis entrain de chercher la partie de mon code qui leak le plus.
Pour le moment j'arrive a recupere 3000 octets sur environ 30000 octets.
J'en perds 6000 au niveau du persist et flush, et le reste dans le handle.

Je te tiens au courant quand je trouve la cause exacte.

16/05/2012, 16h40
stealth35

c'est quoi le findAllLimit ? pourquoi ne pas faire un findBy direct ?
le $importdata->handle correspond à quoi ?
16/05/2012, 16h51
mobuho

findAllLimit me permet de recupére un array avec des limites ce qui n'est pas possible avec findBy.

importdata->handle contient la gestion de mon importation des données.

Mon leak vient de la récupération des entités via doctrine, cependant même après un detach, unset et null, cela ne suffit pas à récupérer la mémoire.
16/05/2012, 17h22
stealth35

Citation:

Envoyé par mobuho

findAllLimit me permet de recupére un array avec des limites ce qui n'est pas possible avec findBy.

si
http://www.doctrine-project.org/api/...y.html#_findBy

à mon avis tu fais beaucoup de boucle pour rien, à quoi correspond le premier while ?

l'import du base c'est quel type de fichier un CSV ?
16/05/2012, 17h30
mobuho

Le premier while permet de tourner sur la globalité de la table que je souhaite importer. Si je ne fais pas cela, lors du select * je me fais stopper parceque je dépasse la mémoire autorisé.

L'import que je fais vient d'une autre base sur laquelle j'ai une autre EntityManager.

Finalement le problème pourrait venir du fait que le garbage collector ne passe pas assez réguliérement.
Enfin cela résoud réduire une partie du leak.