Discussion :

[mobuho]

Bonjour,

J'ai besoin de faire un import d'une base de donnée avec de nombreuses entrées (~300K), je me retrouve donc assez rapidement à exploser la limite de mémoire pour php.
Je pourrai donc faire un : ini_set(“memory_limit”,”16M”);
Mais bon il faudrait que j'alloue quelques Go ...

J'ai cherché les leaks, ils viennent des entités doctrine ce qui parait logique, j'ai donc essayé de faire des unset sur chacune des entités récupérées, mais cela ne suffit pas, j'ai aussi fait des unset sur les entités après avoir été appelé persit, cela ne change toujours rien.

Comment pourrai-je faire ?

Cordialement,

[stealth35]

montre ton code, sinon essaye avec un detach sur l'entitié

[mobuho]

J'ai rajouté des detach un peu partout en rajouter "detach" au niveau du cascade, cela a diminué un peu le leak, mais il reste encore important.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
while ($hasPros)
        {
            $idPros = $proRepository->findAllLimit(100, $i * 100);
            $hasPros = (count($idPros) == 100);
            foreach ($idPros as $value)
            {
                try
                {
                    $base = $importdata->handle($value);
                    $entityManager->persist($base);
                    $entityManager->flush();
                    $entityManager->detach($base);
                    unset($base);
                    $base = null;
                }
                catch (\Exception $err)
                {
                    unset($base);
                    $base = null;
                    continue;
                }
            }
            $entityManager->clear();
            unset($idPros);
            $idPros = null;
            $i++;
        }

Je suis entrain de chercher la partie de mon code qui leak le plus.
Pour le moment j'arrive a recupere 3000 octets sur environ 30000 octets.
J'en perds 6000 au niveau du persist et flush, et le reste dans le handle.

Je te tiens au courant quand je trouve la cause exacte.

[stealth35]

c'est quoi le findAllLimit ? pourquoi ne pas faire un findBy direct ?
le $importdata->handle correspond à quoi ?

[mobuho]

findAllLimit me permet de recupére un array avec des limites ce qui n'est pas possible avec findBy.

importdata->handle contient la gestion de mon importation des données.

Mon leak vient de la récupération des entités via doctrine, cependant même après un detach, unset et null, cela ne suffit pas à récupérer la mémoire.

[stealth35]

findAllLimit me permet de recupére un array avec des limites ce qui n'est pas possible avec findBy.

si
http://www.doctrine-project.org/api/...y.html#_findBy

à mon avis tu fais beaucoup de boucle pour rien, à quoi correspond le premier while ?

l'import du base c'est quel type de fichier un CSV ?