Discussion :

[Locelot]

Bonjour à tous,


Je tourne en rond sur un problème.
J'ai plusieurs dizaines de milliers d'entités à enregistrer en base (la même entité avec plusieurs relations ManyToOne). Ce que je fais, c'est que je persist 1000 entités à la fois avant de faire un flush() mais le temps de traitement de chaque enregistrement de 1000 lignes est de plus en plus long.

Pour les lignes 1 à 1000 = 3 s, 10001 à 11000 = 9 s, 25001 à 26000 = 21 s... et cela augmente de manière exponentielle.

Quelqu'un aurait-il une idée pour optimiser ce genre d'enregistrement ? Je n'arrive pas du tout à voir à quoi cela est dû.

[arnooo999]

Bonjour,

il faut faire un clear aprés le flush
http://docs.doctrine-project.org/en/...rocessing.html

et en ligne de commande, être en environnement de prod est préférable.

[Locelot]

Bonjour et merci pour la réponse.

J'avais testé cette méthode mais le soucis est est que mon entité à une propriété ManyToOne pointant toujours vers la même donnée en base et qu'avec le clear(), il essaye d'enregistrer cette propriété comme nouvelle ligne (ce qui me donne un Doctrine\DBAL\Exception\NotNullConstraintViolationException).

Mon traitement s'effectue bien via une ligne de commande.

[arnooo999]

En admettant que tu ai un code dans ce genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
$linkedEntityId=569;
 
$linkedEntity=$em->find('Entity1',linkedEntityId);
 
foreach($entity2Iterator as $e){
 
  $e->setLink($linkedEntity);
  //faire un flush  tout les 1000
}

il faudrait le remplacer par quelque chose comme ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
$linkedEntityId=569;
 
foreach($entity2Iterator as $e){
  $linkedEntity=$em->getReference('Entity1',$linkedEntityId);//getReference n'effectue pas de requete SQL, il te renvoit juste un objet que Doctrine saura persister (doctrine saura s'il faut faire un update ou un insert)
  $e->setLink($linkedEntity);
  //faire un flush + clear tout les 1000
}

Ou tout autre méthode pour récupérer les entités utiles lorsque l'on clear l'entity Manager

[Locelot]

Merci pour ton aide mais malheureusement, j'ai le même soucis avec getReference(). Dès que clear() a été exécuté, le flush() d'après plante avec un Duplicate entry sur mon entité liée qu'il essaye de INSERT.