Import massif via Doctrine

Bonjour tout le monde,

Je voudrais savoir comment faire pour importer un volume très important de données en ligne de commande, via Doctrine.
Je dois importer plus de 2 millions de lignes en base de données, mais PHP craque au bout de 120 000 enregistrements effectués.
J'ai augmenté la memory_limit dans le fichier ini à 2048Mo, mais cela ne semble pas suffire.

Compte-tenu q'uil s'agit d'un import qui se fera régulièrement avec presque autant de données, je ne peux pas mettre un memory_limit à -1.

Niveau code, je fais un je fais un "persist" à chaque tour de boucle, mais je "flush" au bout de 10 000 enregistrements (avec un clean à la suite).

Auriez-vous des conseils pour que je parvienne à importer l'ensemble de ce documents ?

Merci par avance pour votre aide

Salutations

YOOOOOOOO MAAAAAAAAAAAAAAAN RASTAFARIIIIIIIIIIIIIIIIIIIIIIII

quand il s'agit de gros volume, il ne faut plus utiliser les objets mais écrire des requêtes natif SQL.
ainsi tu va gagner en mémoire et en rapidité...

Bonjour,

Mon j'opterais pour la même structure qu'un emailing, c.a.d. un traitement par lot.
Si en plus tu dis que ça doit se faire tous les jours ça s'y prête d'autant plus.

Le principe est que chaque appel au script (généralement fait via un cron) :
- vérifie si l'appel au script précédent est bien terminé
- vérifie s'il y a encore des lignes à traiter
- traite son lot de ligne

Il faut pour se faire s'aider d'au moins une table qui va gérer différents statut et t'indiquer à quel ligne tu t'es arrêté dans ton fichier.

Cdt

PS : je suis parti du principe que tu avais un fichier d'export, à adapter donc selon la nature de tes données

Bonjour,

As tu lu la doc doctrine concernant les imports massif?
http://doctrine-orm.readthedocs.org/...rocessing.html
en gros faire un flush, suivi d'un clear à intervalle régulier

de plus il faut lancer ta commande en environnement de prod (--env=prod)

passer par des requetes SQL pourrait éventuellement accéler les choses mais à condition d'utiliser
-> les requetes préparés
-> les transactions
(ces 2 choses étant déjà gérés par Doctrine ORM)