Doctrine Fixtures - Allowed memory size

Version imprimable

14/09/2011, 16h09
Guybrush113

Doctrine Fixtures - Allowed memory size

Bonjour à vous !

J'ai installé le bundle DoctrineFixtures pour pouvoir injecter rapidement quelques données dans la base de données.

Dans mon exemple je veux ajouter une liste de continents/pays/nationalités, régions/départements/villes françaises, avec toutes les relations qui vont bien.

Le soucis est que j'ai tout ceci dans des fichiers XML et que celui des villes de France est assez énorme, presque 37000 villes.
Et du coup je me retrouver avec une belle erreur PHP :

Code:

PHP Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 40 bytes) in /home/.......

J'ai donc "isolé" l'ajout des villes dans un autre fichier de chargement de fixtures, et je passe par référence tout les départements précédemment ajoutés.
Mais en vain, c'est toujours pareil :cry:

Avez-vous déjà voulu injecter beaucoup de données par cette méthode de Fixtures ?

Je n'ai plus beaucoup d'idées, mais à mon avis c'est l'association au département qui pose problème, vu que je manipule beaucoup d'entités.

Cela n'existe pas des instances d'entité en version light ? :mrgreen:

Si vous avez des idées, je suis toute ouïe ! Merci.

PS : Je ne sais pas vraiment quoi placer comme bout de code.
16/09/2011, 07h41
Tolriq

Pour des besoins ultra spécifique d'import maitrisé ou autre perso souvent j'utilise un simple :

@ini_set('memory_limit', -1);

Pour éviter ce genre de soucis quand c'est des libs qui posent soucis et que tu n'as pas forcement la main.

Bien entendu a ne pas utiliser n'importe ou et n'importe comment pour ne pas plomber des serveurs de production :)
16/09/2011, 08h39
Guybrush113

Merci Tolriq.
Effectivement je peux faire cela oui. Tout de façon j'utilise uniquement ces fixtures quand je viens de re-créer la base de données, donc c'est seulement en dev pour le moment.

Par contre pour la mise en production, il faudrait que je fasse attention oui.

Mais je trouve quand même cela bizarre, un XML de 37000 éléments, faire un persist sur chaque entité créée et flush à la fin, cela dépasse la mémoire autorisée.

Sinon je pourrais faire des simples requêtes SQL :?
16/09/2011, 09h08
Guybrush113

Testé avec des requêtes SQL, mais problème de clés étrangères, ainsi que pour récupérer les "last_insert_id"... Bref ca double le code initial avec Doctrine.

Me reste toujours la solution d'en faire un import SQL, au lieu de fixtures :cry:
16/09/2011, 09h49
Guybrush113

Bon ca ne passe même pas avec @ini_set('memory_limit', -1);

Quand je fais un flush après la boucle, ca reste bloqué, ca ne renvoie même pas une exception. Et quand je fais un flush pour chaque persist dans la boucle, ca prend énormément de temps et beaucoup de ressources, donc ce n'est pas la solution.
04/10/2011, 10h20
Guybrush113

Me revoilà avec la solution :ccool:

En voulant faire un client de WebService, je me suis confronté avec plus ou moins le même problème, des temps de requête très longs, et beaucoup de mémoire utilisée.

J'ai donc trouvé cet article assez sympathique sur le Batch Processing avec Doctrine2 :
http://www.doctrine-project.org/docs...tch-processing

Ceci en place c'était beaucoup mieux, mais pas suffisant. J'ai cherché encore, et j'ai trouvé la formule magique :

Code:

php app/console doctrine:fixtures:load --fixtures=src/.../ --append --no-debug

Ce no-debug est utilisable pour toute les commandes apparemment, mais du coup pour le chargement de fixtures en masse, c'est très très utile.

Voili voilou, en espérant que ca aidera du monde :D