Crash mémoire après générations de fichiers csv

[shark1308]

Salut à tous,

Je vais essayer d'être le plus précis possible ;

je bosse sur un outil de génération de données Php pour mettre en charge une base mysql.

Pour gagner en perf , je fais un import de mes données générées dans des fichiers csv, mais lors de l'import de 20 000 000 de lignes mon systeme crash et me renvoi une erreur de ram saturée.

voici un aperçu de mon code :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
 
 
echo "Début remplissage : " . $nomTable . "<br />\n";
            ob_flush();
            $fp = fopen('csv/' . $order . Gendata_Casse::toCamelCase($nomTable) . 'Data.csv', 'w');
            for ($i = 1; $i <= $volume; $i++) {
                if (!assert(fputcsv($fp, call_user_func(array($this, 'populate' . Gendata_Casse::toCamelCase($nomTable)), $i), ';', '"'))) {
                    fputcsv($fp, call_user_func(array($this, 'genDependent' . Gendata_Casse::toCamelCase($nomTable))), ';', '"');
                }
            }
            fclose($fp);
....

Est ce qu'il existe une solution pour ne plus avoir ce genre de problème.

[boo64]

Tu peux charger une table sql directement depuis un csv

http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

[shark1308]

Envoyé par boo64

Tu peux charger une table sql directement depuis un csv

http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

Merci de ta rapidité,
en fait c'est ce que je fait, mais pour des soucis de rapidités, je génère d'abord mes fichiers CSV et les importes après , c'est lors de la création du CSV, quand j'importe de gros volumes, qu'il crash.

[sabotage]

c'est une erreur php ou une erreur systeme ?

[boo64]

Envoyé par shark1308

Merci de ta rapidité,
en fait c'est ce que je fait, mais pour des soucis de rapidités, je génère d'abord mes fichiers CSV et les importes après , c'est lors de la création du CSV, quand j'importe de gros volumes, qu'il crash.

ok j'imagine que tu n'as pas possibilités de générer directement c'est csv depuis sql?

[shark1308]

Envoyé par sabotage

c'est une erreur php ou une erreur systeme ?

Erreur Php qui prend trop de memoire.

[boo64]

tu peux jouer avec le memory_limit de ton php.ini et utilisé memory_get_usage pr controlé la memoire utilisée par php

[shark1308]

Envoyé par boo64

tu peux jouer avec le memory_limit de ton php.ini et utilisé memory_get_usage pr controlé la memoire utilisée par php

ok je test, merci.

[sabotage]

Je ne pense pas que PHP puisse gérer un gros fichier sans avoir la mémoire correspondante en reserve.

A voir si on fermant et ré ouvrant le fichier a la moitié du traitement ca marche.