Discussion :

[laurentSc]

Bonjour,

mon application lit des fichiers CSV afin d'en traiter les données.

Je lis en entier le fichier et stocke toutes les données dans un tableau. Le principe fonctionne bien sur des petits fichiers, mais pour traiter un fichier qui pèse 32 mO, je tombe sur une limite d'utilisation de la mémoire

Fatal error: Allowed memory size of 536870912 bytes exhausted (tried to allocate 335544320 bytes) in C:\projets\ticket_rawsrc\vendor\rawsrc\pdoplusplus\PDOPlusPlus.php on line 1296

, mais la limite fixée dans php.ini (memory_limit) est atteinte (comme je suis en local, je peux la modifier ; je l'ai mise à 15000 mO (ce qui est monstrueux mais visiblement, ça suffit pas)). Pour gérer ce problème mon idée est de limiter la quantité de données lues dans le fichier, donc de traiter cette lecture par morceaux, donc de ne lire qu'un morceau, le traiter, puis lire un autre morceau, le traiter, également, et ainsi jusqu'à atteindre la fin du fichier CSV. Peut-on s'y prendre ainsi, et si oui, comment ?

[vttman]

Bonjour,
Je ne vois pas trop le soucis techniquement parlant LaurentSc ?
Voici ma proposition ...
A voir aussi l'intérêt de stocker des informations par paquet de n lignes dans un tableau ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
Maxtab = 1000
i=0 
init montableau de 1000
ouvrir csv 
lire csv  
tant que non EOF du csv
 i++
 tant que i <= Maxtab
  csv -> tab(i)
   i++
 fin tant que
 traitement tab par 1000 éléments (tab(1) -> tab(1000))
 init montableau de 1000
 i=0 
 lire csv  
fin tant que
fermeture csv

[domi65]

Bonjour.
La quantité de mémoire utilisée n'est pas normale, même en ouvrant un fichier de 32MO.
Je te suggère de placer à diverses étapes de ton traitement l'affichage de la mémoire utilisée par :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo memory_get_usage();

Il doit y avoir des variables que tu peux détruire ou réinitialiser.

[grunk]

Il suffit de lire le fichier ligne par ligne et de traiter les lignes au fur et à mesure.
Ex :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$file = fopen('mon_fichier.csv', 'r');
while (($line = fgetcsv($file)) !== FALSE) {
   var_dump($line);
}
fclose($file);

Si chaque ligne doit donner lieu à une modification dans la base de données , il faudra alors envisager soit de grouper les insertions par lot (par exemple garder en mémoire 100 résultats et insérer une fois) ou passer par des transactions SQL qui devront elles aussi être groupées par lot.

[laurentSc]

@vttman : OK. J'avais pas pensé qu'on pouvait ne lire que quelques lignes, faire un traitement puis reprendre la lecture...

@domi65 : je vais faire ça, car OK, la consommation de mémoire est disproportionnée par rapport à la taille du tableau.

@grunk : certes, l'énorme consommation de mémoire vient très probablement d'une mauvaise conception du traitement mais bon....
J'étais parti avec cette conception :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
//1-lecture ligne par ligne du fichier et stockage des données dans le tableau self::$data
while (($row = fgetcsv(self::$handle, $buffer, self::$separator, $enclosure,"")) !== false) {
                self::$data[] = array_combine(self::$header, $row);
 
//2- stockage du tableau dans une variable :
$app_data = CSVImport::getData(); 
 
//3- traitement du tableau stocké dans la variable :
foreach ($app_data as $line_csv) //pour chq ligne, on l'analyse et si correcte, en bdd
        {
...
        }

Je vais tout d'abord suivre le conseil de domi65 mais de toute façon adopter la proposition de Grunk : au lieu de stocker chaque ligne dans un tableau puis le traiter, après la lecture d'une ligne, traiter celle-ci tout de suite puis passer à la suivante.

[laurentSc]

Je viens de calculer ma consommation de mémoire avant et après la lecture du fichier :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
            $mem = memory_get_usage();
            echo "( memory avant lecture :".memory_get_usage()."<br/>";
 
            while (($row = fgetcsv(self::$handle, $buffer, self::$separator, $enclosure,"")) !== false) {
 
                self::$data[] = array_combine(self::$header, $row);
            } 
 
            $mem = memory_get_usage();
            echo "memory après lecture :".memory_get_usage()."<br/>";

et on passe de 937 672 octets à 252 009 440. Vu qu'il n'y a aucun traitement (seulement de la lecture puis stockage dans un tableau et que le fichier lu pèse 32 276kO). Y a pas un problème ?

[laurentSc]

Bonsoir,
j'ai appliqué, non sans mal, l'approche proposée par grunk (donc je traite chaque ligne après l'avoir lue, plutôt que la stocker dans un tableau) et ça a l'air de moins solliciter la mémoire car j'ai jamais été si loin : dans le fichier CSV, il y a plus de 109000 lignes et pour l'instant, il y en a 35000 de traitées (donc analyse puis écriture en bdd) alors qu'avant, ça n'atteignait pas les 10000 lignes. Je vais le laisser tourner toute la nuit et on verra demain (OK, conception pourrie car pour un expert, ça serait plié en 10 secondes, alors que ça doit faire 15 minutes que ça tourne, mais bon...)