Discussion :

[mathspountz]

Bonjour tout le monde,

Je sèche sur une affaire bien embêtante...

J'ai une fonction qui marche bien sur les petits fichiers csv mais pas sur les gros, pour lesquels php me renvoi l'erreur suivante (ex : fichier de 8Mo) :

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 72 bytes)

Comment est-ce possible d'alloué 130Mo de mémoire pour lire un fichier de 8Mo ?

Voici ma fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
if (($handle = fopen($fichier, "r")) !== false) {
	$tmp = [];
    while (($data = fgetcsv($handle, 0, ";")) !== false) { // problème sur cette ligne
    	$tmp[count($tmp)] = $data;
    }
    fclose($handle);
    $this->TAB = $tmp;
}else{
	$this->error[3] = 'Fichier non disponible';
}

Je pense que le problème vient de la fonction fgetcsv et notamment de l'argument length :

Doit être plus grand que la plus grande ligne (en terme de caractères) à lire dans le fichier (y compris le caractère de fin de ligne). Ce paramètre est optionnel depuis PHP 5. Omettre ce paramètre (ou le définir à 0 en PHP 5.1.0 et suivant) fait que la longueur maximale de la ligne n'est pas limitée, ce qui est légèrement plus lent.

Mais que faire si l'on est dans l'impossibilité d'anticiper le nombre de caractère par ligne de notre fichier ?
Quelqu'un pourrait-il m'aider à comprendre le fonctionnement sous-jacent à cette fonction ?

Merci d'avance pour votre aide !

[sabotage]

On voit dans l'erreur que la lecture du CSV prend 72 octets par ligne.
Tu n'as pas un traitement avant la lecture CSV ?
Dans tous les cas il serait intéressant de regarder precisement la consommation de mémoire pendant le traitement.

Au passage écris simplement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$tmp[] = $data;

Il n'y a pas besoin de mesurer le tableau à chaque tour.

[Celira]

Concernant la question sur la longueur de la ligne : si ton fichier CSV sert à alimenter une base de donnée, tu connais la longueur maximale possible pour chaque champ en base de données. Tu as juste à faire la somme, et ajouter les séparateurs et les délimiteurs (le mieux étant de prévoir une marge de sécurité)

Pour le reste, je plussoie Sab' : il serait intéressant de savoir ce que le traitement fait d'autre avant la lecture CSV, et à quoi sert le tableau $tmp au final.

[mathspountz]

Merci pour vos réponses et pour l'astuce !

Avant cela le script télécharge le fichier csv en question sur un ftp distant, puis ouvre la version uploadé en local afin de le mettre dans ce tableau.

Le tableau sert en aval à effectuer des contrôle AVANT un éventuel chargement dans une table qui sera créée dynamiquement à partir d'une partie du contenu du csv. Ceci afin de permettre de faire du reporting dessus, un peu comme les tableaux croisés dynamiques sur Excel.

J'ai effectué ce test (pour info le fichier fais un peu moins de 45000 lignes pour 8Mo = 177 o par ligne en moyenne, pas 3Mo ?) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
if (($handle = fopen($fichier, "r")) !== false) {
	$tmp = [];
	$mem = 0;
    while (($data = fgetcsv($handle, 0, ";")) !== false) {
    	echo memory_get_usage().' (+'.intval(memory_get_usage()-$mem).')<br>';
    	$mem = memory_get_usage();
    	$tmp[] = $data;
    }
    fclose($handle);
    $this->TAB = $tmp;
}else{
	$this->error[3] = 'Fichier non disponible';
}

Et voici le log :

419936 (+419968)
423104 (+3200)
426200 (+3128)
429288 (+3120)
[...] // je vous épargne les milliers de lignes
134182264 (+3120)
134185352 (+3120)
134188440 (+3120)
134191528 (+3120)

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 72 bytes) in /var/www/factory/scripts/bibli.php on line 139

[mathspountz]

Double post pour précision :
J'ai regardé à la main le fichier en question possède des lignes d'environ 250 caractères.
De plus j'ai essayé de mettre le paramètre length à 1000, le log renvoi la même chose.

[CosmoKnacki]

Il faut voir que que mem_get_usage() ne dit pas tout, et que 8Mo de fichier texte ne fait pas 8Mo une fois transformé en tableau multidimensionnel. Les tableaux PHP sont plutôt gourmands en mémoire. Donc fgetcsv n'est pas en cause, mais bien ton monstrueux tableau multidimensionnel $tmp de 42000 items pour lequel PHP alloue une place de tous les diables.

Solutions possibles:

• Si ce que tu veux faire te le permet, ne stocke rien du tout et traite les lignes une par une dans la boucle while. C'est d'ailleurs le principe de fopen/fgetcsv qui utilise un flux, plutôt que de charger l'intégralité du fichier pour le saucissonner dans un deuxième temps (comme la solution file/str_getcsv).
• Si tu utilises un sgbd, tu peux importer directement ton fichier csv dans une table, puis faire tes traitements dans la base (ce qui suivant ce que tu souhaites faire pourrait être plus rapide). Attention avec MySQL si tu as des champs entre quotes contenant des quotes échappés en étant doublés car il ne les gère pas correctement.
• Au lieu d'utiliser les tableaux de base de PHP, utilise des SplFixedArray qui consomment moins de mémoire (~3X moins) et sont plus rapides (on peut adapter leur taille en cours de route au besoin).

[mathspountz]

Arf tu as raison CosmoKnacki en fait je pense que le problème vient du fait que ma class est mal construite.

J'avais prévu une classe qui me créé un tableau de données, que je pouvais traité dans mon main en le mettant en paramètre des fonctions "trouver un champs", "tester les types" etc...

Mais le mieux serait d'inclure ces méthodes dans la class et de travailler avec fopen/fgetcsv. Avec un constructeur qui télécharge le fichier dans un dossier temporaire et un destructeur qui supprime ce fichier.

Je viens du VBA, qui est un langage très permissif, ce qui ne m'a pas incité à travailler les objets correctement :S

Qu'en pensez-vous ?