[CSV] Lecture de fichier "volumineux" [Résolu]

[damaskinos]

Bonjour,

J'ai un site qui fonctionait et depuis hier il y a une erreure. Quand je le roule sur mon serveur local, ça marche mais quand je le remet sur le serveur de deployement le bug réapparait. J'ai trouvé la ou ça bloque. J'ai un fichier csv qui contient près de 7500 lignes. mon script l'ouvre et le lit au complet, mais depuis hier il arrive plus a le lire au complet. Il s'arrête à la ligne 54463. Du coup le reste du script ne s'exécute plus. Je n'arrive pas à savoir pourquoi. Est-ce que ça vient de mon hebergeur? Où est-ce une attaque de type overflow. Je ne m'y connais pas trop en ce type d'attaque. À l'aide svp.

voilà le bout de code qui lit:

Code :

1
2
3
4
5
6
7
8
 
$row = 1;
while (($buffer = fgets($handle, 4096)) !== FALSE) 
{
 
    $array[$row] = substr($buffer, 1, strpos($buffer, ",") - 2);
    $row++;
}

Merci d'avance

[julien.63]

salut,
ça vient surement d'une différence dans le php.ini
Si tu n'as pas les droits pour le modifier comme tu le souhaites, tu peux essayer à la volée avec ini_set http://www.php.net/manual/fr/function.ini-set.php

[damaskinos]

Oui mais je dois changer quoi au juste?

[viviboss]

C'est sur, c'est du coté du php.ini qu'il faut voir : fait un fichier info.php avec une seule instruction : phpinfo();

Pour changer une valeur du php.ini, il suffit de placer cette ligne avant celles que tu nous montre :

Code :

1
2
 
ini_set(valeur_du_php.ini, nouvelle_valeur);

le phpinfo te donnera exactement toute les valeurs du php.ini. Il faut que tu cherches les lignes du type : post_size, etc...., Bref, des attributs avec comme valeur des Mo....

Tu as cette valeur qui dérange quelques fois : upload_max_filesize, surtout si tu l'Upload....

Il faudrait que tu compare le phpinfo de ton serveur chez toi, et celui de ton hébergeur pour relever les différences....

[julp]

Envoyé par damaskinos

J'ai un fichier csv qui contient près de 7500 lignes.
Il s'arrête à la ligne 54463.

Il y en a combien du coup ?

Ne serait-ce pas plutôt un problème liée au fait que vous ayez atteint la quantité de mémoire maximale ou le temps d'exécution maximal ? Pourriez-vous placer ceci en haut de votre script et nous donner les erreurs affichées ?

Code :

1
2
error_reporting(E_ALL);
ini_set('display_errors', 1);

(en espérant qu'ini_set vous soit accessible)

[damaskinos]

J'ai cette erreur qui s'affiche

Fatal error: Allowed memory size of 8388608 bytes exhausted (tried to allocate 4097 bytes) in /home/site/www/site/iptest.php on line 35

.

C'est clair que c est un problème de mémoire. Donc je devrais changer l'attribut
memory_limit et la augmenter. Mais maintenant, pourquoi ce script fonctonnait et la j,ai ce problème ? Je ne crois pas que quelqu,un a changé le php.ini. On a un seveur virtuel. Bon j'essaye ça et je reviens vous donner des nouvelles.

[damaskinos]

J'ai changé la valeur de memory_limit et la ca fonctionne. Je n'arrive pas à comprendre pourquoi ça fontionnait avant et que d'un coup ça marchait plus.

Merci à tous pour vos reponse

[stunti]

Cela marche jsuqu'a ce que cela ne marche plus de nouveau.
Le probleme avec ta methode de traitement du fichier, c'est que tu charge tout le fichier en memoire.
Donc quand la taille de ton fichier augmente la taille de ta variable en memoire augmente.
Le meilleur moyen de traiter un fichier dont tu ne connais pas la taille (et qui a donc une taille potentiellement infini) c'est de faire un traitement ligne a ligne ou par block de plusieurs lignes.
Tu evite ainsi une saturationde ta memoire.

[julp]

fgets = lecture par ligne ...

ça vient vraisemblablement du tableau puisque vous y ajoutez au fur et à mesure de votre lecture des parties de chaque ligne. Pourquoi ça ne fonctionne plus aujourd'hui ? Vous avez du ajouté une paire de lignes à ce fichier ce qui fait que maintenant la mémoire nécessaire pour le script n'est plus suffisante et ses besoins dépassent cette limite de 8Mo alors que 4Ko supplémentaires seraient, ici, requis.