Ouvrir de gros fichiers en php ? [Résolu]

[BOTEN ANNA]

Bonsoir à tous,

J'ai un script php qui me permet de consulter les logs, cela marche pour les petits fichier (<2M) mais pas pour les gros.

Ma question : Quelle est la solution pour un ouvrir un gros fichier ( dépassant les 1 GB ) en php ? (bien évidemment avec traitement par ligne)

Merci d'avance.

[gene69]

je dirai que t'es jamais obligé de charger tout ton fichier en memoire... au démarrage de ton appli. sans doute qu'une manipulation de tes données comme un flux 'résoudra' ton besoin.

[Séb.]

J'ai un script php qui me permet de consulter les logs, cela marche pour les petits fichier (<2M) mais pas pour les gros.

Quel est le problème / message d'erreur ?

Envoyé par BOTEN ANNA

Ma question : Quelle est la solution pour un ouvrir un gros fichier ( dépassant les 1 GB ) en php ? (bien évidemment avec traitement par ligne)

Ne pas utiliser file_get_contents( )
fopen/fgets/fclose devraient suffire.

[BOTEN ANNA]

J'utilise actuellement la fonction array_reverse(file($file)); car je dois lire les logs de la fin au début et c'est trop trop gourmand en mémoire.

J'ai l'erreur :

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1975602547 bytes) in /var/site/track.php on line 100

Justement c'est ce que je cherche, c'est de lire un fichier à la volée sans le charger en mémoire et si possible à l'envers?

[stealth35]

oui avec fseek + fread, sinon tu lis avec fgets et tu prends que les lignes qui t’intéresses

[BOTEN ANNA]

J'ai essayé avec fread et toujours le même problème de mémoire...


Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1975602547 bytes) in /var/site/track.php on line 100

[stealth35]

Envoyé par BOTEN ANNA

J'ai essayé avec fread et toujours le même problème de mémoire...


Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 1975602547 bytes) in /var/site/track.php on line 100

parce que tu met touts dans une variable, montre ce que t'as fait

[BOTEN ANNA]

Envoyé par stealth35

parce que tu met touts dans une variable, montre ce que t'as fait

Apparemment ça marche avec ce code :

Code :

1
2
3
4
5
6
7
8
9
10
<?php 
    $file = "";
    $f = fopen($file, "r+");
    $i = 1;
    while ( $i <= 100  ) 
{
    echo  fgets($f);
   $i++;
}
?>

Mais je plante avec fseek pour lire le fichier à l'envers ?

[Séb.]

Tu as des exemples d'utilisation dans la doc http://fr.php.net/fseek

[BOTEN ANNA]

Désolé mais je plante toujours (même avec la doc), pourriez-vous me donner un exemple avec mon code ?

[Sylvain__A_]

Tu peux essayer avec la SPL, et plus particulièrement la classe SplFileObject,
qui te permet de boucler sur le contenu d'un fichier via foreach (interface Iterator & SeekableIterator), et bien plus, voir ce tuto:
http://gooh.posterous.com/iterating-files-with-spl

And of course you can stack an SplFileObject into other Iterators, for instance the LimitIterator to limit how many lines should be iterated over:

Code :

Mais bon, un fichier de log de 2GO, c'est un peu trop... Si j'étais à ta place, j'essayerais de traiter le problème en amont. Log Rotate est ton ami...

[BOTEN ANNA]

Vraiment les autres ont tendance de "nature" à vouloir compliquer les choses ? Vas savoir pourquoi...

Merci Sylvain__A_, tu m'as ouvert les yeux et j'ai finalement opté pour le shell_exec (tail $fichier).

Et par la même occasion je souhaiterai partager avec vous une autre méthode qui marche aussi :

> http://tekkie.flashbit.net/php/tail-...onality-in-php

A bon entendeur.