[Tableaux] Limite de mémoire

Version imprimable

bonjour

j'ai un script php qui lit des (tres) gros fichiers texte.
Le pb est que du coup j'ai le message suivant :

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 963142068 bytes)

Bien qu'ayant augmenté la memoire dans le php.ini à 256 Mo !!!

y-a-t-il un moyen de limiter cela, car je n'utilise que les 50 dernieres lignes du fichier

Voilà le script :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
$lines = file ("/home/log/$rep/$file");
$dernieres_lignes = array_slice($lines, -50);
$monTableauInverse = array_reverse ($dernieres_lignes, true);
echo "<P align=center>";
echo "<TABLE bgColor=#ffd7ff border=1>";
echo "<TBODY>";
foreach ($monTableauInverse as $line) {
if ( strpos( $line , arning ) != 0 || strpos( $line , ritical ) !=0 )
{
$line1 = str_replace (array("info", "info"), "<span style='background-color:green;'>info</span>", $line);
$line2 = str_replace (array("warning", "Warning"), "<span style='background-color:gold;'>warning</span>", $line1);
$line3 = str_replace (array("critical","Critical"), "<span style='background-color:red;'>critical</span>", $line2);
        echo "<TD><TR>";
      echo $line3. "<br>";
        echo "</TD></TR>";
      }
      }
       ?>
       </TD></TR></TBODY></TABLE></P>
        </body></html>

Merci pour votre aide !!!!!!!!

28/09/2007, 10h56
julien.63

salut
essaye de voir avec
stream_get_contents http://fr2.php.net/manual/fr/functio...t-contents.php
ou
stream-get-line http://fr2.php.net/manual/fr/functio...m-get-line.php
C'est des flux, donc je pense que tout n'est pas chargé en mémoire... à voir

Salut,
à priori effectivement si tu lis le fichier ligne par ligne au lieu de le mettre dans un tableau avec file(). Tu peux utiliser fopen(), fgets(), etc.

ci-dessous une fonction que j'avais codée qui te permet de récupérer n lignes à partir de la fin d'un fichier :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 function readLines($file, $lines) { $handle = fopen($file, "r"); $pos = 0; $output = ""; $status = 0; for($nbLines = 0; $nbLines < $lines && $status !== -1; $nbLines++) { $char = ""; while($char != "\n" && (($status = fseek($handle, $pos--, SEEK_END)) !== -1)) { $char = fgetc($handle); } $output[] = fgets($handle); } fclose($handle); return array_reverse($output); } $lines = readLines("file.txt", 5);
Bye

28/09/2007, 11h37
bluemartini

regarde la fonction fgets qui retourne juste la ligne courante du fichier.
Comme ça tu peux les lire une à une et les enregistrer seulement si elles correspondent
28/09/2007, 11h45
pascalbout1

Citation:

maxlength (entier)
Le nombre maximal d'octets à lire. Par défaut, -1 (lit tout le contenu restant du buffer).

offset (entier)
Se déplace à la position spécifiée avant la lecture. Ajouté en PHP 5.1.0.

le probleme etant que je ne peux pas definir a quel endroit commencer la lecture car il y a X fichiers de tailles différentes, et les tailles evoluent au fil du temps.
De plus ce n'esr que la fin du fichier qui m'interesse (les 50 dernieres lignes)

Merci
28/09/2007, 11h48
bluemartini

Sur Linux tu as la fonction tail...
28/09/2007, 11h59
pascalbout1

Citation:

Envoyé par bluemartini

Sur Linux tu as la fonction tail...

et oui, mais je dois faire la meme chose en php (pour pouvoir visualiser au travers d'un navigateur), pour pouvoir ajouter ensuite des filtres sur les mots clefs "critical, info et warning".
28/09/2007, 12h15
CR_Gio
bonjour a tous :)

Citation:

(pour pouvoir visualiser au travers d'un navigateur)

Il suffit de redirigé la sortie standar :)
Code:

1 2 3 4 5 6 7 8 9 10 11 12 <?php $filename='/path/file'; $lines=10; $pid=exec('tail '.$filename.' -n '.$lines.' 2>&1 ', $output); echo '<pre>'; print_r($output); echo '</pre>'; ?>
PS : Merci bluemartini pour cette superbe methode ( tail )
28/09/2007, 14h30
pascalbout1

excellent ce script, merci !!!!!!!!
Mais je peux integrer le filtrage pour les warning et autre critical ?
j'essaye de le faire sur la variable output mais apparemment il n'aime pas ça !
merci
28/09/2007, 14h38
pascalbout1

bon finalement c'est bien mais :
- le tail n'affiche pas les dernieres lignes en 1er
- il n'y a pas de retour chariot, du coup les lignes font 3 ecrans de long :mouarf: (pb que je n'ai pas avec le script ci-dessus ;)

c'est dommage, c'etait super :king:
28/09/2007, 14h44
bluemartini

- Il est plus simple et plus rapide d'inverser l'ordre des lignes d'un fichier de 50 lignes que de traiter un fichier de 250Mo comme tu le faisais
- le tail t'affiche le contenu exact de tes 50 dernières lignes. Dans ton cas deux choses : soit tu n'as pas de sauts de lignes dans ton fichier au départ et dans ce cas tu peux toujours les ajouter en parsant ton fichier, soit tu fais la triste mais célèbre erreur de travailler sur windows, alors que ton fichier a été créé sur linux. Dans ce cas il te suffit de remplacer dans ton fichier les caractères de saut de ligne \n par \r
Dans ces deux cas tu auras de meilleures perf avec tail
28/09/2007, 15h05
pascalbout1

Citation:

soit tu fais la triste mais célèbre erreur de travailler sur windows, alors que ton fichier a été créé sur linux. Dans ce cas il te suffit de remplacer dans ton fichier les caractères de saut de ligne \n par \r
Dans ces deux cas tu auras de meilleures perf avec tail

"de travailler sur windows, alors que ton fichier a été créé sur linux ": et c'est mon cas, mais le probleme ne se situe pas au niveau des retours de fin de ligne, mais au niveau du redimensionnement, c'est à dire qu'une même ligne de 3 ecrans de long sera automatiquement découpé pour tenir sur 3 lignes avec le script 1, mais restera sur une seule ligne avec le tail