Discussion :

[pascalbout1]

bonjour



j'ai un script php qui lit des (tres) gros fichiers texte.
Le pb est que du coup j'ai le message suivant :

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 963142068 bytes)

Bien qu'ayant augmenté la memoire dans le php.ini à 256 Mo !!!

y-a-t-il un moyen de limiter cela, car je n'utilise que les 50 dernieres lignes du fichier

Voilà le script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
$lines = file ("/home/log/$rep/$file");
$dernieres_lignes = array_slice($lines, -50);
$monTableauInverse = array_reverse ($dernieres_lignes, true);
echo "<P align=center>";
echo "<TABLE bgColor=#ffd7ff border=1>";
echo "<TBODY>";
foreach ($monTableauInverse as $line) {
if ( strpos( $line , arning ) != 0 || strpos( $line , ritical ) !=0 )
{
$line1 = str_replace (array("info", "info"), "<span style='background-color:green;'>info</span>", $line);
$line2 = str_replace (array("warning", "Warning"), "<span style='background-color:gold;'>warning</span>", $line1);
$line3 = str_replace (array("critical","Critical"), "<span style='background-color:red;'>critical</span>", $line2);
        echo "<TD><TR>";
      echo $line3. "<br>";
        echo "</TD></TR>";
      }
      }
       ?>
       </TD></TR></TBODY></TABLE></P>
        </body></html>

Merci pour votre aide !!!!!!!!

[julien.63]

salut
essaye de voir avec
stream_get_contents http://fr2.php.net/manual/fr/functio...t-contents.php
ou
stream-get-line http://fr2.php.net/manual/fr/functio...m-get-line.php
C'est des flux, donc je pense que tout n'est pas chargé en mémoire... à voir

[bluemartini]

regarde la fonction fgets qui retourne juste la ligne courante du fichier.
Comme ça tu peux les lire une à une et les enregistrer seulement si elles correspondent

[pascalbout1]

maxlength (entier)
Le nombre maximal d'octets à lire. Par défaut, -1 (lit tout le contenu restant du buffer).

offset (entier)
Se déplace à la position spécifiée avant la lecture. Ajouté en PHP 5.1.0.

le probleme etant que je ne peux pas definir a quel endroit commencer la lecture car il y a X fichiers de tailles différentes, et les tailles evoluent au fil du temps.
De plus ce n'esr que la fin du fichier qui m'interesse (les 50 dernieres lignes)

Merci

[bluemartini]

Sur Linux tu as la fonction tail...

[pascalbout1]

Sur Linux tu as la fonction tail...

et oui, mais je dois faire la meme chose en php (pour pouvoir visualiser au travers d'un navigateur), pour pouvoir ajouter ensuite des filtres sur les mots clefs "critical, info et warning".

[CR_Gio]

bonjour a tous

(pour pouvoir visualiser au travers d'un navigateur)

Il suffit de redirigé la sortie standar

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
<?php
 
$filename='/path/file';
$lines=10;
 
$pid=exec('tail '.$filename.' -n '.$lines.' 2>&1 ', $output);
 
echo '<pre>';
print_r($output);
echo '</pre>';
 
?>

PS : Merci bluemartini pour cette superbe methode ( tail )

[Djakisback]

Salut,
à priori effectivement si tu lis le fichier ligne par ligne au lieu de le mettre dans un tableau avec file(). Tu peux utiliser fopen(), fgets(), etc.

ci-dessous une fonction que j'avais codée qui te permet de récupérer n lignes à partir de la fin d'un fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
function readLines($file, $lines)	{
	$handle = fopen($file, "r");
	$pos = 0;
	$output = "";
	$status = 0;
	for($nbLines = 0; $nbLines < $lines && $status !== -1; $nbLines++)	{
		$char = "";
		while($char != "\n" && (($status = fseek($handle, $pos--, SEEK_END)) !== -1)) {
			$char = fgetc($handle);
		}
		$output[] = fgets($handle);
	}
	fclose($handle);
	return array_reverse($output);
}
 
$lines = readLines("file.txt", 5);

Bye