Probléme de Mémoire dans un tableau

Version imprimable

Bonjour

Je test un petit script qui gère des gros fichier texte (contient jusqu’à un million de ligne ).

quant je travail avec un fichier de test qui contient 20 ligne le script marche très bien mais quant je load un gros fichier sa me donne cette erreur
Code:

1 2 Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 35 bytes) in C:\wamp\www\test\index.php on line 44
La ligne 44 contient sa
Code:

1 2 3 4 5 6 7 8 9 10 $fichier="test.txt"; $tabfich=file($fichier); $tab = Array(); for( $i = 0 ; $i < count($tabfich) ; $i++ ) $tab[$i]=$tabfich[$i]; $tabD = array_unique($tab);//La ligne 44
Cordialement

Bonjour,

bah oui un million de lignes ça commence à peser.
Avant de bidouiller la mémoire maximum allouée à un script est-ce qu'avec ce code ça passe ?
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 <?php $fichier = "test.txt"; $tabfich = file($fichier); $tab = array(); $nb = count($tabfich); for($i = 0; $i < $nb ; ++$i) { $tab[$tabfich[$i]] = $i; } $tabD = array_flip($tab); ?>

voila l'erreur qui as donné votre code

Code:

1
2
 
Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 24 bytes) in C:\wamp\www\test.php on line 8

29/02/2012, 21h58
rawsrc

Ok, quelle le poids du fichier à parser ?
29/02/2012, 22h11
ryodo

Le fichier a 14 M

avec 500 K de ligne
29/02/2012, 22h24
rawsrc

c'est du csv ?
29/02/2012, 22h35
rawsrc

Bon, si tu as accès au fichier php.ini tu peux modifier la directive memory_limit et la passer à 32M, voire 96M si tu utilises des bibliothèques qui manipulent des images.

Si tu n'as pas accès, il te reste le

Code:

ini_set('memory_limit', '16M');

à placer au début de ton script.

Enfin, il faut te conformer au max autorisé par ton hébergeur.
Chez certains tu peux jouer sur la mémoire avec la directive

Code:

php_value memory_limit 16M

à placer dans le .htaccess

Ensuite, il se peut que tu butes sur le temps limite d'exécution d'un script, pour cela il faut jouer avec set_time_limit()
29/02/2012, 22h57
ryodo
la je travail en local et j'ai sa dans mon php.ini
Code:

1 2 memory_limit = 128M
et sa ne marche pas toujours
01/03/2012, 09h25
rawsrc

Ah oui si avec 128M ça ne passe toujours pas, il faudrait dire ce que contient ton fichier et ce que tu en fais avec ta routine de parsage pour essayer de voir si une autre approche permettrait de le digérer.

Vous pouvez utiliser fopen et fgets pour lire le contenu de fichier et des boucles pour tester:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
set_time_limit(1000);
$fichier = "test.txt";
 
$handle = @fopen($fichier, "r");
if ($handle) {
   while (!feof($handle)) {
       $lines[] = fgets($handle, 4096);
   }
   fclose($handle); 
}
 
$resultat=array();
foreach ($lines as $ln){
    if (!in_array($ln, $resultat))
    {
        $resultat[]=$lines[$key];
    }
}
 
foreach ($resultat as $ln){
    echo '<br>'.$ln;
}

J'ai l'essayé avec un fichier de 50 M, ça fonctionne mais il a pris quelques minutes!

04/03/2012, 15h49
ryodo
Merci pour vos repense mais j'ai pris la solution suivante
Code:

1 2 ini_set('memory_limit', '5500M');
sa marche en local et chez mon hébergeur

Cordialement