Discussion :

[la_chouette]

Bonjour,

Le code PHP ci-dessous permet de parser puis d’afficher et paginé le contenu d’un fichier texte contenant plus de 830 000 lignes.

Le problème est qu’il utilise plus de mémoire qu’il n'ait allouée à PHP, c’est-à-dire 128mo.

Avez-vous des recommandations sur l’optimisation du code PHP pour baisser la consommation de mémoire lors de son exécution ?

Merci de votre aide.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
<?php
$lines = file_get_contents('file.txt');
 
$perpage = 5; //Number of lines per page
 
$searchString = $_GET['search']; //Insert word(s) you're searching for
$pattern = preg_quote($searchString, '/');
$pattern = "/^.*$pattern.*/mi";
 
if(preg_match_all($pattern, $lines, $matches)){
    $line_amount = count($matches[0]);
} else {
    echo "No matches found";
}
 
$p = isset($_GET['page']) ? $_GET['page'] : 1;
for ($i = (($p * $perpage) - $perpage); $i <= (($perpage * $p) - 1); $i++){
    if($i >= $line_amount){
        break;
    } else {
        echo $matches[0][$i].'<br />';
    }
}
?>
 
<table summary="" cellpadding="10" cellspacing="0"  border="0">
    <tr>
	<?php
	$link = "";
	$page = $_GET['page']; // your current page
	$pages=$line_amount/$perpage; // Total number of pages
 
	$perpage=5  ; // May be what you are looking for
 
    if ($pages >=1 && $page <= $pages)
    {
        $counter = 1;
        $link = "";
        if ($page > ($perpage/2))
			$link .= "<td><a href=\"?page=1\">1 </a></td> <td>...</td> ";
 
        for ($x=$page; $x<=$pages;$x++)
        {
            if($counter < $perpage)
                $link .= "<td><a href=\"?page=" .$x."\">".$x." </a></td>";
 
            $counter++;
        }
        if ($page < $pages - ($perpage/2))
				$link .= "<td>...</td> " . "<td><a href=\"?page=" .$pages."\">".$pages." </a></td>";
    }
 
    echo $link;
	?>
	</tr>
</table>

[Celira]

Le principal problème de ton script est qu'il lit la totalité du fichier, qu'il passe la regex sur la totalité des lignes et ensuite seulement il filtre les résultats de la pagination.

Un axe d'optimisation serait de découper la lecture du fichier en plusieurs parties, par exemple par bloc de 1000 lignes, histoire de ne pas avoir la totalité du fichier en mémoire. Tu lis, tu parses, tu conserves uniquement les lignes qui t'intéressent et tu recommences jusqu'à la fin du fichier.

[la_chouette]

Bonjour celira,

effectivement, j'applique ton conseil tout de suite.

Merci

[MaitrePylos]

Pas sur que cela dégrossise mais essaye déjà ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
 
<?php
 
$lines = file_get_contents('file.txt');
 
$perpage = 5; //Number of lines per page
 
$searchString = $_GET['search']; //Insert word(s) you're searching for
$pattern = preg_quote($searchString, '/');
$pattern = "/^.*$pattern.*/mi";
 
if (preg_match_all($pattern, $lines, $matches)) {
    $line_amount = count($matches[0]);
} else {
    echo "No matches found";
}
 
//$p = isset($_GET['page']) ? $_GET['page'] : 1;
 
$p = 1;
if($_GET['page'])
{
    $p = $_GET['page'];
}
 
$i_perpage = ($p*$perpage- - $perpage;
$i_lte_perpage = ($perpage * $p) - 1;
 
for ($i = $i_perpage; $i <= $i_lte_perpage; $i++) {
    if ($i >= $line_amount) {
        break;
    } else {
        echo $matches[0][$i] . '<br />';
    }
}
?>
 
<table summary="" cellpadding="10" cellspacing="0" border="0">
    <tr>
        <?php
        $link = "";
        $page = $_GET['page']; // your current page
        $pages = $line_amount / $perpage; // Total number of pages
 
        $perpage = 5; // May be what you are looking for
 
        if ($pages >= 1 && $page <= $pages) {
            $counter = 1;
            $link = "";
            if ($page > ($perpage / 2))
                $link .= "<td><a href=\"?page=1\">1 </a></td> <td>...</td> ";
 
            for ($x = $page; $x <= $pages; $x++) {
                if ($counter < $perpage)
                    $link .= "<td><a href=\"?page=" . $x . "\">" . $x . " </a></td>";
 
                $counter++;
            }
            if ($page < $pages - ($perpage / 2))
                $link .= "<td>...</td> " . "<td><a href=\"?page=" . $pages . "\">" . $pages . " </a></td>";
        }
 
        echo $link;
        ?>
    </tr>
</table>

[la_chouette]

Bonjour MaitrePylos,

Merci de ton aide.

Le code PHP utilise toujours trop de mémoire, je pense que je dois d’abord limiter le nombre de données lue/chargée en mémoire comme préconiser par celira et ensuite optimisé le traitement.

[CosmoKnacki]

Oui, je suis d'accord avec Celira. D'ailleurs tu n'as pas besoin d'une regex (qui ne recherche qu'une sous-chaîne litérale). Si tu travailles ligne par ligne avec:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$fh = fopen("file.txt", "r");
if ($fh) {
    while (($line = fgets($fh)) !== false) {
        ...

Il te suffit d'utiliser la fonction stripos pour savoir si la ligne contient le motif de recherche (donc plus besoin de preg_quote non plus), ça n'en sera que plus rapide.

[grunk]

En version SPL :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$file = new SplFileObject("fichier.txt");
$results = array();
while (!$file->eof()) {
    $line = $file->fgets();
    if(strripos($line,$recherche) !== false) {
        $results[] = $line;
    }
}

https://secure.php.net/manual/fr/cla...fileobject.php

L'avantage c'est que tu peux sauter directement à une ligne donnée si tu sais ou aller et donc ne pas tout lire.
Tu pourrais donc imaginer la construction d'un index pour accélérer les accès à ton fichier si il sont récurrents.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$file = new SplFileObject("fichier.txt");
$file->seek(1234); //Saut à la ligne 1234
echo $file->current(); // Affiche la ligne

Dans tous les cas il faut si possible éviter les regex sur des traitements aussi lourd.

[la_chouette]

Merci pour conseils CosmoKnacki et grunk.

En faites je ne saisi pas comment traiter le fichier ligne par ligne (comme vous me conseiller) en affichant 100 résultats par page tout en gérant la pagination.

Je suis forcement obliger de stocker en mémoire le volume de données renvoyer (sur un fichier de 830 000 lignes minimum, je peux avoir 300 000 lignes de résultat pour une recherche que je dois afficher via une pagination).

En googlisant, je viens de tomber sur une petite astuce concernant la mémoire utiliser par php : http://www.bigeng.io/php-memory-optimization/

[Celira]

Pour la partie pagination, on pourrait imaginer passer par un fichier temporaire intermédiaire : tu lis le fichier principal ligne à ligne; si la ligne correspond, tu l'écris dans le fichier temporaire. Et ensuite, pour la pagination, tu as "juste" à la lire les lignes n à n+5.
L'avantage , c'est qu'en plus de libérer de la mémoire, le fichier temporaire peut servir de cache : tant que la chaine recherchée et le fichier source ne changent pas, il est inutile de reparser le fichier source : tu peux lire directement le fichier temporaire.

[CosmoKnacki]

En fait, la seule chose que tu dois stocker c'est les numéros de ligne après un premier parsage ligne par ligne du fichier (tu dois le stocker quelque part pour ne plus avoir à le refaire).
Ensuite, tu déduis par le calcul le numéro de la première ligne de la page où se trouve la ligne avec la correspondance que tu veux afficher, puis en utilisant la méthode SplFileObject::fseek, tu places le pointeur sur cette ligne, puis tu lis les x lignes de la page.

Pour le calcul: ligne_correspondance - ligne_correspondance%nb_lignes_par_page ( % représente le modulo).

Donc tout ce qui occupe la mémoire c'est la page courante.

[la_chouette]

Merci Celira et CosmoKnacki, j'applique vos conseils.

[grunk]

Ceci étant dit , ne serait ce pas judicieux detransformer ton fichier en une base de données qui est dédié à ce genre d'usage ?

[CosmoKnacki]

Pas faux.