Discussion :

[la_chouette]

Bonjour,

Le code PHP ci-dessous permet de parser puis d’afficher et paginé le contenu d’un fichier texte contenant plus de 830 000 lignes.

Le problème est qu’il utilise plus de mémoire qu’il n'ait allouée à PHP, c’est-à-dire 128mo.

Avez-vous des recommandations sur l’optimisation du code PHP pour baisser la consommation de mémoire lors de son exécution ?

Merci de votre aide.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
<?php
$lines = file_get_contents('file.txt');
 
$perpage = 5; //Number of lines per page
 
$searchString = $_GET['search']; //Insert word(s) you're searching for
$pattern = preg_quote($searchString, '/');
$pattern = "/^.*$pattern.*/mi";
 
if(preg_match_all($pattern, $lines, $matches)){
    $line_amount = count($matches[0]);
} else {
    echo "No matches found";
}
 
$p = isset($_GET['page']) ? $_GET['page'] : 1;
for ($i = (($p * $perpage) - $perpage); $i <= (($perpage * $p) - 1); $i++){
    if($i >= $line_amount){
        break;
    } else {
        echo $matches[0][$i].'<br />';
    }
}
?>
 
<table summary="" cellpadding="10" cellspacing="0"  border="0">
    <tr>
	<?php
	$link = "";
	$page = $_GET['page']; // your current page
	$pages=$line_amount/$perpage; // Total number of pages
 
	$perpage=5  ; // May be what you are looking for
 
    if ($pages >=1 && $page <= $pages)
    {
        $counter = 1;
        $link = "";
        if ($page > ($perpage/2))
			$link .= "<td><a href=\"?page=1\">1 </a></td> <td>...</td> ";
 
        for ($x=$page; $x<=$pages;$x++)
        {
            if($counter < $perpage)
                $link .= "<td><a href=\"?page=" .$x."\">".$x." </a></td>";
 
            $counter++;
        }
        if ($page < $pages - ($perpage/2))
				$link .= "<td>...</td> " . "<td><a href=\"?page=" .$pages."\">".$pages." </a></td>";
    }
 
    echo $link;
	?>
	</tr>
</table>

[Celira]

Le principal problème de ton script est qu'il lit la totalité du fichier, qu'il passe la regex sur la totalité des lignes et ensuite seulement il filtre les résultats de la pagination.

Un axe d'optimisation serait de découper la lecture du fichier en plusieurs parties, par exemple par bloc de 1000 lignes, histoire de ne pas avoir la totalité du fichier en mémoire. Tu lis, tu parses, tu conserves uniquement les lignes qui t'intéressent et tu recommences jusqu'à la fin du fichier.

[la_chouette]

Bonjour celira,

effectivement, j'applique ton conseil tout de suite.

Merci

[MaitrePylos]

Pas sur que cela dégrossise mais essaye déjà ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
 
<?php
 
$lines = file_get_contents('file.txt');
 
$perpage = 5; //Number of lines per page
 
$searchString = $_GET['search']; //Insert word(s) you're searching for
$pattern = preg_quote($searchString, '/');
$pattern = "/^.*$pattern.*/mi";
 
if (preg_match_all($pattern, $lines, $matches)) {
    $line_amount = count($matches[0]);
} else {
    echo "No matches found";
}
 
//$p = isset($_GET['page']) ? $_GET['page'] : 1;
 
$p = 1;
if($_GET['page'])
{
    $p = $_GET['page'];
}
 
$i_perpage = ($p*$perpage- - $perpage;
$i_lte_perpage = ($perpage * $p) - 1;
 
for ($i = $i_perpage; $i <= $i_lte_perpage; $i++) {
    if ($i >= $line_amount) {
        break;
    } else {
        echo $matches[0][$i] . '<br />';
    }
}
?>
 
<table summary="" cellpadding="10" cellspacing="0" border="0">
    <tr>
        <?php
        $link = "";
        $page = $_GET['page']; // your current page
        $pages = $line_amount / $perpage; // Total number of pages
 
        $perpage = 5; // May be what you are looking for
 
        if ($pages >= 1 && $page <= $pages) {
            $counter = 1;
            $link = "";
            if ($page > ($perpage / 2))
                $link .= "<td><a href=\"?page=1\">1 </a></td> <td>...</td> ";
 
            for ($x = $page; $x <= $pages; $x++) {
                if ($counter < $perpage)
                    $link .= "<td><a href=\"?page=" . $x . "\">" . $x . " </a></td>";
 
                $counter++;
            }
            if ($page < $pages - ($perpage / 2))
                $link .= "<td>...</td> " . "<td><a href=\"?page=" . $pages . "\">" . $pages . " </a></td>";
        }
 
        echo $link;
        ?>
    </tr>
</table>

[la_chouette]

Bonjour MaitrePylos,

Merci de ton aide.

Le code PHP utilise toujours trop de mémoire, je pense que je dois d’abord limiter le nombre de données lue/chargée en mémoire comme préconiser par celira et ensuite optimisé le traitement.

[CosmoKnacki]

Oui, je suis d'accord avec Celira. D'ailleurs tu n'as pas besoin d'une regex (qui ne recherche qu'une sous-chaîne litérale). Si tu travailles ligne par ligne avec:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$fh = fopen("file.txt", "r");
if ($fh) {
    while (($line = fgets($fh)) !== false) {
        ...

Il te suffit d'utiliser la fonction stripos pour savoir si la ligne contient le motif de recherche (donc plus besoin de preg_quote non plus), ça n'en sera que plus rapide.

[grunk]

En version SPL :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$file = new SplFileObject("fichier.txt");
$results = array();
while (!$file->eof()) {
    $line = $file->fgets();
    if(strripos($line,$recherche) !== false) {
        $results[] = $line;
    }
}

https://secure.php.net/manual/fr/cla...fileobject.php

L'avantage c'est que tu peux sauter directement à une ligne donnée si tu sais ou aller et donc ne pas tout lire.
Tu pourrais donc imaginer la construction d'un index pour accélérer les accès à ton fichier si il sont récurrents.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$file = new SplFileObject("fichier.txt");
$file->seek(1234); //Saut à la ligne 1234
echo $file->current(); // Affiche la ligne

Dans tous les cas il faut si possible éviter les regex sur des traitements aussi lourd.

[la_chouette]

Merci pour conseils CosmoKnacki et grunk.

En faites je ne saisi pas comment traiter le fichier ligne par ligne (comme vous me conseiller) en affichant 100 résultats par page tout en gérant la pagination.

Je suis forcement obliger de stocker en mémoire le volume de données renvoyer (sur un fichier de 830 000 lignes minimum, je peux avoir 300 000 lignes de résultat pour une recherche que je dois afficher via une pagination).

En googlisant, je viens de tomber sur une petite astuce concernant la mémoire utiliser par php : http://www.bigeng.io/php-memory-optimization/