Discussion :

[AliciaSH]

J'ai 2 fonctions PHP pour parser chacune un fichier Excel de tailles 673K et 131K. Elles ont le même code que leurs nom bien sûr. Une fonction lit les données du fichier et l'autre non et lorsque je l'ai debuguée par des simples messages echo elle renvoie une erreur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Fatal Error: Allowed Memory Size of 134217728 Bytes Exhausted (Tried to allow 72 bytes)

Je voudrais faire un fichier log pour enregistrer et voir chaque action dans le système mais le problème est que la première fois je vais le créer, je connais pas comment je le crée ? Où je dois le mettre, dans la fonction où j'ai le problème où dans le dossier de projet ? et Comment je l'exécute ?
J'ai cherché sur internet j'ai trouvé une solution, est d'écrire ce script et de le mettre dans la fonction qui contient le problème:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
$log  = "User: ".$_SERVER['REMOTE_ADDR'].' - '.date("F j, Y, g:i a").PHP_EOL.
        "Attempt: ".($result[0]['success']=='1'?'Success':'Failed').PHP_EOL.
        "User: ".$username.PHP_EOL.
        "Pass: ".$password.PHP_EOL.
        "-------------------------".PHP_EOL;
//Save string to log, use FILE_APPEND to append.
file_put_contents('./log_'.date("j.n.Y").'.txt', $log, FILE_APPEND);

Auriez-vous la gentillesse de me dire comment je crée un fichier log dans PHP et comment je l’exécute ?

Ma fonction est la suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
public function parseEquipment($filePath = null) {
        set_time_limit(0);
        $listEquipement = [];		
        $count = 0;
        $chunkSize = 1024;
        $objReader = PHPExcel_IOFactory::createReader(PHPExcel_IOFactory::identify($filePath));
        $spreadsheetInfo = $objReader->listWorksheetInfo($filePath);
        $chunkFilter = new \Floose\Parse\ChunkReadFilter();
        $objReader->setReadFilter($chunkFilter);
        $objReader->setReadDataOnly(true);
        $chunkFilter->setRows(0, 1);
        $objPHPExcel = $objReader->load($filePath);
        $totalRows = $spreadsheetInfo[0]['totalRows'];
        for ($startRow = 1; $startRow <= $totalRows; $startRow += $chunkSize) {
            $chunkFilter->setRows($startRow, $chunkSize);
            $objPHPExcel = $objReader->load($filePath);
            $sheetData = $objPHPExcel->getActiveSheet()->toArray(null, null, true, false);
            $startIndex = ($startRow == 1) ? $startRow : $startRow - 1;
 
            if (!empty($sheetData) && $startRow < $totalRows) {				
                $dataToAnalyse = array_slice($sheetData, $startIndex, $chunkSize);
				//echo 'test1';	
				if($dataToAnalyse[1][0]==NULL){
					//echo 'test2';
					break;
				}
 
				//echo 'test3';
				//var_dump($sheetData);
                for ($i = 0; $i < $chunkSize; $i++) {
					if ($dataToAnalyse[$i]['0'] != NULL) {
						//echo 'OK';
                        $listEquipement[] = new Article($dataToAnalyse[$i]['3'], $dataToAnalyse[$i]['4'], $dataToAnalyse[$i]['2']);
					//	 echo 'test4';						
                        $count++;
						}
                }
            }
            $objPHPExcel->disconnectWorksheets();
            unset($objPHPExcel, $sheetData);
        }	
 
		//var_dump(array_slice($sheetData, $startIndex, $chunkSize););
        return $listEquipement;	
    }

[sabotage]

Tu devrais vérifier quelles plages de cellules sont lues : si ton script s'emballe en mémoire c'est peut être qu'il lit au délà des données.
Par exemple contrôle ce que vaut $totalRows.

[AliciaSH]

Tu devrais vérifier quelles plages de cellules sont lues : si ton script s'emballe en mémoire c'est peut être qu'il lit au délà des données.
Par exemple contrôle ce que vaut $totalRows.

Elle était m'affiché le nombre des lignes lorsque je teste par print_r($totalRows) aussi print_r($sheetData) et après elle devient m'affiche que l'erreur d'allocation de mémoire. C'est pour ça je voudrais faire un fichier log. En fait je viens de trouver une solution sur http://php.net/manual/en/function.error-log.php et je peux tester par ses 3 exemples:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
<?php
// Send notification through the server log if we can not
// connect to the database.
if (!Ora_Logon($username, $password)) {
    error_log("Oracle database not available!", 0);
}
 
// Notify administrator by email if we run out of FOO
if (!($foo = allocate_new_foo())) {
    error_log("Big trouble, we're all out of FOOs!", 1,
               "operator@example.com");
}
 
// another way to call error_log():
error_log("You messed up!", 3, "/var/tmp/my-errors.log");
?>

Mais je connais pas comment, à votre avis entre chaque ligne de la fonction j'ajoute un exemple de cet code celui au-dessus?

[sabotage]

En l'état tu n'as pas besoin d'un système de log. Il faut seulement faire un debugage normal de ce qui se passe dans le script.
Quand on a un dépassement mémoire dans un script avec deux boucles imbriquées, on peut penser tout de suite qu'une des deux boucles tourne en rond ou que son traitement prend trop de mémoire.

As-tu vraiment besoin du chunkFilter pour lire de si petits fichiers ?

Est-ce normal que dans ton code tu fasses le load à la ligne 12 puis au nouveau à la ligne 16 ?

Elle était m'affiché le nombre des lignes lorsque je teste par print_r($totalRows)

Et ? Est-ce que la valeur est bonne ?

Au pire est-ce que tu peux nous fournir le fichier excel ?

[AliciaSH]

Oui t'as raison , ce n'est pas normal j'ai utilisé load 2 fois. Pour le $totalRows oui il me renvoie la valeur bonne.
Mais ce qui m'étonne est que l'autre fonction lit les données du fichier Excel et pourtant elles ont le même code ainsi que pour les autres fichiers, c'est vrai que la structure du fichier excel n'est pas la même mais ça pose pas de problème ça, je prends les indices que je voulais. C'est pour ça je pensais de faire un fichier log PHP.
J'ajoute cette ligne par exemple dans la fonctions où je veux debuguer:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

error_log("You messed up!", 3, "/var/tmp/my-errors.log");

Mais c'est que j'en suis pas sûr est que /var/tmp/ est le PATH du fichier log ?

[sabotage]

Je te redis, ton histoire de log ça n'apporte rien.
Ça va juste écrire "You messed up!" dans un fichier. Tu n'en sauras pas plus.

Tu n'as pas répondu concernant le chunkFilter.

[tdutrion]

Salut !

PHPExcel est connu pour ses problèmes de mémoire... Change ton code pour utiliser box/spout et tout ira bien

[sabotage]

Il ne faut pas exagérer. PHPExcel n'est pas connu pour des problèmes de mémoire sur un fichier de 131ko.

[AliciaSH]

Je te redis, ton histoire de log ça n'apporte rien.
Ça va juste écrire "You messed up!" dans un fichier. Tu n'en sauras pas plus.

Tu n'as pas répondu concernant le chunkFilter.

Pour le ChunkFilter oui je l'ai besoin, pour faire appel à la fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
<?php
 
 
 
namespace Floose\Parse;
use PHPExcel_Reader_IReadFilter;
class ChunkReadFilter implements PHPExcel_Reader_IReadFilter{
   private $_startRow = 0;
    private $_endRow = 0;
 
    /**  Set the list of rows that we want to read  */
    public function setRows($startRow, $chunkSize) {
        $this->_startRow = $startRow;
        $this->_endRow = $startRow + $chunkSize;
    }
 
    public function readCell($column, $row, $worksheetName = '') {
 
        //  Only read the heading row, and the rows that are configured in $this->_startRow and $this->_endRow 
        if (($row == 1) || ($row >= $this->_startRow && $row < $this->_endRow)) {
 
            return true;
        }
        return false;
    }
}

S'il tu vois une autre proposition, dis-moi s'il te plait, j'enlève le chunkFilter ?

[sabotage]

Pour le ChunkFilter oui je l'ai besoin, pour faire appel à la fonction

oui mais pourquoi tu as mis cette fonction ?

Une utilisation basique comme ça devrait faire l'affaire :
(ici j'ai juste mis un echo des valeurs pour voir si déjà la lecture fonctionnait bien)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?php
public function parseEquipment($filePath = null) {
	$objReader = PHPExcel_IOFactory::createReader(PHPExcel_IOFactory::identify($filePath));
	$objReader->setReadDataOnly(true);
	$objPHPExcel = $objReader->load($filePath);
	$sheet = $objPHPExcel->getSheet(0); 
	$highestRow = $sheet->getHighestRow();
	for ($row = 2; $row <= $highestRow; $row++){ 
		echo $sheet->getCellByColumnAndRow(3, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(4, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(2,$row)->getCalculatedValue();
		echo '<br/>';
	}
}

[AliciaSH]

oui mais pourquoi tu as mis cette fonction ?

Une utilisation basique comme ça devrait faire l'affaire :
(ici j'ai juste mis un echo des valeurs pour voir si déjà la lecture fonctionnait bien)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<?php
public function parseEquipment($filePath = null) {
	$objReader = PHPExcel_IOFactory::createReader(PHPExcel_IOFactory::identify($filePath));
	$objReader->setReadDataOnly(true);
	$objPHPExcel = $objReader->load($filePath);
	$sheet = $objPHPExcel->getSheet(0); 
	$highestRow = $sheet->getHighestRow();
	for ($row = 2; $row <= $highestRow; $row++){ 
		echo $sheet->getCellByColumnAndRow(3, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(4, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(2,$row)->getCalculatedValue();
		echo '<br/>';
	}
}

Je suis tout à fait d'accord avec ta solution, mais comment je rempli mon tableau parce que je l'ai besoin aussi pour créer un nouveau objet article de 3 paramètres ?

[sabotage]

Comme je t'ai dit il faut déjà voir si ça fonctionne comme ça.

Si oui, le remplissage du tableau ne change pas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$listEquipement[] = new Article(
            $sheet->getCellByColumnAndRow(3, $row)->getCalculatedValue(),
            $sheet->getCellByColumnAndRow(4, $row)->getCalculatedValue(),
            $sheet->getCellByColumnAndRow(2, $row)->getCalculatedValue()
);

[AliciaSH]

Comme je t'ai dit il faut déjà voir si ça fonctionne comme ça.

Si oui, le remplissage du tableau ne change pas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$listEquipement[] = new Article(
            $sheet->getCellByColumnAndRow(3, $row)->getCalculatedValue(),
            $sheet->getCellByColumnAndRow(4, $row)->getCalculatedValue(),
            $sheet->getCellByColumnAndRow(2, $row)->getCalculatedValue()
);

Salut @Sabotage,
Je te remercie beaucoup pour ta magique solution, elle fonctionne trèès bien.
Juste une autre petite question, en fait mon fichier Excel était contient une seule feuille et maintenant j'ai ajouté 4 autres feuilles et j'ai oublié de préciser ça dans ma question:
Dans ta fonction t'as utilisé:

$sheet = $objPHPExcel->getSheet(0);Et lorsque j'ai ajouté les 4 feuilles il les lit pas, est-ce-que je peux le changer par ça à ton avis ?

$sheet = $objPHPExcel->getActiveSheet()->toArray(null, null, true, false);Merci beaucoup autre fois.

[sabotage]

Tu peux ajouter une boucle :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
for ($i = 0; $i < 4; $i++) {
$sheet = $objPHPExcel->getSheet($i); 
	$highestRow = $sheet->getHighestRow();
	for ($row = 2; $row <= $highestRow; $row++){ 
		echo $sheet->getCellByColumnAndRow(3, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(4, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(2,$row)->getCalculatedValue();
		echo '<br/>';
	}
}

[AliciaSH]

Tu peux ajouter une boucle :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
for ($i = 0; $i < 4; $i++) {
$sheet = $objPHPExcel->getSheet($i); 
	$highestRow = $sheet->getHighestRow();
	for ($row = 2; $row <= $highestRow; $row++){ 
		echo $sheet->getCellByColumnAndRow(3, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(4, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(2,$row)->getCalculatedValue();
		echo '<br/>';
	}
}

Bonjour;

Vraiment je te remercie beaucoup pour tes réponses, toutes sont fonctionnent très bien.
Reste une petite question. Tu m'a proposé de faire ma fonction de parsing simplement, voilà ton code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
for ($i = 0; $i < 4; $i++) {
$sheet = $objPHPExcel->getSheet($i); 
	$highestRow = $sheet->getHighestRow();
	for ($row = 2; $row <= $highestRow; $row++){ 
		echo $sheet->getCellByColumnAndRow(3, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(4, $row)->getCalculatedValue();
		echo $sheet->getCellByColumnAndRow(2,$row)->getCalculatedValue();
		echo '<br/>';
	}
}

En fait je prends que le troisième et le deuxième champs le quatrième non. Je l'ai enlevé juste j'ai changé le 4 par ''. Est-ce que c'est vrai ou non ou je supprime toute la ligne parce que j'ai trouvé des 0 dans ma base, bon peut être le problème d'une autre chose ?

Si je ne te dérange pas j'ai un petit souci, en fait dans mon fichier Excel celui que je l'importe j'ai plusieurs paramètres, et comme t'a vu je prends que 3 paramètres.

Voilà la structure de mon fichier Excel:

Piece Item Article Designation ident LRUJe prends que Article Designation LRULe problème est parfois on trouve les mêmes données dans plusieurs lignes (répétition) pour ces 3 paramètres par exemple:

Ligne 1:

Alex Diana CyrilLigne 2:

Alex Diana CyrilLigne 3:

Alex Diana CyrilDans ma base des données je trouve qu'une seule ligne:

Alex Diana CyrilMais j'ai besoin de toutes les lignes. A ton avis j'importe aussi le paramètre ident dans ma fonction de parsing et je l'ajoute bien sûr dans ma requête SQL puisque sa valeur est unique et il ne répète pas dans le fichier Excel.
Est-ce-que ça résoudre le problème ou non ?
Merci.