Discussion :

[bunsky]

Bonjour,

Je dois parser un gros fichier xml (500 mo) afin d'extraire les données et de les enregistrer dans une table mysql (+ de 300 000 enregistrement).

Pour parser j'utilise XMLReader.

Le problème est que mon script s’arrête avant la fin.

Après plusieurs test, le script effectue à chaque fois environ 21 000 insert puis s’arrête ce qui correspond à 20 min d’exécution.

Le script ne s’arrête jamais au même endroit et ses deux premières lignes sont :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
set_time_limit(0);
ignore_user_abort(true);

Auriez-vous des pistes à me proposer ?

Merci.

[Yellu]

Salut,

Il est possible qu'à chaque itération tu utilises un peu plus de mémoire, vérifies que tu unset bien tes ressources ou que ton appli n'as pas un usage mémoire proportionnel à la taille du fichier.

Les fonctions utiles sont je crois

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

get_memory_usage

et

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

get_memory_peak_usage

Tu peux aussi ajuster la variable de conf memory_limit pour t'aider.

[stealth35]

c'est

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

stream_set_timeout

pour ce genre de requete, mais tu lis un fichier distant ?

[bunsky]

Non ce n'est pas un fichier distant c'est un fichier xml contenu dans une archive que je décompresse avant de le lire.

je viens d'effectuer un test et mon script s'est arrêté au même moment ou le serveur utilisé toutes ses ressources en RAM.

Existe-t-il un moyen de gérer la RAM utilisée par le serveur ?

[stealth35]

Non ce n'est pas un fichier distant c'est un fichier xml contenu dans une archive que je décompresse avant de le lire.

je viens d'effectuer un test et mon script s'est arrêté au même moment ou le serveur utilisé toutes ses ressources en RAM.

Existe-t-il un moyen de gérer la RAM utilisée par le serveur ?

tu le décompresse direct en PHP ? si oui tu peux lire en stream dans un fichier compresser

[bunsky]

tu le décompresse direct en PHP ? si oui tu peux lire en stream dans un fichier compresser

Oui je décompresse en PHP.

Faire :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

$xmlReader->open('fichier_xml.gz');

aura le même résultat que

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

 $xmlReader->open('fichier_xml.xml');

?

[stealth35]

Oui je decompresse en PHP.

Faire : $xmlReader->open('fichier_xml.gz'); aura le même resultat que $xmlReader->open('fichier_xml.xml'); ?

plus dans ce genre la

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$xmlReader->open('compress.zlib://fichier_xml.gz');
//ou
$xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');

a voir...

[bunsky]

Ok je vais tester

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');

Pour l'utilisation de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

stream_set_timeout

Il faut bien le faire de cette façon ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$xmlReader = new XMLReader();
$xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');
stream_set_timeout($xmlReader, 3600);

[stealth35]

Ok je vais tester

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');

Pour l'utilisation de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

stream_set_timeout

Il faut bien le faire de cette façon ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$xmlReader = new XMLReader();
$xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');
stream_set_timeout($xmlReader, 3600);

yep, par contre je sais pas si ca passe outre le set_time_limit de php

[bunsky]

Je viens de me rendre compte que l’arrêt de mon script était du à l'utilisation à un moment toutes les ressources du serveur !!

J'utilise pourtant au maximum

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mysql_free_result();

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

unset();

mais rien à faire !!!

Existe-til un moyen d’exécuter mon script en CLI ? Et si oui sera-t-il plus performant et moins gourmand en ressources ?

[stealth35]

je te conseil de mettre ton mysql.trace_mode sur On pour voir tout les ressources qui traine, t'as pas mysqli ou PDO ? tu peux toujours montrer ton code on verra si y'a d'autre l'optimisation a faire

[djibril]

Ou d'utiliser Perl pour parser ton fichier Perl .

[bunsky]

Bonjour,

Après plusieurs essai je pensai avoir trouvé une solution à mon problème mais malheureusement ce n'est pas le cas.

Mon script est gourmand à cause de la classe polygon.php qui me permet de géolocaliser des objets.

En effet après chaque passage dans ma fonction l'utilisation de la mémoire ne cesse de croitre.

Voici un extrait de ma fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
<?php
	$v =& new vertex($longitude, $latitude);
	$polyA = new polygon();
	echo '<div style="color :red;">Avant : '.memory_get_usage().'</div>';
	for($i=0; $i<($nbPoints); $i++)
	{	
		$tabPointPoly=split(',', $tabPoints[$j][$i]);
		if($tabPointPoly[0] != '' && $tabPointPoly[1] != '')
		{
			$polyA->addv($tabPointPoly[0],$tabPointPoly[1]);
 
		}					
 
	}
	echo '<div style="color :blue;">Apres : '.memory_get_usage().'</div>';
 
		if($polyA->isInside($vertex))
		{
			$polyA->res();
			$vertex = NULL;
			$polyA = NULL;
			unset($vertex);
			unset($polyA);
			unset($i);
			unset($j);
			unset($nbPolygone);
			unset($tabPointPoly);
			unset($tabPoints);
			unset($nbPoints);
			echo '<div style="color :green;">Apres : '.memory_get_usage().'</div>';
			return true;
		}
		else
		{	
			$polyA->res();
			$vertex = NULL;
			$polyA = NULL;
			unset($vertex);
			unset($polyA);
			unset($i);
			unset($j);
			unset($nbPolygone);
			unset($tabPointPoly);
			unset($tabPoints);
			unset($nbPoints);
			echo '<div style="color :green;">Apres : '.memory_get_usage().'</div>';
			return false;
		}
	?>