Analyser gros fichier XML, enregistrement dans une table MySQL

Version imprimable

26/10/2010, 14h59
bunsky

Analyser gros fichier XML, enregistrement dans une table MySQL
Bonjour,

Je dois parser un gros fichier xml (500 mo) afin d'extraire les données et de les enregistrer dans une table mysql (+ de 300 000 enregistrement).

Pour parser j'utilise XMLReader.

Le problème est que mon script s’arrête avant la fin.

Après plusieurs test, le script effectue à chaque fois environ 21 000 insert puis s’arrête ce qui correspond à 20 min d’exécution.

Le script ne s’arrête jamais au même endroit et ses deux premières lignes sont :
Code:

1 2 set_time_limit(0); ignore_user_abort(true);
Auriez-vous des pistes à me proposer ?

Merci.
26/10/2010, 15h18
Yellu

Salut,

Il est possible qu'à chaque itération tu utilises un peu plus de mémoire, vérifies que tu unset bien tes ressources ou que ton appli n'as pas un usage mémoire proportionnel à la taille du fichier.

Les fonctions utiles sont je crois

Code:

get_memory_usage

et

Code:

get_memory_peak_usage

Tu peux aussi ajuster la variable de conf memory_limit pour t'aider.
26/10/2010, 15h43
stealth35

c'est

Code:

stream_set_timeout

pour ce genre de requete, mais tu lis un fichier distant ?
26/10/2010, 16h26
bunsky

Non ce n'est pas un fichier distant c'est un fichier xml contenu dans une archive que je décompresse avant de le lire.

je viens d'effectuer un test et mon script s'est arrêté au même moment ou le serveur utilisé toutes ses ressources en RAM.

Existe-t-il un moyen de gérer la RAM utilisée par le serveur ?
26/10/2010, 16h49
stealth35

Citation:

Envoyé par bunsky

Non ce n'est pas un fichier distant c'est un fichier xml contenu dans une archive que je décompresse avant de le lire.

je viens d'effectuer un test et mon script s'est arrêté au même moment ou le serveur utilisé toutes ses ressources en RAM.

Existe-t-il un moyen de gérer la RAM utilisée par le serveur ?

tu le décompresse direct en PHP ? si oui tu peux lire en stream dans un fichier compresser
26/10/2010, 16h55
bunsky

Citation:

Envoyé par stealth35

tu le décompresse direct en PHP ? si oui tu peux lire en stream dans un fichier compresser

Oui je décompresse en PHP.

Faire :

Code:

$xmlReader->open('fichier_xml.gz');

aura le même résultat que

Code:

$xmlReader->open('fichier_xml.xml');

?
26/10/2010, 16h59
stealth35
Citation:

Envoyé par bunsky

Oui je decompresse en PHP.

Faire : $xmlReader->open('fichier_xml.gz'); aura le même resultat que $xmlReader->open('fichier_xml.xml'); ?

plus dans ce genre la
Code:

1 2 3 $xmlReader->open('compress.zlib://fichier_xml.gz'); //ou $xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');
a voir...
26/10/2010, 17h05
bunsky
Ok je vais tester

Code:

$xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');

Pour l'utilisation de

Code:

stream_set_timeout

Il faut bien le faire de cette façon ?
Code:

1 2 3 $xmlReader = new XMLReader(); $xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml'); stream_set_timeout($xmlReader, 3600);
26/10/2010, 17h16
stealth35
Citation:
Envoyé par bunsky

Ok je vais tester

Code:

$xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml');

Pour l'utilisation de

Code:

stream_set_timeout

Il faut bien le faire de cette façon ?

Code:

1 2 3 $xmlReader = new XMLReader(); $xmlReader->open('compress.zlib://fichier_xml.gz#fichier_xml.xml'); stream_set_timeout($xmlReader, 3600);
yep, par contre je sais pas si ca passe outre le set_time_limit de php
27/10/2010, 10h03
bunsky

Je viens de me rendre compte que l’arrêt de mon script était du à l'utilisation à un moment toutes les ressources du serveur !!

J'utilise pourtant au maximum

Code:

mysql_free_result();

et

Code:

unset();

mais rien à faire !!!

Existe-til un moyen d’exécuter mon script en CLI ? Et si oui sera-t-il plus performant et moins gourmand en ressources ?
27/10/2010, 10h07
stealth35

je te conseil de mettre ton mysql.trace_mode sur On pour voir tout les ressources qui traine, t'as pas mysqli ou PDO ? tu peux toujours montrer ton code on verra si y'a d'autre l'optimisation a faire ;)
01/11/2010, 21h29
djibril

Ou d'utiliser Perl pour parser ton fichier Perl :ccool:.

Bonjour,

Après plusieurs essai je pensai avoir trouvé une solution à mon problème mais malheureusement ce n'est pas le cas.

Mon script est gourmand à cause de la classe polygon.php qui me permet de géolocaliser des objets.

En effet après chaque passage dans ma fonction l'utilisation de la mémoire ne cesse de croitre.

Voici un extrait de ma fonction :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
<?php
	$v =& new vertex($longitude, $latitude);
	$polyA = new polygon();
	echo '<div style="color :red;">Avant : '.memory_get_usage().'</div>';
	for($i=0; $i<($nbPoints); $i++)
	{	
		$tabPointPoly=split(',', $tabPoints[$j][$i]);
		if($tabPointPoly[0] != '' && $tabPointPoly[1] != '')
		{
			$polyA->addv($tabPointPoly[0],$tabPointPoly[1]);
 
		}					
 
	}
	echo '<div style="color :blue;">Apres : '.memory_get_usage().'</div>';
 
		if($polyA->isInside($vertex))
		{
			$polyA->res();
			$vertex = NULL;
			$polyA = NULL;
			unset($vertex);
			unset($polyA);
			unset($i);
			unset($j);
			unset($nbPolygone);
			unset($tabPointPoly);
			unset($tabPoints);
			unset($nbPoints);
			echo '<div style="color :green;">Apres : '.memory_get_usage().'</div>';
			return true;
		}
		else
		{	
			$polyA->res();
			$vertex = NULL;
			$polyA = NULL;
			unset($vertex);
			unset($polyA);
			unset($i);
			unset($j);
			unset($nbPolygone);
			unset($tabPointPoly);
			unset($tabPoints);
			unset($nbPoints);
			echo '<div style="color :green;">Apres : '.memory_get_usage().'</div>';
			return false;
		}
	?>