Discussion :

[bunsky]

Bonjour,

Je dois parser un gros fichier xml (500 mo) afin d'extraire les données et de les enregistrer dans une table mysql (+ de 300 000 enregistrement).

Pour parser j'utilise XMLReader.

Le problème est que mon script s’arrête avant la fin.

Après plusieurs test, le script effectue à chaque fois environ 21 000 insert puis s’arrête ce qui correspond à 20 min d’exécution.

Le script ne s’arrête jamais au même endroit et ses deux premières lignes sont :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
set_time_limit(0);
ignore_user_abort(true);

Auriez-vous des pistes à me proposer ?

Merci.

[Yellu]

Salut,

Il est possible qu'à chaque itération tu utilises un peu plus de mémoire, vérifies que tu unset bien tes ressources ou que ton appli n'as pas un usage mémoire proportionnel à la taille du fichier.

Les fonctions utiles sont je crois

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

get_memory_usage

et

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

get_memory_peak_usage

Tu peux aussi ajuster la variable de conf memory_limit pour t'aider.

[stealth35]

c'est

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

stream_set_timeout

pour ce genre de requete, mais tu lis un fichier distant ?

[bunsky]

Non ce n'est pas un fichier distant c'est un fichier xml contenu dans une archive que je décompresse avant de le lire.

je viens d'effectuer un test et mon script s'est arrêté au même moment ou le serveur utilisé toutes ses ressources en RAM.

Existe-t-il un moyen de gérer la RAM utilisée par le serveur ?

[stealth35]

Non ce n'est pas un fichier distant c'est un fichier xml contenu dans une archive que je décompresse avant de le lire.

je viens d'effectuer un test et mon script s'est arrêté au même moment ou le serveur utilisé toutes ses ressources en RAM.

Existe-t-il un moyen de gérer la RAM utilisée par le serveur ?

tu le décompresse direct en PHP ? si oui tu peux lire en stream dans un fichier compresser

[bunsky]

tu le décompresse direct en PHP ? si oui tu peux lire en stream dans un fichier compresser

Oui je décompresse en PHP.

Faire :

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

$xmlReader->open('fichier_xml.gz');

aura le même résultat que

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

 $xmlReader->open('fichier_xml.xml');

?