[CSV] Traitement d'un très gros fichier XML ou CSV

Bonjour,

J'ai un fichier csv de 286176ko ( ou, +- les mêmes données en XML de mais de 5208326).

Ces fichiers contiennent la mise à jour d'une base de données.

Ils sont visiblement beaucoup trop gros pour que je n'effectue le moindre traitement dessus.

J'ai essayé de différentes façons:

SimpleXML
xmlReader

ou

un simple fopen sur le fichier csv...


Lorsque j'utilise de petit fichier d'exemple, cela fonctionne correctement mais le problème est lorsque je souhaite traiter ces fichiers...

En fait le but est de récupérer ces données, retraiter les informations (d'ou la nécessité de la lecture de ces données) puis de stoker out ceci dans des table MySQL


Quelqu'un aurait eut le même souci, ou imaginerait une solution?

On est content de savoir que tu as un problème, tu pourrais peut être nous le décrire.

Effectivement, je suis tellement le nez dans le guidon que j’en oublie l’essentiel…

En fait, je récupère sur une plate forme d’affiliation, un fichier d’information produit qui peut être téléchargé soit en XML soit en CVS, le tout bien sûr compressé.

De ces informations, j’en extrais des données que je reformate pour les intégrer dans une base MySQL.

Ceci me permets de réaliser un comparateur de produit….

J’ai tester mon code sur de petit fichiers et cela fonctionne a merveille. En revanche, l’un des partenaires fourni des fichier très volumineux…. Et c’est bien là que j’ai mon problème.

Si je cherche à le faire en local sur mon PC … deux cas de figure :
- Au bout de quelques minutes, j’ai ce type de message à l’écran : «Allowed memory size of 536870912 bytes exhausted (tried to allocate… »
- Mon PC s’éteint simplement…
Si je le fais sur mon serveur, a part manger la bande passante de mon hébergeur, rien de mieux !!

Visiblement les process demandent trop de ressources pour lire de si gros fichiers…

Y a t il une solution pour effectuer ce genre d’opération sur de si gros fichiers ?…. « Mais comment font les autres! :?» ???

Si quelqu'un pouvait me donner même un bout de tuyau....


Merci,

bonjour à tous,

Pour lire le fichier CSV tu utilise bien la fonction fopen et fgetcsv pour traiter ton fichier.


J'ai utilisé ces fonction sur un fichier de plus de 2000 lignes et je n'ai pas ut de problème de traitement.