IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

XML/XSL et SOAP Discussion :

Parser un SUPER fichier xml zippé(.gz)!


Sujet :

XML/XSL et SOAP

  1. #1
    Nouveau candidat au Club
    Inscrit en
    Février 2008
    Messages
    2
    Détails du profil
    Informations forums :
    Inscription : Février 2008
    Messages : 2
    Par défaut Parser un SUPER fichier xml zippé(.gz)!
    Bonjour,

    et excusez moi pour le derangement ,

    J'ai un fichier que je reçois chaque jour d'une société et qui contient leur flux rss contenant leurs produits, prix, categorie ....
    le problème qu'il m'envoient ce fichier zippé (.gz) avec une taille incroyable 600 Méga car le fichier xml d'origine est de 5 Go !!!!
    J'ai essayé de lire le fichier .gz directement ça n'a pas marché, j'ai essayé de le dézipper avnant de l'exploiter ça a bloqué le serveur sans ouvrir même le .gz avec gzopen()...je ne peux pas faire l'extraction manuellement car je fais un site dynamique qui doit faire tt automatiquement par les cron.

    Je sais pas si quelqu'un de vous a déjà été ds un tel prob...
    Je vx soit une façon de lire le .gz directement soit n'importe quelle idée qui me resolve le prob !!!!
    Merci d'avance

  2. #2
    Membre Expert Avatar de alain.couthures
    Profil pro
    Gérant
    Inscrit en
    Avril 2007
    Messages
    902
    Détails du profil
    Informations personnelles :
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Gérant

    Informations forums :
    Inscription : Avril 2007
    Messages : 902
    Par défaut
    Il va de soi qu'un chargement en mémoire n'est pas envisageable...

    Sous Linux, il est naturel de faire un Pipe (|) pour décompresser au fil de l'eau (commande zcat) et traiter le résultat dans la foulée. Il faut faire une lecture SAX des données XML et un produit comme joost (STX) vous permettra de les interpréter.

    J'ai trouvé une excellente page sur cette problématique : http://fr.wikipedia.org/wiki/Wikip%C...u%C3%AAtes_XML

  3. #3
    Nouveau candidat au Club
    Inscrit en
    Février 2008
    Messages
    2
    Détails du profil
    Informations forums :
    Inscription : Février 2008
    Messages : 2
    Par défaut
    merci pour la reponse
    en fait je cherche quelque chose de dynamique..un cron koi
    et j'ai essayé les parsers evenementiels ligne par ligne mais ça marche pas mais maintenant j'essaye de mettre en oeuvre une solution perl car perl peux en même temps compresser les .gz facilement et peux lire ligne par ligne le fichier xml....
    l'essai de cette solution est en cours (excusez moi pour ce retard pour repondre car je travaille pas sur un seul projet et celui ci est en priorité basse) et je vais vous mettre au courant pour le resultat

    Merci pour votre interêt

Discussions similaires

  1. Parser un gros fichier xml (>500 Mb )
    Par kenzoshin dans le forum Format d'échange (XML, JSON...)
    Réponses: 5
    Dernier message: 05/12/2012, 13h58
  2. Parser un énorme fichier XML
    Par Skrillex dans le forum Format d'échange (XML, JSON...)
    Réponses: 3
    Dernier message: 14/11/2011, 15h36
  3. Parser de gros fichiers XML en JavaSCript via SAX
    Par alatox dans le forum Général JavaScript
    Réponses: 0
    Dernier message: 18/03/2010, 15h57
  4. Réponses: 5
    Dernier message: 19/10/2008, 18h33
  5. parser un grand fichier xml
    Par dalila555 dans le forum Format d'échange (XML, JSON...)
    Réponses: 2
    Dernier message: 30/04/2007, 16h07

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo