comparaison recherche donnée xml ou csv temps d'execution

Bonjour a tous!


Ayant un projet a faire, j'aimerais enregistrer mes données sous forme de fichier texte, ce serait plus simple pour moi au niveau de la programmation de le faire sous la forme de fichier xml, mais j'aimerais savoir à partir du moment où mes fichiers feront quelques milliers de ligne (avec un 20aine de données différentes par ligne), si le traitement en dom ne devient pas trop long et qu'il faudrait plutôt enregistrer ces données sous forme de fichier csv? (sachant que la recherche dans les fichier csv serait rapide vu que ce sera toujours les 6 premiers caractères de chaque ligne qu'il faudra comparer!) Sachant que ce serait bien si mon application ne mettrais pas plus de 3/4 secondes à fonctionner, sur des pc avec équivalent puissances pentium 4, 500mo de ram avec le programme java que fait une petit dizaine de recherche dans ce genre de fichier, et ce sur plusieurs fichiers.


Merci bien d'avoir pris le temps de lire

Citation:

---

Envoyé par tiliut

Bonjour a tous!


Ayant un projet a faire, j'aimerais enregistrer mes données sous forme de fichier texte, ce serait plus simple pour moi au niveau de la programmation de le faire sous la forme de fichier xml, mais j'aimerais savoir à partir du moment où mes fichiers feront quelques milliers de ligne (avec un 20aine de données différentes par ligne), si le traitement en dom ne devient pas trop long et qu'il faudrait plutôt enregistrer ces données sous forme de fichier csv? (sachant que la recherche dans les fichier csv serait rapide vu que ce sera toujours les 6 premiers caractères de chaque ligne qu'il faudra comparer!) Sachant que ce serait bien si mon application ne mettrais pas plus de 3/4 secondes à fonctionner, sur des pc avec équivalent puissances pentium 4, 500mo de ram avec le programme java que fait une petit dizaine de recherche dans ce genre de fichier, et ce sur plusieurs fichiers.


Merci bien d'avoir pris le temps de lire

---

pour ce type de machine, j'ai toujours opter pour du csv
plus rapide plus simple moins lourd
faut vraiment avoir une valeur ajouté pour utiliser du xml

en gros ça dépend de ton besoin:


données tordues? Le CSV peut être assez limité (retour à la ligne dans les données, présence du séparateur / marqueur de texte dans les données, etc). Faut-il pouvoir manipuler le fichier par un opérateur humain ? Si oui, le XML est plus descriptif. Sinon, le CSV et plus approprié.
A noter que même si tu ne lit que les X "premiers caractères" de chaque ligne, tu devra quand même lire tous le fichier ;)


Je rajoute que stocker tous les fichier XML en mémoire, c'est ça qui plombera tes performances. Si tu a juste besoin de faire une lecture one shot, utiliser directement les API SAX sera bien plus léger et rapide que les api DOM ;)

Au niveau temps de développement, c'est le même, java fournis dejà des api pour lire le xml, et tu trouvera sur internet des api pour lire les csv ;)

CSV semble bien convenir à ce besoin : données tabulaires & exploitation simple.
Avec XML, j'imagine une légère perte de perf, mais c'est beaucoup plus souple si le besoin évolue ou si d'autres besoins d'exploitations émergent.
Pour les gros volume, en effet, préférer SAX ou StAX comme API.

Merci pour vos réponses!

Autant c'est plus simple et plus rapide (en temps d'exécution) de faire du csv, je savais pas qu'il y avait des API pour gérer les csv, autant de toutes façon c'est moi qui générerait les données et quasiment aucune ne viendront de champs texte, donc je gèrerai a ma manière ces fichier csv!

Je réserverai le xml à mes données de configuration et aux lignes à afficher dont suivant les cas il y a 1 à 15 données différentes, le xml est bien approprié à cela!