Discussion :

[aelmalki]

Bonjour,

Je sollicite votre avis pour la lecture d'un fichier CSV.

J'ai un énorme fichier CSV qui contient plus de 300.000 lignes que je suis obligé de mettre dans une liste d'objet pour faire certains traitements.

Qu'elle est la façon la plus optimisé : gestion de mémoire et temps de lecture, pour traiter ce fichier ?

Existe-il des API qui encapsule des algorithmes avancés et/ou optimisés pour le traitement de ce genre de type de fichier volumineux ?

Mon objectif c'est de lire le fichier en consommant moins de mémoire JVM et dans un temps acceptable.

Merci pour vos retours

[adiGuba]

Salut,


Désolé mais difficile de t'aider avec si peu d'info !

Pourquoi as-tu besoin de mettre cela dans une liste d'objet ?
Quels traitement dois-tu faire ?
A quoi ressemble ton fichier CSV ? Y-a-t-il beaucoup d'info redondante dedans ?
Quel est l'objectif final de ce traitement ?

a++

[aelmalki]

Merci pour ton retour,

Voici la réponse à vos questions :
Pourquoi as-tu besoin de mettre cela dans une liste d'objet ?
Pour la modifier dans un traitement qui vient après.

Quels traitement dois-tu faire ?
Ce sont des données des rues et villes qui seront traitées d'une manière précises selon des règles de gestion important (je ne pourrais pas vous en dire plus).

A quoi ressemble ton fichier CSV ? Y-a-t-il beaucoup d'info redondante dedans ?
C'est fichier CSV qui contient des données uniques.
Exemple :
1;15;88;Paris;25;Ville;France;EED55;CCP98

Quel est l'objectif final de ce traitement ?
C'est pour répondre à un besoin spécifique de traitement des rues et villes, l'algorithme ressemble un peu à ceci :

1. Lecture des données des fichiers
2. Comparaison avec des tables en BD
3. Récupération des données de la BD pour traitement
4. En fonction des règles de gestion, en décide de mettre à jour ou sauvegarder les données en base de données.
5. ...

Merci par avance de votre retour

[merill]

Mon objectif c'est de lire le fichier en consommant moins de mémoire JVM et dans un temps acceptable.

J'ai eu ce cas aussi.

* Dèja, si tu sotcke des String issu de ce texte, genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
String[] cases = ligne.split(" ");
Ville v = new Ville(cases[3]);

cela va garder en mémoire tout ton fichier au lieu du nom de la ville uniquement (fonctionnement des string).
Pour corriger cela:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
String[] cases = ligne.split(" ");
Ville v = new Ville(new String(cases[3]));

De plus, je remarque que Paris doit être présent un grand nombre de fois, il est donc judicieux de créer un dictionnaire temporaire.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
Set<String> dico = new HashSet<String();
...
String[] cases = ligne.split(" ");
String nomVille = dico.get(cases[3]);
if(nomVille == null){
  nomVille = new String(cases[3]);
  dico.add(nomVille);
}
Ville v = new Ville(nomVille);

* Ensuite, si tu stocke tes nombres dans des Collections ou si tu as des Map, je te conseille d'utiliser une librairie externe plus optimisé genre apache ou FastUtil (http://fastutil.dsi.unimi.it/).

Déjà cela devrait bien réduire l'occupation mémoire (surtout la seconde partie)

[tchize_]

Si le traitement est identique sur chaque lignre:

lire une ligne,
la traiter,
prendre la décision de stocker ou pas
passer à la ligne suivante.
Minimum d'occupation mémoire.

Si vraiment vous avez besoin de tout à la fois pour le traitement, ben comme chaque ligne fait, à vue de pif, moins de 1K sous forme d'objet, ca ne fait que 300M en mémoire, si c'est pour du traitement one shoot, je m'emerderait pas à optimiser au delà. Maintenant si ç dois tourner toutes les heures sur un serveur et qu'il ne dispose que de 64M dispo pour votre script, c'est un autre affaire