Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Questions sur les FastArrayLists
Bonjour, j'ai un soucis de perfomance avec mon programme et je souhaiterais utiliser des fastarraylist du projet jakarta.Mon probleme est que mon programme doit etre cross-platform (windows,linux,mac,AS400) et que les fastarraylist ne le sont pas! alors deux questions :
est-ce que les fastarraylist sont vraiment plus performante que les arraylist normal?
et y'a t'il un moyen de les utiliser en cross-platform.
Merci pour vos réponses
Pourquoi les FastArrayList ne seraient pas multi-plateformes ?
C'est ce qui est mis dans leur Javadoc en tous cas...
FastArrayList
Salut,
As-tu réussi à cibler précisément l'origine des mauvaises performances ?
a++
Les mauvaise performances sont du à l'utilisation des arrayList je pense, mais meme si je me trompe j'aimerais utilisées des fastArraylist quand meme.
Beaucoup de personne dise cross platform et la javadoc dit "pas cross plat form" (et j'ai pas trop compris pourquoi mon anglais étant rudimentaire)
en fait le probleme c'est que j'essaye de charger un gros gros fichier CSV (130m) et que le serveur sature en mémoire.....
Mets du code (lecture du csv), ton problème de performances ne dois pas forcément être lié aux ArrayList.
désolé je ne peut mettre le code car il est tres tres complexe et tient sur plusieurs classe.En tres gros je le lit une fois et stocke le fichier sous la forme d'une collection de collection (une collection pour chaque collonne qui contient une collection de ligne) et la ca pose probleme.
Je sais bien que il n'y a pas que les arrayList qui gene et je travaille dessus mais je voudrais vraiment utiliser les FastArrayList dans mon programme mais sont-elle vraiment cross platform ou pas?
Juste pour info : combien de temps prend ton programme ???Envoyé par Baharroth
Ben non : c'est écrit noir sur blanc dans la javadoc...
a++
Oki alors tant pour les fastarraylist
le temps n'est pas telment un grand probleme.sans ranger mon csv dans des collection je met 7 minutes a le lire en entier (40000 colonnes....130mo)
le probleme c'est la mémoire,je suis limité a 256 sur le serveur et je l'explose car j'arrive pas a tout charger d'un coup.
Il faut que tu réussisses à faire ton traitement au fur et à mesure (sans tout charger au départ) si tu es limité en mémoire, t'as pas le choix...
d'accord alors je vais m'orienté sur cette voie, traiter qu'un partie du csv a chaque fois.
merci a tous pour vos réponses!
je dis ça comme ça mais peut être n'est ce pas possible dans ton cas.
Si tu chargeais ton csv dans une bdd au lieu de le charger en mémoire ? Après avec les requetes SQL qui vont bien tu récupère au coup par coup ce dont tu as besoin. De plus, le moteur SQL pourrait te faire une partie des traitements que tu fais en java.
mais bon, c'est une grosse modif dans la conception ...
effectivement l'idée est intéréssante mais la modif est assez énorme dans mon cas.Mais je vais étudier cette possibilité!
Merci a toi!
Ba dans ce cas autant utiliser directement une API de requêtage dans le CSV (si une BD n'est pas déjà en place...). D'ailleurs faire des requêtes et récupérer ce qu'on veut, quelque part c'est aussi découper le traitement.je dis ça comme ça mais peut être n'est ce pas possible dans ton cas.
Si tu chargeais ton csv dans une bdd au lieu de le charger en mémoire ? Après avec les requetes SQL qui vont bien tu récupère au coup par coup ce dont tu as besoin. De plus, le moteur SQL pourrait te faire une partie des traitements que tu fais en java.
mais bon, c'est une grosse modif dans la conception ...
Oui c'est clair ... à vrai dire je ne savais pas que ça existait ...
et c'est performant ??
mais qu'est ce qu'une API de requêtage? comme on l'integre dans un CSV?
désolé je n'est que 6 mois d'exp en Java....
En fait plus précisément, il existe des drivers JDBC pour les fichiers csv directement. Je ne sais pas si c'est performant mais ça a le mérite d'éviter d'utiliser un SGBD s'il n'y en a pas déjà en place (en même temps utiliser un SGBD c'est pas la mort non plus).
Pour ce qui est de JDBC, tu peux consulter la FAQ JDBC, et les tutoriels du site.
Exemple de driver JDBC CSV
Il y a aussi la possibilité de faire une classe qui s'utilise comme un tableau, mais en interne lit le fichier.
C'est un peu compliqué (il faut géré les lignes et les colonnes), et c'est plus lent que le mettre en memoire mais cela peut te permettre de ne pas trop modifier tes algorithmes.
Par exemple, un get(i,j) lit la ligne i et la colonne j du fichier (en prenant en compte le séparateur de ligne \n et le séparateur de colonne.
Je crois que je vais utiliser ton exemple de csvjdbc, je crois que c'est pile ce qu'il me faut et en plus c'est du Lgpl cross platform!
pour lhistoire de la classe qui lit une ligne désigné et une colonne, j'ai peurque ce la rallentisse les traitements avec beaucoup d'accés au fichier qui ce trouve sur un serveur.
Merci pour vos réponse!
J'ai un gros probleme car la JdbcCSV ne prend pas en compte les guillemets dans les champs entre guillemets ex : "Article "ID" client" la ya erreur car il y a guillemet dans guillemet.
quelqu'un aurait-il un conseil?
Répondre avec citation
Partager