quelle table/grille pour beaucoup de données

Version imprimable

01/10/2007, 10h30
biozaxx

quelle table/grille pour beaucoup de données

Bonjour a tous,

voila je dois gerer et afficher une grille de données contenant plusieurs milliers de point (jusqu'a 50 000 ) mais qui se retrouvent dans une matrice d'environ 12000 lignes sur 700 colonnes soit pres de 8 millions de points potentiels.

J'ai essayé plusieurs librairies mais des que j'atteins le million de points cela se met a ramer dur, sachant qu'il faut que cette table gere les en tete de ligne et de colonne ...

donc ma question : connaissez vous un composant/librairies (pas forcement open source) qui gere cette quantité de données ?

merci pour vos suggestions
04/10/2007, 14h33
gifffftane

Normalement la JTable ne demande que les composants visibles. Comme il n'y a pas, je présume, un million de cellules visibles simultanément, cela devrait aller.

Le problème se trouve peut être au niveau du modèle ?...
04/10/2007, 18h51
theyankee76

Fait un système de chargement de ton model au fur et à mesure, et la tu n'auras plus de soucis. C'est la seule solution viable à mon avis.
05/10/2007, 10h38
biozaxx

le fait de charger le model au fur et a mesure permet d'etre fluide au depart mais au fur et a mesure du chargement on retrouve a nouveau le probleme.

>>gifffftane
je pensais que la table gerait effectivement uniquement ce qui etait dans le viewport mais visiblement ce n'est pas le cas:
par exemple je met 2 minute a construire le model et une fois tout construit cela met 5 min a s'afficher !
05/10/2007, 12h34
theyankee76

Eh bien non puisque lorsque tu charges de nouvelles données, tu "décharges" les autres, et le garbage s'occupe de libérer la mémoire.
06/10/2007, 06h03
gifffftane

Je pense qu'il y a quelque part quelque chose qui ne va pas dans ta JTable ou ton modèle.

Pourrais-tu reproduire le phénomène à part de ton application ?

Pourrais-tu savoir ce qui se passe pendant les deux minutes de chargement du modèle, et les 5 minutes d'affichage ?

Peux-tu inhiber complètement le modèle (qu'il renvoie 3 valeurs), et voir ce qui se passe ?

Etc.
08/10/2007, 17h26
biozaxx

Citation:

Envoyé par gifffftane

Je pense qu'il y a quelque part quelque chose qui ne va pas dans ta JTable ou ton modèle.

Pourrais-tu reproduire le phénomène à part de ton application ?

difficilement car les objets que j'affiche proviennent de requetes en bdd et portent sur des molecules chimique.
la seule chose que je puisse faire est simuler la construction avec des vecteur contenant des String et initialiser la montée en charge.
Mais etant donné que normalement je manipule des objets assez complexes , je ne suis pas sur que le "poids" des string et de mes objects soit comparable, ce qui risque de faussé legerement la simulation ...

Citation:

Envoyé par gifffftane

Pourrais-tu savoir ce qui se passe pendant les deux minutes de chargement du modèle, et les 5 minutes d'affichage ?

pendant les 2 minutes du chargement oui je sais ce qu'il se passe :
initialisation des vecteurs puis attribution des valeurs pour les "cases" ou il y a des resultats.
Par contre pendant les 5 min avant l'affichage effectif non je ne sais pas ce qui se passe. il n'y a aucun appel de methode, on dirait que c'est juste le rendu graphique qui travaille :? je ne sais pas trop expliquer ce qui se passe pendant cette phase

Citation:

Envoyé par gifffftane

Peux-tu inhiber complètement le modèle (qu'il renvoie 3 valeurs), et voir ce qui se passe ?

oui , il n'y a aucun probleme, tout est fluide
08/10/2007, 22h47
gifffftane
Il serait bien étonnant qu'il n'y ait aucun appel de méthode pendant 5 minutes !

Quelques questions, encore, pour ce qui est du rendu graphique :
- Utilises-tu des choses spéciales, ou te contentes-tu de la JTable, et notamment de ses cellules standards ?
- As-tu mis ta JTable dans un JScrollPane standard ?
- Dans l'affirmative, as-tu mis cette JScrollPane dans un JPanel standard ?
- As-tu placé à l'un de ces niveaux une preferredSize, ou similaire ?
Pour le modèle :
- Pourquoi passes-tu deux minutes à initialiser ton modèle ??
- Dans ce modèle, peux-tu mettre une trace pour t'assurer que la JTable ne te demande que la valeur des cellules visibles ?
- Tu sembles faire une préparation de valeurs... lorque le modèle t'en demande une, comment retrouves-tu la valeur préparée ?
09/10/2007, 11h30
biozaxx

Citation:

Envoyé par gifffftane

Il serait bien étonnant qu'il n'y ait aucun appel de méthode pendant 5 minutes !

je suis d'accord mais meme dans le debugger je ne vois pas ce qui se passe

Citation:

Quelques questions, encore, pour ce qui est du rendu graphique :
Utilises-tu des choses spéciales, ou te contentes-tu de la JTable, et notamment de ses cellules standards ?

j'utilise tout un tas de chose speciale :)
au debut j'utilisais une librairie (elegantJBeans) qui m'avais permis de ganger en fluidité et qui en plus proposait
plus de souplesse qu'une jtable dans la gestion des entetes de lignes et colonnes.
Mais cela saturait à nouveau avec des grandes matrices.
je suis revenu à un simple systeme jtable, tablemodel.
j'utilise neanmoins des astuces permettant de faire des entetes de lignes et colonnes groupées sur lequel viennent se fixer des renderer (les renderer ralentissent pas mal le rendu final)
J'ai egalement des renderer pour les cellules (qui renvoie en gros un panel coloré en fonction de la valeur)

Citation:

As-tu mis ta JTable dans un JScrollPane standard ?
Dans l'affirmative, as-tu mis cette JScrollPane dans un JPanel standard ?

non le jscrollpane utilisé etend jscrollpane mais ne comporte que des methodes de traitement
il est actuellement dans un JXTitledPanel (swinglabs) mais je n'ai pas noté de difference avec un JPanel standard.

Citation:

As-tu placé à l'un de ces niveaux une preferredSize, ou similaire ?

il y a des preferred size sur le rowheader
j'ai egalement une fonction qui permet de redimensionner la taille des cellules en hauteur et largeur (j'agit au niveau des celulles et de la table
(le rendu global pouvant etre defini comme une sorte de heat map pour laquelle
on peut voir plus ou moins de donnée en meme temps, ce qui explique que je doive afficher un tres grand nombre potentiel de cellule en meme temps lorsque l'utilisateur veut une vue globale)

Citation:

Pour le modèle :
Pourquoi passes-tu deux minutes à initialiser ton modèle ??

j'avais une premiere phase d'initialisation à vide des vecteurs du model correpondant aux lignes(soient potentiellement 18 000 lignes, pour 800 colonnes),
puis une deuxieme phase ou je vais piocher dans une hashtable les valeurs que l'on a effectivement en base et qui sont misent a jour dans les vecteurs avec un setValueAt()
(puisque ma matrice final est un espece de gros gruyere ou toutes les cellules n'ont pas de valeurs)
Hier je suis revenu sur un model maison, qui laisse tomber les vecteurs du defaulttablemodel (les vecteurs etant ce qu'il y a de plus lent a mon sens en java)
et le model s'appuie maintenant uniquement sur la hashtable.

Citation:

Dans ce modèle, peux-tu mettre une trace pour t'assurer que la JTable ne te demande que la valeur des cellules visibles ?
Tu sembles faire une préparation de valeurs... lorque le modèle t'en demande une, comment retrouves-tu la valeur préparée ?

je dois pouvoir tracer oui, je testerai
Comme decrit plus haut je pioche dans une hashtable qui me renvoie l'objet an fonction des coordonnées dans la matrice.
09/10/2007, 22h18
gifffftane

Tout ça me parait aller dans le bon sens...

Concernant les renderers, tu dis qu'ils ralentissent le rendu final... pourquoi ? Ce sont des renderers perso ? Et est-ce grave ?

Concernant le preferredSize ou assimilé, il FAUT que le le JPanel qui contient le scroll pane, ou au moins le scroll lui même ait un preferredSize, ou un size ou quelque chose qui donne sa dimension, cela dépend du layout... quel layout utilises-tu ?

Très bien d'avoir laissé tombé le Vector et simplifié ton modèle...

Concernant la hashtable, comment et à quel moment calcules-tu les hash ? Et, surtout, avec quoi fabriques-tu tes clefs... puisque j'ai peur que, pour fabriquer tes clefs, et calculer leur hash, tu sois de fait obligé de parcourir toute ta base... ce que l'on voudrait éviter au départ !
10/10/2007, 00h13
bouye

Je ne sais pas trop ce qu'il en est sur la JTable/le JTree mais le renderer des listes (JList/JComboBox) est appelle sur chacune des lignes (meme celles non-visibles) pour pouvoir calculer correctement l'espace total scrollable pour la configuration du JScrollPane.
Si jamais c'est aussi le cas ici, il faudra eventuellement que tu te geres toi-meme les JScrollBar et les actions a effectuer en cas de scroll pour eviter ce genre d'inconvenient.

Essaie de fixer toi-meme la hauteur des lignes et la largeur de chaque colonne pour eviter ce genre d'appels. Essaie aussi de regarder les sources de la JTable, ColumnModel*, etc... pour voir si lors de son initialisation, il n'y a pas quelque chose qui lui fait parcourir l'integralite des lignes et/ou de ses valeurs.

*Autre supposition : la gestion du tri des colonnes dans Java6+...
11/10/2007, 12h15
biozaxx

alors le renderer pour le header table est effectivement appelé pour l'ensemble de la table, meme si seulement la moitié des colonnes sont visibles ...
j'ai pas encore mis de traceur dans le renderer des cellules mais je suppose que c'est pareil .
11/10/2007, 22h13
gifffftane

Ah !