Discussion :

[idirovitch]

Bonjour
j'aimerais savoir la taille maximal d'une matrice supporter par java

par expérience j'ai atteint 3100X3100 au delà de cette taille ça m'affiche l'erreur suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space

c'est très urgent (je signale que je suis entrain de programmer l'algorithme de colonie de fourmis qui utilises beaucoup de matrice)
merci d'avance

[hwoarang]

Il n'y a pas de taille maximale. Tu peux allouer autant de mémoire que la JVM en a de disponible (attention tout de meme si tu alloues presque tout, le reste du programme risque de ne plus avoir assez de mémoire pour fonctionner).
Pour info, tu peux augmenter la taille de la mémoire allouée à la JVM avec la ligne de commande :
java -Xms32m -Xmx64m MonProgramme

ou 32m est la mémoire minimale allouée par la JVM et 64m le max. Bien sur, il faut adapter ces valeurs à tes besoins

[idirovitch]

merci pour votre réponse, premièrement j'arrive pas a faire augmenter la machine virtuel comme vous venez de le dire pouvez vous expliquer un peut plus
pour la taille je viens de déclarer une matrice de double qui contient 6000X6000 et il n’arrive pas de l'afficher alors que dans mon travaille je dois arriver a une matrice de 4 million X million
je suis vraiment bloquer et je sais pas quoi faire

[wax78]

Une matrice de 4.000.000*4.000.000 de double ???

Juste comme ca, un simple test de consommation ultra naif (juste regarder le gestionnaire de taches) pour une simple matrice de double.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
double [][] l = new double[5000][5000]; // 0.231 giga
double [][] l = new double[10000][10000]; // 0.93 giga
double [][] l = new double[20000][20000]; // 4.1 giga
double [][] l = new double[40000][40000]; // 16 giga
l'ordinateur explose :)

Donc je sais pas de combien de giga de ram tu disposes mais j'ai un doute la ^^

[idirovitch]

Bon dieux et pourtant j'ai un pc performant un processeur i7 et une ram 6 G
malgré ça il y a toujour la meme erreur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space

je signal que je travaille avec Netbeans, je vois vraiment ou est le problème

[rg77140]

Bonjour,

Un double c'est 8 octets en Java.

Donc une matrice de 4 000 000 de double, ça représente environ 119209 Go (116 To)

Bon courage

Romain.

[idirovitch]

pour moi c'est pas obligatoire d'y arriver a 4million mais plus la matrice est grande mieux pour moi dans les tests, a votre avis quelle est la plus grande que je peux atteindre et comment pourrais je modifier ou agrandir la taille du JVM

[wax78]

a votre avis quelle est la plus grande que je peux atteindre et comment pourrais je modifier ou agrandir la taille du JVM

J'ai écrit 3 poste plus haut un +- table de mesure.

Avec tes 6 giga tu pourras au mieux faire 25.000².

Ensuite pour la taille de la JVM hwoarang a déja répondu.

Utilises tu bien une machine virtuelle 64 bit au moins ?

Et hormis pour d'eventuels test de performances (et encore), pas besoin d'aller chercher des matrices si grande a mon avis.

[mohamine1989]

Je confirme, il n'y a pas une taille maximale fixe, mais tu peut augmenter la taille permise par la JVM par la commande montrer par wax78, ou bien modifier les paramètres de ton projets : mettre -Xms1024m (1Go), j'ai testé chez moi, c'est le maximum avec NetBeans.
Dans tous les cas, je pense que tu doit réduire la taille de tas matrice, elle va consommer beaucoup de memoire, mais il y a aussi une perte dans les performance, malgré que c'est un stockage contiguë.

[hwoarang]

On peut encore continuer longtemps à parler de matrices à taille improbable mais le plus simple serait que tu nous dises ce que tu cherches à faire. L'utilisation d'une matrice pour tout stocker n'est surement pas la bonne méthode. Si tu as une grande quantité de données, le mieux est de passer par une base de données.
Bref, dis nous d'ou viennent ces données et à quoi elles servent pour voir si on ne peut pas se passer de la matrice

[idirovitch]

vous demandez sur quoi je travaille , ben je travaille sur la base darpa KDD qui contient 4million d'instance mais pour le moment je peux travailler sur KDD_train
qui contient 11646 d'instance (mais le problème c'est que j'ai pas pu dépasser 3000instance, pour rappelle la taille de ma matrice c'est le nombre d'instance )
et pour manipuler ces donnes j'utilise plusieurs matrice une pour stocker les donner lu a partir du fichier une pour calculer la distance euclidienne une autre pour le phéromone comme je travaille avec l'algorithme de colonie de fourmis et plein d'autre tableau donc je crois que une base de donné n'est pas nécessaire dans mon cas

[Sharcoux]

vous demandez sur quoi je travaille , ben je travaille sur la base darpa KDD qui contient 4million d'instance mais pour le moment je peux travailler sur KDD_train
qui contient 11646 d'instance (mais le problème c'est que j'ai pas pu dépasser 3000instance, pour rappelle la taille de ma matrice c'est le nombre d'instance )
et pour manipuler ces donnes j'utilise plusieurs matrice une pour stocker les donner lu a partir du fichier une pour calculer la distance euclidienne une autre pour le phéromone comme je travaille avec l'algorithme de colonie de fourmis et plein d'autre tableau donc je crois que une base de donné n'est pas nécessaire dans mon cas

euh... Si, moi j'ai tendance à penser qu'une base de données est TRèS indiquée dans ton cas.

Le Java est un langage de classes. Là, visiblement, l'essentiel de ton problème réside dans la gestion de tables (matrices). Le langage de tables par excellence, c'est SQL.

[wax78]

Ouais, et s'il doit mutliplier 2 matrices ou faire des opération matricielle, jsuis pas sur qu'il va s'en sortir avec du sql

[Sharcoux]

Pourquoi pas?
http://www.devx.com/dbzone/Article/40223/0/page/4

Par contre, c'est sûr que pour faire des multiplications de matrices de 4millions de côté...

[idirovitch]

je viens d'avoir une idée mais je sais que ça va me couter énormément du temps d’exécution (lire et ecrire ), l'idée c'est que je stocke la matrice plutôt les matrices de mon programme ailleurs soit dans un fichier (.txt/ .arff) ou bien dans une base de donnée (ça sera un peut compliqué ) .
a votre avis qu'elle est la méthode la moindre gourmande en matière de temps (le temps c'est un facteur très important dans mon travaille que je dois prendre en considération), si vous avez d'autre idée a me les proposer ils seront les bienvenu.
merciiiiiiiiiiii

[mohamine1989]

Vue que les données que tu vas stocker sont a l’échelle du giga, je dirais les bases de données, mais comme la indiquée wax78, ça reste très couteux en terme de temps d’exécution, mais dans ton cas, c'est la meilleur solution, en fin, je pense