[Stratégie]grandes masses de données

**TIF16** · 05/03/2006, 20h04

Bonjour,
Voilà nous implémentons un algorithme en java qui utilise en entrée la matrice d'adjacence (tableau de tableau) d'un graphe. Cette matrice est composée de 0 et de 1 en forme de byte. Or cette matrice est traduite à partir de fichier benchmarks. Le problème est la taille très importante de ces fichiers (jsq'à 400000 lignes). Nous recherchons des solutions pour gérer cette masse de données sachant que cela ne tient pas en mémoire; autre que les bases de données.

Merci

**Scorpyosis** · 05/03/2006, 20h24

sachant que cela ne tient pas en mémoire; autre que les bases de données.

De combien de mémoire disposez vous ? etant donné que la mémoire est contraint, est ce que le temps d'execution peut être important ? En effet, vu que toutes les données ne peuvent pas apparement être stocké en mémoire, il faudra acceder a chaque à une partie de linformation, et donc perdre du temps.

**TIF16** · 07/03/2006, 14h08

La mémoire dont nous disposons est de 256 M.

**soad** · 07/03/2006, 14h24

Envoyé par TIF16

Cette matrice est composée de 0 et de 1 en forme de byte.

Au lieu d'avoir des bytes ne serait-il pas mieux d'avoir un tableau de boolean ?

**Satch** · 07/03/2006, 14h30

Envoyé par saod

Au lieu d'avoir des bytes ne serait-il pas mieux d'avoir un tableau de boolean ?

ça changerait rien.

Dans la pratique, un boolean prend au moins la même place qu'un byte.

EDIT : Et ajouter de la mémoire, c'est pas une solution envisageable ?

**soad** · 07/03/2006, 14h45

Envoyé par Satch

Dans la pratique, un boolean prend au moins la même place qu'un byte.

... ha bon...

Envoyé par TIF16

(jsq'à 400000 lignes).

Et combien de colonnes ?

si tu augmentes la mémoire de la JMV avec le paramètre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

-Xmx256m

???

**anykeyh** · 07/03/2006, 14h45

Transformer chaque byte en bits:
8x moins d'espace utilisé...

Pour acceder à la valeur (1,0) n de ta ligne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

int valeur = bits[n/8] & (0x1 << n%8) >> n%8

Pour ecrire dans ton byte 8 bits:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for(int i=0; i<tailledonnée;i++)
{
    bits[i/8] = bits[i/8] | (data << i%8)
}

**Hephaistos007** · 07/03/2006, 16h12

Cette matrice est composée de 0 et de 1

Inutile de stocker les 0. Il faut utiliser une matrice creuse.
Jettes un oeil sur http://w3.ift.ulaval.ca/~dogen19/ift-10541/Laboratoires/Lab12_TablesDeDispersion.pdf

[Stratégie]grandes masses de données

Langage Java

Discussions similaires

Partager

Partager