Traitement d'une grande masse de données en Java

Bonjour,

Je souhaiterai avoir votre retour d'expérience sur un souci que je rencontre en ce moment. Je vais décrire ci-dessous le problème.

Je dispose actuellement d'un fichier texte avec des données structurées qui a une taille de 3Go. Je souhaite charger tout ce fichier en mémoire pour y effectuer des traitements mathématiques de statistiques. Le véritable problème est que je ne voudrais pas charger en mémoire des morceaux de ce fichier avant d'effectuer des traitements. Je souhaite charger le fichier en entier. Mes question sont les suivantes:

Est ce que c'est faisable déjà en Java?
Quelles sont les collections en Java qui puissent me permettre de le faire?

Merci par avance de votre retour.

Tu n'explique pas ton souci. A priori c'est faisable en Java, avec n'importe quelle collection, d'autant que sans doute c'est plein de données numériques qui prendront moins de place en mémoire que le fichier texte. Tu as essayé quoi ? Pourquoi ça ne marchait pas ?

Bonjour,

cela est possible, oui, mais est-ce souhaitable? non...

J'ai déjà eu affaire avec des calculs sur un gros volume de données. L'approche a toujours été la même: Essayer d'adapter l'algorithme de calcul pour éviter les gros chargements en mémoire. Il est souvent possible de découper le calcul pour obtenir des résultats intermédiaires et libérer une partie de la mémoire à chaque étape.

La principale problématique était que la mémoire dispo n'était pas constante (à cause d'autres applis) et qu'il fallait éviter à tout prix le swap.
Au final, les différents calculs étaient en plus beaucoup plus maintenables et testables que le calcul mathématique théorique d'origine.

Mais chaque cas est différent et il n'y a pas de vérité absolue...

il faut que tu aies suffisament de RAM sur ta machine, et augmenter la memoire autorisée pour JAVA.

mais 3Go, c'est bien trop gros pour le charger... ( à mon avis)

Apres tout depend tes besoins, si ce sont des données texte, xml, binaire....

Un fichier de 3Go c'est pas forcément 3Go de données...

Attention sous Windows 32 bit , on est limité à 2Go par processus !!!

Citation:

---

Envoyé par miaous

Attention sous Windows 32 bit , on est limité à 2Go par processus !!!

---

Et même carrément à ~1.2G pour la java, car java a besoin d'une mémoire contigue.

De toutes façons, il semble évident qu'il n'est pas nécessaire de tout charger en mémoire pour faire les calculs ; au pire on gère soi-même une mémoire virtuelle de n'importe quelle taille.

Merci à vous tous pour vos contributions.
J'en ferai bon usage. Car c'est une problématique
qui avait été posée par un ami et j'avais souhaité avoir
l'avis des autres afin d'éclairer cet ami,
vu que c'est un forum d'échange et de partage. :ccool: