Discussion :

[Baptiste Wicht]

Bonjour,

dans le cadre d'une application, on doit stocker un grand nombre d'informations dans des fichiers et y accéder ensuite de manière aléatoire...

C'est à dire, que si nous entrons 25000 données on va devoir ensuite aller rechercher ces 25000 données dans le fichier, mais accéder une seule fois à chacun (via la classe Random).

Le problème est donc, comment accéder à une donnée X dans un fichier...

On ne peut pas se permettre de faire une boucle pour aller à chaque ligne, ca prendrait beaucoup trop de temps, vu que nous aurons environ 7 fichiers comme ça avec de 20'000 à 150'000 données par fichier...

On a pensé aux fichiers binaires, c'est possible à réaliser ? Ou alors une autre solution ? Voire même une solution native qui permettent d'aller à une ligne x dans un simple fichier (mais vraiment dans le pire des cas ).

d'avance

Si vous voulez des précisions, n'hésitez pas

[BoudBoulMan]

Je proposerais d'enregistrer tout ton fichier dans un Vector<String> dont chaque String correpsond à une ligne du fichier. Ca va prendre du temp mais cela ne se fera qu'une seule fois au début du programme.

Ensuite, on tire un nombre aléatoire et on retire le String se trouvant à tel position dans le Vector.

[Baptiste Wicht]

Je proposerais d'enregistrer tout ton fichier dans un Vector<String> dont chaque String correpsond à une ligne du fichier. Ca va prendre du temp mais cela ne se fera qu'une seule fois au début du programme.

Ensuite, on tire un nombre aléatoire et on retire le String se trouvant à tel position dans le Vector.

C'est possible en effet, mais je risque d'être limité du coté de la mémoire. Je me rappelle plus des chiffres exacts, mais on doit pas être loin de 500'000 données à stocker... En sachant qu'une données et une chaîne de caractère...

C'est pour ça que je préfèrerais une méthode stockée.

[sinok]

Si tes données ont un format bien défini, alors tu peux utiliser un fichier binaire couplé à un fichier d'index faisant correpondre à une clef une position et tu peux aors aller directement à la position voulue grâce à la classe random(je suppose que tes données sont regroupées de telle ou telle façon).

Ensuite il te suffit de charger ton index ( qui est largement plus petit) en mémoire et et de naviger dans ton gros fichier à l'aide de celui ci.

Le principal problème viens avant tout de la forme des données que tu dois stocker, de la façon dont elles dont ordonnées...

[Baptiste Wicht]

Si tes données ont un format bien défini, alors tu peux utiliser un fichier binaire couplé à un fichier d'index faisant correpondre à une clef une position et tu peux aors aller directement à la position voulue grâce à la classe random(je suppose que tes données sont regroupées de telle ou telle façon).

Ensuite il te suffit de charger ton index ( qui est largement plus petit) en mémoire et et de naviger dans ton gros fichier à l'aide de celui ci.

Le principal problème viens avant tout de la forme des données que tu dois stocker, de la façon dont elles dont ordonnées...

Mes données sont des chaînes de caractères de longueur tout à fait variables... Ca peut être des mots ou un ensemble de plusieurs mots...

Mes données sont pas vraiment regroupées, elles sont extraites de la base de données de manières séquentielles. J'aurai plusieurs fichier pour les stocker, chacun représentant ce qu'est la donnée (un nom, un prénom, ...).

[iohack]

+1 pour les indexes. Tu stock dans le fichier index ( ou List selon la taille ) toutes les positions de débuts de ligne.
Ce fichier index contiendra des variables de type "long", pour permettre à la classe RandomAccessFile de faire le "seek(long position)" voulu puis de récupérer la ligne.

[the-gtm]

Les bases de données c'est fait pour ce genre de chose.
Coder un composant qui stocke des lignes dans des fichiers c'est refaire une base, avec les bugs et la sueur en plus

[Baptiste Wicht]

Les bases de données c'est fait pour ce genre de chose.
Coder un composant qui stocke des lignes dans des fichiers c'est refaire une base, avec les bugs et la sueur en plus

Tu as peut-être raison, on va peut-être stocker ça dans des tables temporaires...

On voulait rester sur l'idée de fichier pour s'affranchir d'une table et pour réutiliser les données plus tard.

[Baptiste Wicht]

Sinon, on a eu une autre idée :

Employer des fichiers excels et les manipuler avec POI.

Quelqu'un sait si POI charge tout en mémoire ou non ? Et aussi si on peut accéder à une donnée d'une ligne X

[sinok]

POI sur de tels volumes tu peux oublier directement....
Mieux vaut encore des fichiers textes ou binaires dont tu gère le format.

[Baptiste Wicht]

POI sur de tels volumes tu peux oublier directement....
Mieux vaut encore des fichiers textes ou binaires dont tu gère le format.

En fait, je viens de tester et ca marche plutôt bien

J'ai essayé avec un fichier Excel de 30'000 lignes et plusieurs dizaines de milliers d'accès à des lignes aléatoires et c'est concluant, le temps est très faible et la montée en charge très correcte.

Et pour répondre à ma question, POI charge bel et bien tout en RAM, mais ca reste correct si ce ne sont que des données texte.