Discussion :

[AlonzoChurch]

Bonjour,
dans le cadre d'un projet je dois manipuler une base de données au format texte de 30 Go. La base de données n'est pas sous un format usuel, et c'est hors de question d'utiliser un logiciel de SGBD vu qu'il va tout falloir télécharger ce qui prendrait beaucoup trop de temps.
J'aimerais faire un script simple en Java qui me permet de récupérer les informations que je veux à l'intérieur (moins de 1Go très probablement), sauf que j'imagine que la JVM est incapable de manipuler un fichier de cette taille vu que j'ai 8Go de ram dont 2 réservés à la JVM. Est-ce que c'est possible de contourner ce problème ?
J'aimerais par exemple découper le fichier en plusieurs morceaux pour partager le travail avec une autre personne et éviter de bloquer mon ordinateur pendant quelques jours. Merci pour votre réponse !

[adiGuba]

Salut,


Pour vraiment t'aider il faudrait connaitre le format du fichier...

As-tu vraiment besoin de tout charger en mémoire pour accéder aux informations ?
N'est-il pas possible de récupérer les infos à la volée en lisant le fichier ?

[AlonzoChurch]

C'est un fichier .txt

On a de la chance parce que toute la base est contenue dans une seule table même si les lignes sont de taille très inégale, je dirais de 100 à 2000 caractères. On cherche à récupérer deux colonnes par ligne donc il suffit de lire les lignes une par une.

C'est possible de couper le fichier en 100 morceaux d'environ 300Mo avec un simple BufferedWriter / Reader qui recopie dans des nouveaux fichiers ? Ou alors Java charge tout le fichier dans la ram ? C'est ça que je demande

[wax78]

donc il suffit de lire les lignes une par une.

Tu réponds toi même à ta question la

Si tu lis lignes par lignes alors il n'y aura pas de problèmes à priori et il ne chargera pas tout en mémoire.

[AlonzoChurch]

Ok c'est parfait merci !
Je vais devoir me mettre à niveau sur la gestion des fichiers en Java je pense