Discussion :

[TravelMate]

Bonjour,

J'ai pensé que mon problème pourrait rencontrer ici un succès alors je le poste.

Je lis avec java un fichier .txt qui peut être à priori très volumineux. Ce fichier est caractérisé par:

1. Une entête (pour les noms de colonnes)
2. Puis juste après un premier nombre de lignes à ne pas traiter
3. Viennent ensuite les données utiles
4. Enfin un dernier nombre de lignes de pied de page à ne pas traiter

Jusque là, j'ouvrais le fichier dans un bufferedInputStream, j'en comptais le nombre de lignes dans un champ de la classe.
Lorsque vient ensuite le traitement, je m'arrangeais pour lire depuis le début toutes les données en vérifiant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

header + firstToIgnored + useFuls + lastToIgnore = totalLines

Aujourd'hui je me heurte à la taille de la mémoire parce que j'ai chargé un fichier gros dont je ne peux compter le nombre de lignes sur la bécane que j'utilise. J'aimerais savoir si quelqu'un a une idée pour s'affranchir de ce problème, i.e. trouver un moyen de ne pas compter toutes les lignes en amont...

Merci

[BugFactory]

Vous pourriez utiliser la méthode

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

read(byte[] b, int off, int len)

pour lire le fichier morceaux par morceaux.

[TravelMate]

J'aimerais lire le fichier ligne par ligne. Une idée de la lecture par bloc de lignes? (sachant que les lignes n'ont pas de longueur fixe). Il peut s'agir aussi d'un fichier csv

[in]

je ne sais pas si j'ai bien cerné le pb mais déjà :

connais tu le nombre de lignes à ne pas lire en 2 ? Là ya pas de pb normalement ...

pour le point 4. Y a t'il un motif ou quelque chose qui te permette de détecter que tu as finis de lire les lignes et que tu est arrivé au niveau de celles qui ne faut pas lire ?

Sinon, autre piste (mais qui me parait peut etre hasardeuse), n'y a t'il pas moyen d'établir une relation entre taille du fichier et nombre de caractères. Puis essayer de determiner le numéro de ligne en connaissant le nombre de caractère par ligne ? Mais bon je m'avance un peu je pense ...

[TravelMate]

je ne sais pas si j'ai bien cerné le pb mais déjà :

connais tu le nombre de lignes à ne pas lire en 2 ? Là ya pas de pb normalement ...
...

Ce nombre sera donné par l'utilisateur du logiciel. De même que le nombre à ne pas lire en 4.

pour le point 4. Y a t'il un motif ou quelque chose qui te permette de détecter que tu as finis de lire les lignes et que tu est arrivé au niveau de celles qui ne faut pas lire ?
...

Pas de motif malheureusement.

Précision de taille. Ce fichier peut etre un fichier plat txt ou un fichier csv. Les points cités plus haut s'appliquent dans les 2 cas. Merci pour vos aides.

[XSeb74]

ceci lit un fichier ligne par ligne et rempli un vecteur

ça pourrait t'inspirer

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
FileReader fr = new FileReader(file);
BufferedReader buf = new BufferedReader(fr);
Vector lines = new Vector();
String thisLine = null;
while ((thisLine = buf.readLine()) != null)
	lines.addElement(thisLine);

[had35]

As-tu une raison particulière de vouloir connaître le nombre de ligne avant de commencer la lecture du fichier ?

[TravelMate]

As-tu une raison particulière de vouloir connaître le nombre de ligne avant de commencer la lecture du fichier ?

Justement je ne veux pas connaître le nombre de lignes. Mais la contrainte est que je dois ignorer un certain nombre de lignes à la fin du fichier

[TravelMate]

ceci lit un fichier ligne par ligne et rempli un vecteur

ça pourrait t'inspirer....

En effet!
Juste que le fait de remplir le vecteur occupe de la place. Je risque de ne plus avoir de place dans le heap a terme. Mais, je vais y réfléchir pour voir comment optimiser tout ceci.

Je crois quand même que je vais:

1. Lire un certain nombre de lignes (par exemple (le nombre de lignes à ignorer)+1). Sachant que ce nombre est inférieur à 10, ça doit pas poser de problème...
2. Stocker ces lignes dans un vecteur.
3. Puis à la suite, essayer de lire le nombre de lignes à ignorer +1 à la fin dans un autre vecteur. Si ça marche,c'est que j'ai potentiellement des données à lire dans le fichier. Je traite les données dans le premier vecteur comme données utiles.
4. Je copie les données du 2ème vecteur dans le 1er vecteur, et j'essaie de lire dans le fichier des données dans le second vecteur.

La fin du fichier est forcément comme suit:

• Le second vecteur ne peut pas se remplir, alors soit sa taille est égale au nbre de ligne à ignorer soit inférieur.
• Dans le cas d'une égalité, je traite les données du premier vecteur et je m'arrête là.
• Dans le second cas, si la taille du second vecteur est inférieur au nombre de lignes d'en pied à ignorer alors, je ne lis dans le premier vecteur que les lignes utiles nécessaires.

Qu'en pensez-vous?