BufferedReader : outOfMemory lecture gros fichier

Version imprimable

Bonjour,

J'obtiens une erreur outOfMemory lors de l'instanciation d'un BufferedReader :

Code:

1 2 String inFilePath = "D:\\Temp\\test.txt"; BufferedReader buffIn = new BufferedReader(new FileReader(inFilePath), new FileInputStream(fl).available());

En effet, lorsque je pointe vers un fichier texte de plus 80 Mo / 100 000 lignes, le serveur semble ne pas supporter...
Code:

1 2 3 4 5 6 java.lang.OutOfMemoryError at java.io.BufferedReader.<init>(BufferedReader.java(Compiled Code)) at org.apache.jsp._rusaudsec._jspService(_rusaudsec.java(Compiled Code)) at com.ibm.ws.webcontainer.jsp.runtime.HttpJspBase.service(HttpJspBase.java:89) at javax.servlet.http.HttpServlet.service(HttpServlet.java:853) [...]
Il a t-il un moyen de limiter le nombre de ligne à lire pour mon BufferedReader, et ainsi boucler autant de fois que nécessaire. Par exemple, lire les 40 000 premières lignes puis passer aux 40 000 suivantes.
J'ai rien trouvé pour le moment... Merci d'avance pour votre aide :ccool: .

Cordialement,
Lemero

14/09/2009, 13h22
adiGuba

Salut,

C'est pas très joli tout ceci :

Citation:

Envoyé par lemero

Code:

BufferedReader buffIn = new BufferedReader(new FileReader(inFilePath), new FileInputStream(fl).available());

Non seulement tu ouvres deux flux (dont un ne sera jamais fermé), mais en plus tu ouvres un buffer d'une taille potentiellement assez conséquente !

:arrow: Pourquoi as-tu besoin de spécifier la taille du buffer ? Une lecture séquentielle ne te suffit pas ?

a++
14/09/2009, 16h05
lemero
Merci pour ta réponse.

Si je fais ça :
Code:

1 2 3 4 5 java.io.FileReader fReader = new java.io.FileReader(inFilePath); java.io.BufferedReader buffIn = new java.io.BufferedReader(fReader); [...] fReader.close(); buffIn.close();
Je n'ai plus d'outOfMemory, mais IE plante au bout de 5 min. Sous fireFox, ça marche mais le traitement n'est toujours pas fini depuis 1h ...

Je vais essayer d'alléger mon traitement, et de me pencher sur la lecture/écriture de fichier en séquentiel.
14/09/2009, 16h17
adiGuba
Désolé mais ton code ne contient vraiment rien d'utile :
- j'ouvre un fichier
- je ferme un fichier
Mis à part que tu n'utilises pas de try/finally... je ne vois pas ce qu'on pourrait te dire de plus...

a++

Biensur, j'utilise un try/catch/finally. Je n'ai pas copier/coller tout mon code, ça serait beaucoup trop long.

En gros, ça donne ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
FileReader fReader = new FileReader(inFilePath);
BufferedReader buffIn = new BufferedReader(fReader);
try {
  if(buffIn.ready()) {
      String line;
      //Lecture ligne par ligne
      while ((line = buffIn.readLine()) != null) {
           [...TRAITEMENT...]
      }
  }
}catch (IOException ioe) {
  [...TRAITEMENT...]
} finally {
    // fermeture buffer
    fReader.close();
    buffIn.close();
}

14/09/2009, 16h45
adiGuba

Citation:

Envoyé par lemero

Biensur, j'utilise un try/catch/finally.

Déjà ce n'est pas des try/catch/finally qu'il faut utiliser, mais des try/finally dans un try/catch (voir lien précédent).

Citation:

Envoyé par lemero

Je n'ai pas copier/coller tout mon code, ça serait beaucoup trop long.

Et donc ? Tu attends quoi de nous ?

a++
15/09/2009, 14h06
lemero

Ok, merci pour la préconisation sur les try/finally.
Mon problème d'outOfMemory venait bien de l'ouverture des 2 flux. En respectant les consignes donnée dans ton lien, mon serveur renvoir une réponse en moins de 45 sec.

Problème résolue.