IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Entrée/Sortie Java Discussion :

BufferedReader : outOfMemory lecture gros fichier


Sujet :

Entrée/Sortie Java

  1. #1
    Membre habitué
    Inscrit en
    Septembre 2009
    Messages
    8
    Détails du profil
    Informations forums :
    Inscription : Septembre 2009
    Messages : 8
    Par défaut BufferedReader : outOfMemory lecture gros fichier
    Bonjour,

    J'obtiens une erreur outOfMemory lors de l'instanciation d'un BufferedReader :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    String inFilePath = "D:\\Temp\\test.txt";
    BufferedReader buffIn = new BufferedReader(new FileReader(inFilePath), new FileInputStream(fl).available());


    En effet, lorsque je pointe vers un fichier texte de plus 80 Mo / 100 000 lignes, le serveur semble ne pas supporter...

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    java.lang.OutOfMemoryError 
         at java.io.BufferedReader.<init>(BufferedReader.java(Compiled Code)) 
         at org.apache.jsp._rusaudsec._jspService(_rusaudsec.java(Compiled Code)) 
         at com.ibm.ws.webcontainer.jsp.runtime.HttpJspBase.service(HttpJspBase.java:89) 
         at javax.servlet.http.HttpServlet.service(HttpServlet.java:853) 
    [...]
    Il a t-il un moyen de limiter le nombre de ligne à lire pour mon BufferedReader, et ainsi boucler autant de fois que nécessaire. Par exemple, lire les 40 000 premières lignes puis passer aux 40 000 suivantes.
    J'ai rien trouvé pour le moment... Merci d'avance pour votre aide .


    Cordialement,
    Lemero

  2. #2
    Expert éminent
    Avatar de adiGuba
    Homme Profil pro
    Développeur Java/Web
    Inscrit en
    Avril 2002
    Messages
    13 938
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java/Web
    Secteur : Transports

    Informations forums :
    Inscription : Avril 2002
    Messages : 13 938
    Billets dans le blog
    1
    Par défaut
    Salut,

    C'est pas très joli tout ceci :
    Citation Envoyé par lemero Voir le message
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    BufferedReader buffIn = new BufferedReader(new FileReader(inFilePath), new FileInputStream(fl).available());
    Non seulement tu ouvres deux flux (dont un ne sera jamais fermé), mais en plus tu ouvres un buffer d'une taille potentiellement assez conséquente !


    Pourquoi as-tu besoin de spécifier la taille du buffer ? Une lecture séquentielle ne te suffit pas ?

    a++

  3. #3
    Membre habitué
    Inscrit en
    Septembre 2009
    Messages
    8
    Détails du profil
    Informations forums :
    Inscription : Septembre 2009
    Messages : 8
    Par défaut
    Merci pour ta réponse.

    Si je fais ça :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    java.io.FileReader fReader = new java.io.FileReader(inFilePath);
    java.io.BufferedReader buffIn = new java.io.BufferedReader(fReader);
    [...]
    fReader.close();				
    buffIn.close();
    Je n'ai plus d'outOfMemory, mais IE plante au bout de 5 min. Sous fireFox, ça marche mais le traitement n'est toujours pas fini depuis 1h ...

    Je vais essayer d'alléger mon traitement, et de me pencher sur la lecture/écriture de fichier en séquentiel.

  4. #4
    Expert éminent
    Avatar de adiGuba
    Homme Profil pro
    Développeur Java/Web
    Inscrit en
    Avril 2002
    Messages
    13 938
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java/Web
    Secteur : Transports

    Informations forums :
    Inscription : Avril 2002
    Messages : 13 938
    Billets dans le blog
    1
    Par défaut
    Désolé mais ton code ne contient vraiment rien d'utile :
    • j'ouvre un fichier
    • je ferme un fichier


    Mis à part que tu n'utilises pas de try/finally... je ne vois pas ce qu'on pourrait te dire de plus...


    a++

  5. #5
    Membre habitué
    Inscrit en
    Septembre 2009
    Messages
    8
    Détails du profil
    Informations forums :
    Inscription : Septembre 2009
    Messages : 8
    Par défaut
    Biensur, j'utilise un try/catch/finally. Je n'ai pas copier/coller tout mon code, ça serait beaucoup trop long.

    En gros, ça donne ça :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    FileReader fReader = new FileReader(inFilePath);
    BufferedReader buffIn = new BufferedReader(fReader);
    try {
      if(buffIn.ready()) {
          String line;
          //Lecture ligne par ligne
          while ((line = buffIn.readLine()) != null) {
               [...TRAITEMENT...]
          }
      }
    }catch (IOException ioe) {
      [...TRAITEMENT...]
    } finally {
        // fermeture buffer
        fReader.close();
        buffIn.close();
    }

  6. #6
    Expert éminent
    Avatar de adiGuba
    Homme Profil pro
    Développeur Java/Web
    Inscrit en
    Avril 2002
    Messages
    13 938
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java/Web
    Secteur : Transports

    Informations forums :
    Inscription : Avril 2002
    Messages : 13 938
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par lemero Voir le message
    Biensur, j'utilise un try/catch/finally.
    Déjà ce n'est pas des try/catch/finally qu'il faut utiliser, mais des try/finally dans un try/catch (voir lien précédent).


    Citation Envoyé par lemero Voir le message
    Je n'ai pas copier/coller tout mon code, ça serait beaucoup trop long.
    Et donc ? Tu attends quoi de nous ?

    a++

  7. #7
    Membre habitué
    Inscrit en
    Septembre 2009
    Messages
    8
    Détails du profil
    Informations forums :
    Inscription : Septembre 2009
    Messages : 8
    Par défaut
    Ok, merci pour la préconisation sur les try/finally.
    Mon problème d'outOfMemory venait bien de l'ouverture des 2 flux. En respectant les consignes donnée dans ton lien, mon serveur renvoir une réponse en moins de 45 sec.

    Problème résolue.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Problème lecture gros fichier texte
    Par UnnamedBoy dans le forum Entrée/Sortie
    Réponses: 7
    Dernier message: 22/02/2008, 11h13
  2. Optimisation de lecture de gros fichier
    Par uriotcea dans le forum Windows
    Réponses: 3
    Dernier message: 23/11/2006, 19h00
  3. [OutOfMemory + lecture / ecrture fichier]
    Par xarius dans le forum API standards et tierces
    Réponses: 13
    Dernier message: 13/06/2006, 00h03
  4. [C#]Lecture gros fichier texte
    Par kekesilo dans le forum Windows Forms
    Réponses: 5
    Dernier message: 20/05/2006, 13h58
  5. Optimisation de la lecture de tres gros fichiers
    Par Lydie dans le forum C++Builder
    Réponses: 4
    Dernier message: 12/07/2004, 14h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo