IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Collection et Stream Java Discussion :

Problème mémoire Java heap space avec tableau et ArrayList


Sujet :

Collection et Stream Java

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Homme Profil pro
    Ingénieur bioinformaticien
    Inscrit en
    Avril 2010
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 36
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur bioinformaticien
    Secteur : Santé

    Informations forums :
    Inscription : Avril 2010
    Messages : 139
    Par défaut Problème mémoire Java heap space avec tableau et ArrayList
    Bonjour.

    J'écris actuellement un code qui fouille dans un fichier texte et retourne des occurences associées au terme recherché.

    Voici l'exemple d'une ligne d'intérêt :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    
    c004fnq.1	NM_005840	SPRY3	MIMAT0005873	hsa-miR-1208	aggcggACAGAC-UUGUCACu	| || | ||||||| 	ccuaaaUUUCAGCAACAGUGa	145	0.59963	2	15	1649	1669	78	78	0	9606	2008-05-16
    Les éléments que je veux récupérer sont ceux que j'ai soulignés et mis en gras dans mon exemple.

    Pour les récupérer je n'ai pas de problèmes, j'effectue un SPLIT sur ma ligne, je teste ma ligne pour savoir si mon 5ème terme est celui recherché par l'utilisateur (ici cela serait donc hsa-miR-1208). Si cela est bien le cas, je récupère mes 2ème et 3ème termes (respectivement NM_005840 et SPRY3 dans mon exemple).

    Mon problème est un peu délicat, lorsque j'effectue une recherche, cela fonctionne, sauf si le nombre de lignes trouvées correspondant à ma recherche est trop important.

    Par exemple si je recherche hsa-miR-122, il y a 2095 lignes qui m'intéressent !
    Et là j'ai ce message d'erreur qui s'affiche :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
    	at java.lang.String.substring(Unknown Source)
    	at java.lang.String.subSequence(Unknown Source)
    	at java.util.regex.Pattern.split(Unknown Source)
    	at java.lang.String.split(Unknown Source)
    	at infosmiRNA.listegenescibles(infosmiRNA.java:840)
    	at infosmiRNA.actionPerformed(infosmiRNA.java:715)
    	at javax.swing.AbstractButton.fireActionPerformed(Unknown Source)
    	at javax.swing.AbstractButton$Handler.actionPerformed(Unknown Source)
    	at javax.swing.DefaultButtonModel.fireActionPerformed(Unknown Source)
    	at javax.swing.DefaultButtonModel.setPressed(Unknown Source)
    	at javax.swing.AbstractButton.doClick(Unknown Source)
    	at javax.swing.plaf.basic.BasicRootPaneUI$Actions.actionPerformed(Unknown Source)
    	at javax.swing.SwingUtilities.notifyAction(Unknown Source)
    	at javax.swing.JComponent.processKeyBinding(Unknown Source)
    	at javax.swing.KeyboardManager.fireBinding(Unknown Source)
    	at javax.swing.KeyboardManager.fireKeyboardAction(Unknown Source)
    	at javax.swing.JComponent.processKeyBindingsForAllComponents(Unknown Source)
    	at javax.swing.JComponent.processKeyBindings(Unknown Source)
    	at javax.swing.JComponent.processKeyEvent(Unknown Source)
    	at java.awt.Component.processEvent(Unknown Source)
    	at java.awt.Container.processEvent(Unknown Source)
    	at java.awt.Component.dispatchEventImpl(Unknown Source)
    	at java.awt.Container.dispatchEventImpl(Unknown Source)
    	at java.awt.Component.dispatchEvent(Unknown Source)
    	at java.awt.KeyboardFocusManager.redispatchEvent(Unknown Source)
    	at java.awt.DefaultKeyboardFocusManager.dispatchKeyEvent(Unknown Source)
    	at java.awt.DefaultKeyboardFocusManager.preDispatchKeyEvent(Unknown Source)
    	at java.awt.DefaultKeyboardFocusManager.typeAheadAssertions(Unknown Source)
    	at java.awt.DefaultKeyboardFocusManager.dispatchEvent(Unknown Source)
    	at java.awt.Component.dispatchEventImpl(Unknown Source)
    	at java.awt.Container.dispatchEventImpl(Unknown Source)
    	at java.awt.Window.dispatchEventImpl(Unknown Source)

    Voici les lignes de code qui me permettent d'effectuer mes actions :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    while ((ligne2=kr.readLine())!=null)
        {
        String[] tabdonneespredictions = ligne2.split("\t", 0);		
        tabdonneespredictions[4]=tabdonneespredictions[4].toLowerCase();
        if (tabdonneespredictions[4].regionMatches(0, recherche, 0, longrecherche))
        	{
      	indic=true;
    	genelist.add(tabdonneespredictions[2] +" - - - ");
    	mrnalist.add(tabdonneespredictions[1]);
    	pospremiernommicro++;
    	}
    	          
        if ((!tabdonneespredictions[4].regionMatches(0, recherche, 0,     longrecherche)) && indic==true)
                  {break;}
        pospremiernommicro++;
    }
    	         
    String[] tabgene = (String[])genelist.toArray(new String[genelist.size()]);
    String[] tabmrna = (String[])mrnalist.toArray(new String[mrnalist.size()]);
            
    for (int y=0; y<tabmrna.length-1; y++)
           {tabmrna[y] = tabmrna[y] +"\n";}
            
    int longtab = tabgene.length;
    String[] tabgenemrna = new String[longtab];
    for (int u=0; u<longtab; u++)
            {tabgenemrna[u] = tabgene[u] +tabmrna[u];}
    String premligne = "Gène - - - mRNA" +"\n" +"----------------------------------------" +"\n";
               
    for (int v=0; v<tabgenemrna.length; v++)
        {premligne = premligne +tabgenemrna[v];}
            
    genes.setText(premligne);

    Ma ligne 840 précisée dans le message d'erreur est la ligne en gras.

    Comment puis-je faire pour récupérer mes données quelque soit le nombre de lignes trouvées ?

    Merci !

  2. #2
    Expert éminent
    Avatar de adiGuba
    Homme Profil pro
    Développeur Java/Web
    Inscrit en
    Avril 2002
    Messages
    13 938
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java/Web
    Secteur : Transports

    Informations forums :
    Inscription : Avril 2002
    Messages : 13 938
    Billets dans le blog
    1
    Par défaut
    Salut,


    Attention car les substring()/split() te renvoient une chaine qui pointe sur la chaine complète.

    En clair ici en découpant la ligne, chaque String référence la ligne complète avec un index de début/fin à l'intérieur de cette dernière.

    C'est parfait pour lire rapidement les données, mais si tu dois stocké il est préférable de générer une nouvelle chaine à la taille exact de ce que tu veux :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    	genelist.add(tabdonneespredictions[2] +" - - - "); // ici c'est bon car tu génère déjà une nouvelle chaine
    	mrnalist.add( new String(tabdonneespredictions[1]) );
    a++

  3. #3
    Membre confirmé
    Homme Profil pro
    Ingénieur bioinformaticien
    Inscrit en
    Avril 2010
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 36
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur bioinformaticien
    Secteur : Santé

    Informations forums :
    Inscription : Avril 2010
    Messages : 139
    Par défaut
    Si j'ai bien compris il suffisait d'ajouter new String(...) ?

    J'aimerais un peu plus d'explications car je n'ai pas compris le principe ...

    Je l'ai fait, le temps de calcul est plus long, mais cela ne fonctionne toujours pas :-s

  4. #4
    Membre confirmé
    Homme Profil pro
    Ingénieur bioinformaticien
    Inscrit en
    Avril 2010
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 36
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur bioinformaticien
    Secteur : Santé

    Informations forums :
    Inscription : Avril 2010
    Messages : 139
    Par défaut
    Ah par contre je viens de remarquer que cette fois Eclipse me signale que l'erreur est au niveau de la ligne 883, à savoir celle en gras ci-après :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    while ((ligne2=kr.readLine())!=null)
        {
        String[] tabdonneespredictions = ligne2.split("\t", 0);		
        tabdonneespredictions[4]=tabdonneespredictions[4].toLowerCase();
        if (tabdonneespredictions[4].regionMatches(0, recherche, 0, longrecherche))
        	{
      	indic=true;
    	genelist.add(tabdonneespredictions[2] +" - - - ");
    	mrnalist.add( new String(tabdonneespredictions[1]));
    	pospremiernommicro++;
    	}
    	          
        if ((!tabdonneespredictions[4].regionMatches(0, recherche, 0,     longrecherche)) && indic==true)
                  {break;}
        pospremiernommicro++;
    }
    	         
    String[] tabgene = (String[])genelist.toArray(new String[genelist.size()]);
    String[] tabmrna = (String[])mrnalist.toArray(new String[mrnalist.size()]);
            
    for (int y=0; y<tabmrna.length-1; y++)
           {tabmrna[y] = tabmrna[y] +"\n";}
            
    int longtab = tabgene.length;
    String[] tabgenemrna = new String[longtab];
    for (int u=0; u<longtab; u++)
            {tabgenemrna[u] = tabgene[u] +tabmrna[u];}
    String premligne = "Gène - - - mRNA" +"\n" +"----------------------------------------" +"\n";
               
    for (int v=0; v<tabgenemrna.length; v++)
        {premligne = premligne +tabgenemrna[v];}
            
    genes.setText(premligne);

  5. #5
    Expert éminent
    Avatar de tchize_
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2007
    Messages
    25 482
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 45
    Localisation : Belgique

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Avril 2007
    Messages : 25 482
    Par défaut
    tu n'as pas modifié ton code comme demandé.

    Ce que explique adiguba, c'est qu'à cause du split, alors que tu crois stocker uniquement les 10 caractères, tu stocke la ligne complète avec un index de début et de fin. Donc au lieu de stocker 2000*20 octets, si la ligne est très longue, tu stocke peut être 2000*plusieurs centaines de kilooctets.

  6. #6
    Membre confirmé
    Homme Profil pro
    Ingénieur bioinformaticien
    Inscrit en
    Avril 2010
    Messages
    139
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 36
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur bioinformaticien
    Secteur : Santé

    Informations forums :
    Inscription : Avril 2010
    Messages : 139
    Par défaut
    Pour le code collé dans mon message j'ai repris l'ancien en oubliant d'apporter la correction, mais dans mon programme je l'avais fait et je l'ai testé. Erreur corrigée.

    Je comprends mieux pourquoi cela occupe autant de mémoire, d'accord. Merci.

    Maintenant le problème est au niveau de mon String premligne

  7. #7
    Expert éminent
    Avatar de adiGuba
    Homme Profil pro
    Développeur Java/Web
    Inscrit en
    Avril 2002
    Messages
    13 938
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Java/Web
    Secteur : Transports

    Informations forums :
    Inscription : Avril 2002
    Messages : 13 938
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par phoenix420 Voir le message
    J'aimerais un peu plus d'explications car je n'ai pas compris le principe ...
    C'est simple : tu as une chaine super-longue et tu en récupère un petit bout avec substring() ou split(). En fait ce petit bout est lié à la grande chaine. Donc tu conserves toute la chaine en mémoire...

    Citation Envoyé par phoenix420 Voir le message
    Je l'ai fait, le temps de calcul est plus long, mais cela ne fonctionne toujours pas :-s
    C'est que tu consommes toujours beaucoup de mémoire... mais autre part...

    Citation Envoyé par phoenix420 Voir le message
    Ah par contre je viens de remarquer que cette fois Eclipse me signale que l'erreur est au niveau de la ligne 883, à savoir celle en gras ci-après :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    String premligne = "Gène - - - mRNA" +"\n" +"----------------------------------------" +"\n";
               
    for (int v=0; v<tabgenemrna.length; v++)
        {premligne = premligne +tabgenemrna[v];}
    Je n'avais pas vu cela, et c'est particulièrement affreux !!!
    Pour générer une chaine de caractère il faut passer par la classe StringBuilder et non pas par des concaténations de chaines comme cela...


    De même à quoi te servent exactement les différentes itérations ???? Tu pourrais faire tout cela en une seule fois !!!

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Problème de mémoire: Java heap space
    Par Benduroy dans le forum Général Java
    Réponses: 3
    Dernier message: 20/05/2011, 15h14
  2. Réponses: 10
    Dernier message: 25/08/2010, 21h07
  3. Java heap space avec xms et xmx
    Par le mage tophinus dans le forum Général Java
    Réponses: 8
    Dernier message: 29/04/2010, 12h51
  4. Problème avec le Java heap space
    Par Viscapon dans le forum JSF
    Réponses: 5
    Dernier message: 18/05/2009, 17h42
  5. probleme de mémoire : Java heap space
    Par Seb33300 dans le forum Interfaces Graphiques en Java
    Réponses: 10
    Dernier message: 21/02/2007, 13h40

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo