Java heap space - ArrayList.ensureCapacity(Unknown Source)

**phoenix420** · 17/05/2010, 15h50

Bonjour.

J'ai un problème de mémoire avec Eclipse.

Mon programme s'appuie sur un fichier texte qui fait 18 Mo. Pour pouvoir travailler dessus j'ai ajouté chaque ligne dans une ArrayList.

Problème : à mon avis la mémoire n'est pas suffisante (celle allouée à l'ArrayList d'après ce que j'ai compris) car quand je lance mon programme j'ai ce message d'erreurs qui s'affiche :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
	at java.util.ArrayList.ensureCapacity(Unknown Source)
	at java.util.ArrayList.add(Unknown Source)
	at infosmiRNA.actionPerformed(infosmiRNA.java:457)
	at javax.swing.AbstractButton.fireActionPerformed(Unknown Source)
	at javax.swing.AbstractButton$Handler.actionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.fireActionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.setPressed(Unknown Source)
	at javax.swing.plaf.basic.BasicButtonListener.mouseReleased(Unknown Source)
	at java.awt.Component.processMouseEvent(Unknown Source)
	at javax.swing.JComponent.processMouseEvent(Unknown Source)
	at java.awt.Component.processEvent(Unknown Source)
	at java.awt.Container.processEvent(Unknown Source)
	at java.awt.Component.dispatchEventImpl(Unknown Source)
	at java.awt.Container.dispatchEventImpl(Unknown Source)
	at java.awt.Component.dispatchEvent(Unknown Source)
	at java.awt.LightweightDispatcher.retargetMouseEvent(Unknown Source)
	at java.awt.LightweightDispatcher.processMouseEvent(Unknown Source)
	at java.awt.LightweightDispatcher.dispatchEvent(Unknown Source)
	at java.awt.Container.dispatchEventImpl(Unknown Source)
	at java.awt.Window.dispatchEventImpl(Unknown Source)
	at java.awt.Component.dispatchEvent(Unknown Source)
	at java.awt.EventQueue.dispatchEvent(Unknown Source)
	at java.awt.EventDispatchThread.pumpOneEventForHierarchy(Unknown Source)
	at java.awt.EventDispatchThread.pumpEventsForHierarchy(Unknown Source)
	at java.awt.EventDispatchThread.pumpEvents(Unknown Source)
	at java.awt.EventDispatchThread.pumpEvents(Unknown Source)
	at java.awt.EventDispatchThread.run(Unknown Source)

Et ma ligne de code 457 qui est précisée dans le message d'erreur est celle-ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
while (ligne!=null)
{
listlignesmirbase.add(ligne.toString());   // ligne n°457
}

Comment résoudre ce problème de mémoire ?
Sur le net j'ai trouvé qu'il fallait rajouter "-XX:PermSize=128m-XX:MaxPermSize=256m" dans le fichier eclipse.ini mais cela n'a rien fait de plus ...

Quelqu'un aurait-il une idée ?
Merci beaucoup !!!

**tchize_** · 17/05/2010, 16h41

Envoyé par phoenix420

Et ma ligne de code 457 qui est précisée dans le message d'erreur est celle-ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
while (ligne!=null)
{
listlignesmirbase.add(ligne.toString());   // ligne n°457
}

ce code va boucler infiniement jusqu'à être a court de mémoire, le critère d'arrêt ne se déclanchant jamais.

Sur le net j'ai trouvé qu'il fallait rajouter "-XX

ermSize=128m-XX:MaxPermSize=256m" dans le fichier eclipse.ini mais cela n'a rien fait de plus ...

eclipse.ini ne sert qu'à paramétrer l'IDE, c'est ton programme qu'il faut parametrer. Dans les run configuration de ton projet, t'as un onglet pour les paramètres de la JVM, c'est là qu'il faut les ajouter.

**phoenix420** · 17/05/2010, 17h19

D'accord.

Comment dois-je m'y prendre pour remplir ma liste alors si cela sature la mémoire ? Je dois passer par un autre moyen ?

**unknow0** · 17/05/2010, 17h24

Bonjour,

lire la ligne suivante dans ton while peu être

**phoenix420** · 17/05/2010, 17h33

..euh comment ça ?
Tant que ma ligne n'est pas nulle, la boucle passe à la ligne suivante pour l'ajouter à ma liste (d'où la saturation de la mémoire ..), donc je passe bien à la ligne suivante.

Qu'est ce que vous vouliez dire ?

**tchize_** · 17/05/2010, 17h37

dans ton code, tu ne passe pas à la ligne suivante, tu ajoute toujours la même ligne!

**phoenix420** · 17/05/2010, 17h49

Aïe

d'accord

Donc il faut que je crée un compteur ?

**unknow0** · 17/05/2010, 17h54

oO

nan nan mais tu a bien un truc pour lire ton fichier genre un BufferedReader br

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while((line=br.readLine())!=null)

lit et test la ligne lu si elle et null

**phoenix420** · 17/05/2010, 18h03

D'accord.
Oui j'avais bien créé mon BufferedReader... Mais je ne l'ai pas utilisé dans ma boucle ..
J'essayerai demain, là je ne peux pas le tester chez moi.

En tout cas merci ! Bonne soirée :-)

**phoenix420** · 18/05/2010, 09h37

Bonjour.

J'ai testé à l'instant la commande et en effet cela fonctionne déjà mieux.
Mais j'ai un autre problème dont je ne situe pas la source .. Voilà le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
listlignesmirbase = new ArrayList<String>();
listlignesmicrorna = new ArrayList<String>();
datamicrorna ="C:/fichier.txt";
 
if (source == lancement)
{
  //lecture du fichier texte	
  try
  {
   InputStream ips=new FileInputStream(datamicrorna); 
   InputStreamReader ipsr=new InputStreamReader(ips);
   BufferedReader br=new BufferedReader(ipsr);
 
   String ligne=br.readLine();
 
   while ((ligne=br.readLine())!=null)
   {
    listlignesmirbase.add(ligne);
   }
 
   for (String lignlist : listlignesmirbase)
      {
       if ((lignlist.regionMatches(0, "ID", 0, 2)==true) && (lignlist.regionMatches(5, recherche, 0, longrecherche)==true))
          {
           while ((lignlist=br.readLine())!=null && (lignlist=br.readLine())!="//")
                    {
                    listlignesmicrorna.add(lignlist);
	       }
          }
       }
 
 
    System.out.println(listlignesmirbase.get(0));

Le début de mon fichier texte est le suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
ID   cel-let-7         standard; RNA; CEL; 99 BP.
XX
AC   MI0000001;
XX
DE   Caenorhabditis elegans let-7 stem-loop
XX
RN   [1]
RX   PUBMED; 11679671.
RA   Lau NC, Lim LP, Weinstein EG, Bartel DP;
RT   "An abundant class of tiny RNAs with probable regulatory roles in
RT   Caenorhabditis elegans";
RL   Science. 294:858-862(2001).
XX
RN   [2]
RX

Donc le résultat qui devrait s'afficher est "ID cel-let-7 standard; RNA; CEL; 99 BP."

Mais non, ce qui s'affiche quand je fais get(0) (la première ligne de mon ArrayList), c'est la seconde ligne, et pas la première comme je l'attends.

Et je ne vois pas du tout d'où peut venir le décalage..

**tchize_** · 18/05/2010, 10h17

Parce que tu ignore ta première lecture:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
   String ligne=br.readLine();
 
   while ((ligne=br.readLine())!=null)

Le résultat de ton premier readline est directement masqué par la première instruction de la boucle qui lit la ligne suivante.

**phoenix420** · 18/05/2010, 11h25

Ah parfait ! Merci beaucoup !
Je ne pensais pas que lorsque j'appelais de nouveau "ligne" dans ma boucle (après l'avoir déclarée) cela passait à la ligne suivante.

Merci beaucoup !

**phoenix420** · 18/05/2010, 16h10

Je dois avoir le même genre de souci à nouveau, sauf que cette fois je n'utilise pas de BufferedReader, mais des boucles. J'obtiens toujours le message d'erreur concernant la saturation de la mémoire.

Mon fichier plat a la structure suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
ID   cel-let-7         standard; RNA; CEL; 99 BP.
XX
AC   MI0000001;
XX
DE   Caenorhabditis elegans let-7 stem-loop
XX
RN   [1]
RX   PUBMED; 11679671.
RA   Lau NC, Lim LP, Weinstein EG, Bartel DP;
RT   "An abundant class of tiny RNAs with probable regulatory roles in
RT   Caenorhabditis elegans";
RL   Science. 294:858-862(2001).
XX
RN   [2]
RX   PUBMED; 12672692.
RA   Lim LP, Lau NC, Weinstein EG, Abdelhakim A, Yekta S, Rhoades MW, Burge CB,
RA   Bartel DP;
RT   "The microRNAs of Caenorhabditis elegans";
RL   Genes Dev. 17:991-1008(2003).
XX
RN   [3]
RX   PUBMED; 12747828.
RA   Ambros V, Lee RC, Lavanway A, Williams PT, Jewell D;
RT   "MicroRNAs and other tiny endogenous RNAs in C. elegans";
RL   Curr Biol. 13:807-818(2003).
XX
RN   [4]
RX   PUBMED; 12769849.
RA   Grad Y, Aach J, Hayes GD, Reinhart BJ, Church GM, Ruvkun G, Kim J;
RT   "Computational and experimental identification of C. elegans microRNAs";
RL   Mol Cell. 11:1253-1263(2003).
XX
RN   [5]
RX   PUBMED; 17174894.
RA   Ruby JG, Jan C, Player C, Axtell MJ, Lee W, Nusbaum C, Ge H, Bartel DP;
RT   "Large-scale sequencing reveals 21U-RNAs and additional microRNAs and
RT   endogenous siRNAs in C. elegans";
RL   Cell. 127:1193-1207(2006).
XX
RN   [6]
RX   PUBMED; 19460142.
RA   Kato M, de Lencastre A, Pincus Z, Slack FJ;
RT   "Dynamic expression of small non-coding RNAs, including novel microRNAs
RT   and piRNAs/21U-RNAs, during Caenorhabditis elegans development";
RL   Genome Biol. 10:R54(2009).
XX
RN   [7]
RX   PUBMED; 20062054.
RA   Zisoulis DG, Lovci MT, Wilbert ML, Hutt KR, Liang TY, Pasquinelli AE, Yeo
RA   GW;
RT   "Comprehensive discovery of endogenous Argonaute binding sites in
RT   Caenorhabditis elegans";
RL   Nat Struct Mol Biol. 17:173-179(2010).
XX
DR   RFAM; RF00027; let-7.
DR   WORMBASE; C05G5/12462-12364; .
XX
CC   let-7 is found on chromosome X in Caenorhabditis elegans [1] and pairs to
CC   sites within the 3' untranslated region (UTR) of target mRNAs, specifying
CC   the translational repression of these mRNAs and triggering the transition
CC   to late-larval and adult stages [2].
XX
FH   Key             Location/Qualifiers
FH
FT   miRNA           17..38
FT                   /accession="MIMAT0000001"
FT                   /product="cel-let-7"
FT                   /evidence=experimental
FT                   /experiment="cloned [1-3,5], Northern [1], PCR [4], Solexa
FT                   [6], CLIPseq [7]"
FT   miRNA           56..80
FT                   /accession="MIMAT0015091"
FT                   /product="cel-let-7*"
FT                   /evidence=experimental
FT                   /experiment="CLIPseq [7]"
XX
SQ   Sequence 99 BP; 26 A; 19 C; 24 G; 0 T; 30 other;
     uacacugugg auccggugag guaguagguu guauaguuug gaauauuacc accggugaac        60
     uaugcaauuu ucuaccuuac cggagacaga acucuucga                               99
//
ID   cel-lin-4         standard; RNA; CEL; 94 BP.
XX
AC   MI0000002;
.................etc

Je veux stocker dans une ArrayList toutes les lignes concernant un seul ID, qui sont donc comprises entre les lignes commençant par "ID" et "//".

Voilà mon bout de code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
recherche = saisiemirna.getText();
longrecherche = recherche.length();
 
//lecture du fichier texte	
try
{
InputStream ips=new FileInputStream(datamicrorna); 
InputStreamReader ipsr=new InputStreamReader(ips);
BufferedReader br=new BufferedReader(ipsr);
 
String ligne;
 
while ((ligne=br.readLine())!=null)
{
listlignesmirbase.add(ligne);
}
 
String[] tabdonneesmirbase = (String[])listlignesmirbase.toArray(new String[listlignesmirbase.size()]);
 
int posID = 0;
int pos1dbleslash = 0; 				
int k = tabdonneesmirbase.length;
 
// j'ajoute la 1ère ligne concernant le microRNA dans la liste
for (int i=0; i<k; i++)
{
if ((tabdonneesmirbase[i].regionMatches(5, recherche , 0, longrecherche)==true))
   	{
             listlignesmicrorna.add(tabdonneesmirbase[i]);
             posID=i+1;
   	}
}
 
// je cherche la case du tableau contenant le "//" successif
for (int j=posID; j<k; j++)
{
if ((tabdonneesmirbase[j].regionMatches(0, "//" , 0, 2)==true))
   	{
   	pos1dbleslash=j+1;
   	}
}
 
// j'ajoute le reste des données à ma liste
while (posID<pos1dbleslash)
{
listlignesmicrorna.add(tabdonneesmirbase[posID]);  // SATURATION !
posID++;
}

Encore un problème de mémoire :s

**tchize_** · 18/05/2010, 16h38

posID et pos1dbleslash valent quoi avant de rentrer dans la boucle??

**phoenix420** · 18/05/2010, 17h03

posID et pos1dbleslash sont initialisées à 0 au départ.

J'affecte la position dans le tableau de l'ID qui m'intéresse à la première et j'affecte la position dans le tableau du double slash qui le succède à la deuxième.

Ensuite j'ajoute les contenus des cases situées entre ces deux cases à mon ArrayList listlignesmicrorna et c'est ça qui semble saturer la mémoire, alors qu'il n'y a que quelques lignes à ajouter seulement.

**tchize_** · 18/05/2010, 19h17

oui mais, juste avant ta boucle, ils ont quelle valeur? Vérifie ça!

**phoenix420** · 19/05/2010, 09h04

Ok.

J'ai vérifié les valeurs de posID et de pos1dbleslash juste avant la boucle et elles ont respectivement les valeurs 27958 et 492036. Il n'y a pas autant de lignes entre mes bornes "ID" et "//", en fait pos1dbleslash est la position du tout dernier "//" à la fin du fichier, ce que je ne veux pas.

**unknow0** · 19/05/2010, 10h57

Envoyé par phoenix420

Ok.

J'ai vérifié les valeurs de posID et de pos1dbleslash juste avant la boucle et elles ont respectivement les valeurs 27958 et 492036. Il n'y a pas autant de lignes entre mes bornes "ID" et "//", en fait pos1dbleslash est la position du tout dernier "//" à la fin du fichier, ce que je ne veux pas.

normal

une fois trouver tu ne sort pas de tes boucle:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
for (int i=0; i<k; i++)
{
if ((tabdonneesmirbase[i].regionMatches(5, recherche , 0, longrecherche)==true))
   	{
             listlignesmicrorna.add(tabdonneesmirbase[i]);
             posID=i+1;
break;
   	}
}
	   				
// je cherche la case du tableau contenant le "//" successif
for (int j=posID; j<k; j++)
{
if ((tabdonneesmirbase[j].regionMatches(0, "//" , 0, 2)==true))
   	{
   	pos1dbleslash=j+1;
break;
   	}

ou en mieu

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
while(!tabdonneesmirbase[posID].regionMatches(5, recherche , 0, longrecherche))
	{
	posID++;
	}
pos1dbleslash=posID;
while(!tabdonneesmirbase[pos1dbleslash].regionMatches(0, "//" , 0, 2))
	{
	pos1dbleslash++;
	}

**phoenix420** · 19/05/2010, 12h46

Super l'astuce ! Merci beaucoup, c'est parfait !

Je n'aurais pas pensé à aborder le problème de cette manière en effet.

Merci encore !

Java heap space - ArrayList.ensureCapacity(Unknown Source)

Collection et Stream Java

Discussions similaires

Partager

Partager