Discussion :

[phoenix420]

Bonjour.

J'écris actuellement un code qui fouille dans un fichier texte et retourne des occurences associées au terme recherché.

Voici l'exemple d'une ligne d'intérêt :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3

c004fnq.1	NM_005840	SPRY3	MIMAT0005873	hsa-miR-1208	aggcggACAGAC-UUGUCACu	| || | ||||||| 	ccuaaaUUUCAGCAACAGUGa	145	0.59963	2	15	1649	1669	78	78	0	9606	2008-05-16

Les éléments que je veux récupérer sont ceux que j'ai soulignés et mis en gras dans mon exemple.

Pour les récupérer je n'ai pas de problèmes, j'effectue un SPLIT sur ma ligne, je teste ma ligne pour savoir si mon 5ème terme est celui recherché par l'utilisateur (ici cela serait donc hsa-miR-1208). Si cela est bien le cas, je récupère mes 2ème et 3ème termes (respectivement NM_005840 et SPRY3 dans mon exemple).

Mon problème est un peu délicat, lorsque j'effectue une recherche, cela fonctionne, sauf si le nombre de lignes trouvées correspondant à ma recherche est trop important.

Par exemple si je recherche hsa-miR-122, il y a 2095 lignes qui m'intéressent !
Et là j'ai ce message d'erreur qui s'affiche :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
	at java.lang.String.substring(Unknown Source)
	at java.lang.String.subSequence(Unknown Source)
	at java.util.regex.Pattern.split(Unknown Source)
	at java.lang.String.split(Unknown Source)
	at infosmiRNA.listegenescibles(infosmiRNA.java:840)
	at infosmiRNA.actionPerformed(infosmiRNA.java:715)
	at javax.swing.AbstractButton.fireActionPerformed(Unknown Source)
	at javax.swing.AbstractButton$Handler.actionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.fireActionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.setPressed(Unknown Source)
	at javax.swing.AbstractButton.doClick(Unknown Source)
	at javax.swing.plaf.basic.BasicRootPaneUI$Actions.actionPerformed(Unknown Source)
	at javax.swing.SwingUtilities.notifyAction(Unknown Source)
	at javax.swing.JComponent.processKeyBinding(Unknown Source)
	at javax.swing.KeyboardManager.fireBinding(Unknown Source)
	at javax.swing.KeyboardManager.fireKeyboardAction(Unknown Source)
	at javax.swing.JComponent.processKeyBindingsForAllComponents(Unknown Source)
	at javax.swing.JComponent.processKeyBindings(Unknown Source)
	at javax.swing.JComponent.processKeyEvent(Unknown Source)
	at java.awt.Component.processEvent(Unknown Source)
	at java.awt.Container.processEvent(Unknown Source)
	at java.awt.Component.dispatchEventImpl(Unknown Source)
	at java.awt.Container.dispatchEventImpl(Unknown Source)
	at java.awt.Component.dispatchEvent(Unknown Source)
	at java.awt.KeyboardFocusManager.redispatchEvent(Unknown Source)
	at java.awt.DefaultKeyboardFocusManager.dispatchKeyEvent(Unknown Source)
	at java.awt.DefaultKeyboardFocusManager.preDispatchKeyEvent(Unknown Source)
	at java.awt.DefaultKeyboardFocusManager.typeAheadAssertions(Unknown Source)
	at java.awt.DefaultKeyboardFocusManager.dispatchEvent(Unknown Source)
	at java.awt.Component.dispatchEventImpl(Unknown Source)
	at java.awt.Container.dispatchEventImpl(Unknown Source)
	at java.awt.Window.dispatchEventImpl(Unknown Source)

Voici les lignes de code qui me permettent d'effectuer mes actions :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
while ((ligne2=kr.readLine())!=null)
    {
    String[] tabdonneespredictions = ligne2.split("\t", 0);		
    tabdonneespredictions[4]=tabdonneespredictions[4].toLowerCase();
    if (tabdonneespredictions[4].regionMatches(0, recherche, 0, longrecherche))
    	{
  	indic=true;
	genelist.add(tabdonneespredictions[2] +" - - - ");
	mrnalist.add(tabdonneespredictions[1]);
	pospremiernommicro++;
	}
	          
    if ((!tabdonneespredictions[4].regionMatches(0, recherche, 0,     longrecherche)) && indic==true)
              {break;}
    pospremiernommicro++;
}
	         
String[] tabgene = (String[])genelist.toArray(new String[genelist.size()]);
String[] tabmrna = (String[])mrnalist.toArray(new String[mrnalist.size()]);
        
for (int y=0; y<tabmrna.length-1; y++)
       {tabmrna[y] = tabmrna[y] +"\n";}
        
int longtab = tabgene.length;
String[] tabgenemrna = new String[longtab];
for (int u=0; u<longtab; u++)
        {tabgenemrna[u] = tabgene[u] +tabmrna[u];}
String premligne = "Gène - - - mRNA" +"\n" +"----------------------------------------" +"\n";
           
for (int v=0; v<tabgenemrna.length; v++)
    {premligne = premligne +tabgenemrna[v];}
        
genes.setText(premligne);

Ma ligne 840 précisée dans le message d'erreur est la ligne en gras.

Comment puis-je faire pour récupérer mes données quelque soit le nombre de lignes trouvées ?

Merci !

[adiGuba]

Salut,


Attention car les substring()/split() te renvoient une chaine qui pointe sur la chaine complète.

En clair ici en découpant la ligne, chaque String référence la ligne complète avec un index de début/fin à l'intérieur de cette dernière.

C'est parfait pour lire rapidement les données, mais si tu dois stocké il est préférable de générer une nouvelle chaine à la taille exact de ce que tu veux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
	genelist.add(tabdonneespredictions[2] +" - - - "); // ici c'est bon car tu génère déjà une nouvelle chaine
	mrnalist.add( new String(tabdonneespredictions[1]) );

a++

[phoenix420]

Si j'ai bien compris il suffisait d'ajouter new String(...) ?

J'aimerais un peu plus d'explications car je n'ai pas compris le principe ...

Je l'ai fait, le temps de calcul est plus long, mais cela ne fonctionne toujours pas :-s

[phoenix420]

Ah par contre je viens de remarquer que cette fois Eclipse me signale que l'erreur est au niveau de la ligne 883, à savoir celle en gras ci-après :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
while ((ligne2=kr.readLine())!=null)
    {
    String[] tabdonneespredictions = ligne2.split("\t", 0);		
    tabdonneespredictions[4]=tabdonneespredictions[4].toLowerCase();
    if (tabdonneespredictions[4].regionMatches(0, recherche, 0, longrecherche))
    	{
  	indic=true;
	genelist.add(tabdonneespredictions[2] +" - - - ");
	mrnalist.add( new String(tabdonneespredictions[1]));
	pospremiernommicro++;
	}
	          
    if ((!tabdonneespredictions[4].regionMatches(0, recherche, 0,     longrecherche)) && indic==true)
              {break;}
    pospremiernommicro++;
}
	         
String[] tabgene = (String[])genelist.toArray(new String[genelist.size()]);
String[] tabmrna = (String[])mrnalist.toArray(new String[mrnalist.size()]);
        
for (int y=0; y<tabmrna.length-1; y++)
       {tabmrna[y] = tabmrna[y] +"\n";}
        
int longtab = tabgene.length;
String[] tabgenemrna = new String[longtab];
for (int u=0; u<longtab; u++)
        {tabgenemrna[u] = tabgene[u] +tabmrna[u];}
String premligne = "Gène - - - mRNA" +"\n" +"----------------------------------------" +"\n";
           
for (int v=0; v<tabgenemrna.length; v++)
    {premligne = premligne +tabgenemrna[v];}
        
genes.setText(premligne);

[tchize_]

tu n'as pas modifié ton code comme demandé.

Ce que explique adiguba, c'est qu'à cause du split, alors que tu crois stocker uniquement les 10 caractères, tu stocke la ligne complète avec un index de début et de fin. Donc au lieu de stocker 2000*20 octets, si la ligne est très longue, tu stocke peut être 2000*plusieurs centaines de kilooctets.

[adiGuba]

J'aimerais un peu plus d'explications car je n'ai pas compris le principe ...

C'est simple : tu as une chaine super-longue et tu en récupère un petit bout avec substring() ou split(). En fait ce petit bout est lié à la grande chaine. Donc tu conserves toute la chaine en mémoire...

Je l'ai fait, le temps de calcul est plus long, mais cela ne fonctionne toujours pas :-s

C'est que tu consommes toujours beaucoup de mémoire... mais autre part...

Ah par contre je viens de remarquer que cette fois Eclipse me signale que l'erreur est au niveau de la ligne 883, à savoir celle en gras ci-après :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
String premligne = "Gène - - - mRNA" +"\n" +"----------------------------------------" +"\n";
           
for (int v=0; v<tabgenemrna.length; v++)
    {premligne = premligne +tabgenemrna[v];}

Je n'avais pas vu cela, et c'est particulièrement affreux !!!
Pour générer une chaine de caractère il faut passer par la classe StringBuilder et non pas par des concaténations de chaines comme cela...


De même à quoi te servent exactement les différentes itérations ???? Tu pourrais faire tout cela en une seule fois !!!

[phoenix420]

Pour le code collé dans mon message j'ai repris l'ancien en oubliant d'apporter la correction, mais dans mon programme je l'avais fait et je l'ai testé. Erreur corrigée.

Je comprends mieux pourquoi cela occupe autant de mémoire, d'accord. Merci.

Maintenant le problème est au niveau de mon String premligne

[phoenix420]

Oui question optimisation mon programme n'est pas du tout au point j'en suis conscient .. Je suis novice en la matière donc l'optimisation n'est pas vraiment mon fort.

Mes différentes itérations servent à construire mon String premlignejustement, qui est ensuite affiché dans mon JScrollPane dans mon interface graphique (gene.setText(premligne)). Donc là j'ajoutais un titre (Gène - - - mRNA) puis j'ajoutais successivement chacune de mes lignes constituées de mon 2ème et de mon 3ème termes.

Je ne connais pas du tout la classe StringBuilder je vais me renseigner.

[phoenix420]

J'ai essayé ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
StringBuilder premligne = new StringBuilder();
 
premligne.append("Gène - - - mRNA" +"\n" +"----------------------------------------" +"\n");
 
int longtabgenemrna = tabgenemrna.length;
 
for (int v=0; v<longtabgenemrna; v++)
   {premligne.append(tabgenemrna[v]);}
 
genes.setText(premligne.toString());

Mais le problème se situe toujours au même niveau.

[wax78]

Ca ne va rien resoudre pour ton probleme mais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
premligne.append("Gène - - - mRNA");
premligne.append("\n");
premligne.append("----------------------------------------");
premligne.append("\n");
 
ou 
 
premligne.append("Gène - - - mRNA\n---------------------------------------\n");

pour encore eviter des "string" + "string" histoire de faire mon emmerdeur

[phoenix420]

Pourquoi pas, mais ça apporte vraiment quelque chose niveau optimisation ?
Je trouve justement que c'est plus lourd, non ? Cela rajoute des lignes de code.

[adiGuba]

Oui question optimisation mon programme n'est pas du tout au point j'en suis conscient .. Je suis novice en la matière donc l'optimisation n'est pas vraiment mon fort.

Je ne parle pas d'optimisation mais d'algorythme. Tu utilises pleins de structures dans tous les sens : pourquoi ?

• A quoi te servent les listes genelist et mrnalist ?
• A quoi te servent les tableaux tabgene et tabmrna ? Surtout qu'il s'agit de copie de listes précités...
• A quoi te sert le tableau tabgenemrna ?

a++

[adiGuba]

pour encore eviter des "string" + "string" histoire de faire mon emmerdeur

Il est inutile d'éviter les "string" + "string" sur une ligne... au contraire c'est contre productif !

a++

[phoenix420]

Oui en relisant mon algorithme je m'aperçois qu'il y a sûrement beaucoup plus simple ...

Dans genelist je récupérais tous les noms de gènes, i.e. les termes en position 2, auquels j'ajoutais à tous "---".
Dans mrnalist je récupérais tous les noms de transcrits, i.e. les termes en position 1.

Les tableaux tabgene et tabmrna sont les listes genelist et mrnalist converties en tableaux.

Et enfin le tableau tabgenemrna est la fusion des tableaux tabgene et tabmrna. Donc au final mon tableau est :

Case1 : nom_gene1 --- nom_transcrit1
Case2 : nom_gene2 --- nom_transcrit2
etc

Mais en fait je pourrais dès le début créer cela, c'est ce que vous vouliez me faire comprendre ?

[adiGuba]

Mais en fait je pourrais dès le début créer cela, c'est ce que vous vouliez me faire comprendre ?

Ben il faudrait surtout savoir ce que tu veux faire exactement au final.

Ici tu as des problèmes de mémoire et ton algo est complexe car il crée plein d'objet dans tous les sens, et en plusieurs étapes.

J'ai la grosse impression que les 3/4 des choses ne servent à rien... mais pour cela il faudrait savoir ce que tu veux faire exactement avec ce code ?

a++

[phoenix420]

En effet j'ai tellement manié et remanié ce code que maintenant plein d'étapes peuvent être supprimées .. Je viens de tester et quelques lignes suffisent ...

Mais au départ je ne pouvais pas me limiter à créer simplement un String, et à l'afficher dans mon JScrollPane car je veux éliminer les doublons, et j'ai trouvé une fonction permettant de le faire, uniquement à partir d'une ArrayList.

Maintenant mon code est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
StringBuilder premligne = new StringBuilder(1000);
 
premligne.append("Gène - - - mRNA\n---------------------------------------\n");
 
while ((ligne2=kr.readLine())!=null)
{
String[] tabdonneespredictions = ligne2.split("\t", 0);		
tabdonneespredictions[4]=tabdonneespredictions[4].toLowerCase();
if (tabdonneespredictions[4].regionMatches(0, recherche, 0, longrecherche))
      {
       premligne.append(tabdonneespredictions[2] +" - - - " +tabdonneespredictions[1] +"\n");
       }
}
 
premligne.toString().trim();
 
genes.setText(premligne.toString());

Et la fonction que j'ai pu trouver pour éliminer des doublons est la suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
// Méthode pour supprimer les doublons
 
private static ArrayList<String> antiDoublon(ArrayList<String> al)
{
    ArrayList<String> al2 = new ArrayList<String>();
    for (int i=0; i<al.size(); i++)
    {
        String o = al.get(i);
        if (!al2.contains(o))
            {
        	al2.add(o);
        	}
    }
    al = null;
    return al2;   
}

[wax78]

Il est inutile d'éviter les "string" + "string" sur une ligne... au contraire c'est contre productif !

a++

Je suis bien d'accord si ce n'est pas dans une boucle, c'est totalement inutile. D'autant que le code devient plus penible a lire.

[phoenix420]

Bien que le problème d'algorithme soit résolu, le problème de mémoire reste .

Voici le nouveau code que j'utilise :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
StringBuilder premligne = new StringBuilder(1000);
premligne.append("Gène - - - mRNA\n---------------------------------------\n");

ArrayList<String> listetest = new ArrayList<String>();
        
while ((ligne2=kr.readLine())!=null)
	{
	String[] tabdonneespredictions = ligne2.split("\t", 0);		
	tabdonneespredictions[4]=tabdonneespredictions[4].toLowerCase();
			
	if (tabdonneespredictions[4].regionMatches(0, recherche, 0, longrecherche))
		{
		String occurence = tabdonneespredictions[2] +" - - - " +tabdonneespredictions[1] +"\n";
		if (!listetest.contains(occurence))
		{
		listetest.add(occurence);
		premligne.append(occurence);
		}
					
	}
}
        
listetest=null;
String premligne2 = premligne.toString();
premligne2.trim();
genes.setText(premligne2);

Mais lorsque j'essaie d'effectuer ma recherche sur hsa-mir-122 qui je le rappelle retourne 2095 lignes, il m'indique le message d'erreur suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
	at javax.swing.text.AbstractDocument.createLeafElement(Unknown Source)
	at javax.swing.text.DefaultStyledDocument$ElementBuffer.insertElement(Unknown Source)
	at javax.swing.text.DefaultStyledDocument$ElementBuffer.insertUpdate(Unknown Source)
	at javax.swing.text.DefaultStyledDocument$ElementBuffer.insert(Unknown Source)
	at javax.swing.text.DefaultStyledDocument.insertUpdate(Unknown Source)
	at javax.swing.text.AbstractDocument.handleInsertString(Unknown Source)
	at javax.swing.text.AbstractDocument.insertString(Unknown Source)
	at javax.swing.text.DefaultEditorKit.read(Unknown Source)
	at javax.swing.JEditorPane.setText(Unknown Source)
	at infosmiRNA.listegenescibles(infosmiRNA.java:859)
	at infosmiRNA.actionPerformed(infosmiRNA.java:714)
	at javax.swing.AbstractButton.fireActionPerformed(Unknown Source)
	at javax.swing.AbstractButton$Handler.actionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.fireActionPerformed(Unknown Source)
	at javax.swing.DefaultButtonModel.setPressed(Unknown Source)
	at javax.swing.AbstractButton.doClick(Unknown Source)
	at javax.swing.plaf.basic.BasicRootPaneUI$Actions.actionPerformed(Unknown Source)
	at javax.swing.SwingUtilities.notifyAction(Unknown Source)
	at javax.swing.JComponent.processKeyBinding(Unknown Source)
	at javax.swing.KeyboardManager.fireBinding(Unknown Source)
	at javax.swing.KeyboardManager.fireKeyboardAction(Unknown Source)
	at javax.swing.JComponent.processKeyBindingsForAllComponents(Unknown Source)
	at javax.swing.JComponent.processKeyBindings(Unknown Source)
	at javax.swing.JComponent.processKeyEvent(Unknown Source)
	at java.awt.Component.processEvent(Unknown Source)
	at java.awt.Container.processEvent(Unknown Source)
	at java.awt.Component.dispatchEventImpl(Unknown Source)
	at java.awt.Container.dispatchEventImpl(Unknown Source)
	at java.awt.Component.dispatchEvent(Unknown Source)
	at java.awt.KeyboardFocusManager.redispatchEvent(Unknown Source)
	at java.awt.DefaultKeyboardFocusManager.dispatchKeyEvent(Unknown Source)
	at java.awt.DefaultKeyboardFocusManager.preDispatchKeyEvent(Unknown Source)
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space

Avec comme ligne d'erreur 859 ma ligne en gras

[tchize_]

par curiosité, que retourne premligne2.length() et quelle est la quantité de mémoire qui tu as alloué à la jvm?

[phoenix420]

Je viens de tester, premligne2.length() retourne 223264.

Pour la mémoire allouée à la jvm je n'en sais rien ... Je n'ai pas touché à ces réglages car je ne m'y connais pas encore assez ... J'ai bien vu quelques forums en parler ça et là mais je n'ai pas trop compris comment m'en servir.