Discussion :

[fanzyride]

Bonjour,
Je dois améliorer une apply qui parcourt un texte pour en dénombrer le nombre de mots et leurs occurrences (dite segmentation). J'ai donc une classe qui a pour attributs : Un String et une liste d'occurrences sous forme d'une liste de paire d'offset.
Cette classe s'appelle SEGINCONTEXTS et la classe qui contient tous les mots est SEGINCONTEXTSLIST (logique ! ).

Voilà d'un point de vue mémoire c'est performant pour des textes (.txt) ne dépassant pas les 900ko.
C'est pour ça que je voudrais savoir si quelqu'un a une idée pour que je puisse segmenter un texte de n'importe quelle taille ?

Merci d'avance

[CheryBen]

Bonjour, montre nous le code de cette classe pour qu'on puisse te dire ce qui peut être amélioré

[fanzyride]

Ben le problème c'est qu'il y a 3-4 classes qui travaillent pour cette segmentation et avec toutes les fonctions en plus il y en a pour minimum 200lignes chacune. Donc en fait lorsque je trouve un mot (c'est pas moi qui est écrit la fonction qui cherche les mots) je l'envoi dans cette méthode

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 public void addWord(OffsetPair op, String s)
    {
    	boolean alreadyIs = false; 
    	for(Object o : this)
    	{
    		SEGINCONTEXTS sic = (SEGINCONTEXTS) o;
    		if(sic.getString().equals(s)){
    			sic.addContext(op);
    			alreadyIs = true;
    			break;
    		}
    	}
    	if(!alreadyIs)
    	{
    		OffsetPairList opl = new OffsetPairList(); 
    		opl.addElement(op);
    		this.addElement(new SEGINCONTEXTS(Global.corpus,s,opl));
    	}
    }

qui est dans la classe de SEGINCONTEXTSLIST.

Je vous passerais bien le code de la segmentation mais il fait 150 lignes et c'est assez dur a décrypté.
Mais sinon en gros le

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 SEGINCONTEXTSLIST extends  Vector

Donc au bout d'un moment il n'y a plus assez de mémoire pour garder tous les mots.

[fanzyride]

En fait j'ai une question plus précise,

Au début quand je faisais ma segmentation, je sauvegardais tout le vector de SEGINCONTEXTS dans un fichier. donc pour les petits textes ca marche, mais maintenant il me faut pas un truc performant(enfin si mais pas prioritairement), il faut un truc qui ne dépasse pas la mémoire. du coup j'ai fais le test : quand mon vector de mots est égal à 2000 mots je le sauvegarde (mots + offsets) et je vide le vector. Plus tard je ferais des tries pour fusionner les différents fichiers.

Donc je me demande si c'est possible de sauvegarder et de vider ce vector juste avant qu'il me génère une erreur de type "oufOfMemory"

En espérant m'être fait comprendre,
Merci

[dinobogan]

Tu peux utiliser un "java.lang.ref.SoftReference". C'est fait pour ça. S'il n'y a plus assez d'espace mémoire, le garbage collector va supprimer l'objet contenu dans un SoftReference.

Pour la liste des mots à chercher, tu peux par exemple déclarer N ArrayList rangés dans N SoftReference :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
liste : ArrayList de SoftReference
liste[ i ] : SoftReference de ArrayList
 
pour chaque i de liste
  softReference = liste[ i ]
  arrayList = softReference.get()
  si arrayList == null
    recréer arrayList à partir du fichier
    softReference.set( arrayList )  => n'existe pas mais pour simplifier l'algo
  finsi
  ...
  travailler avec arrayList
  ...
finpour

[fanzyride]

Merci !
Je vais étudier la java doc pour voir ça de plus près.
Ciao