Éliminer les mots inutiles

Version imprimable

Bonjour,
je suis debutante en java , je cherche à créer une classe java qui me permet de supprimer des mots inutile (mot vide) comme : the , that, is, be, before, because, about, then, can,!,?,..... a partir d'un fichier txt .j'ai crée ce code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
 
public class MotVide {
	public static void main(String[] args){
		String fichier ="D:/application/entrer lemm/ambler.txt";
// exemple d'une liste
		  ArrayList<String> mots = new ArrayList<String>(Arrays.asList("to", "the", "a","or","on","is","in","be","are","is"));
		String  ch = "";
		boolean res ;
		int j;
 
		//lecture du fichier texte	
		try{
			InputStream ips=new FileInputStream(fichier); 
			InputStreamReader ipsr=new InputStreamReader(ips);
			BufferedReader br=new BufferedReader(ipsr);
			FileWriter fileWriter=new FileWriter("D:\\inputlemma.txt"); 
			BufferedWriter bufferedWriter=new    BufferedWriter(fileWriter); 
			String ligne;
 
			 while ((ligne=br.readLine())!=null ){	
				System.out.println(ligne);
				String str[]=ligne.split(" ");
 
				for (int i =0; i<str.length;i++ )
 
				{
				     ch = str[i];
				     j=0 ;
				     res =false ;
				while(j<mots.size() && res ==false)				
				{   
					if ( mots.get(j).equalsIgnoreCase(ch))
				         res= false ; 
				       else  
				         res = true ;
					  j++;
				}
				System.out.println(res);
						 if (res=true)
				 { bufferedWriter.write(str[i]); 
				   bufferedWriter.newLine(); }
 
			   } 
			 }
			br.close();	 	
		}		
		catch (Exception e){
			System.out.println(e.toString());
		}
	}
}

le résultat de code me donner un nouveaux fichier qui contient le même contenue que le fichier initiale, il ne me permet pas d’éliminer les mot vide je pense que la problème dans la fonction equals :
la variable res prend toujours la valeur true :oops: .
Svp aidez moi !!:cry:

05/11/2013, 09h06
joel.drigo
Citation:

Envoyé par Istgas

Bonjour,

Salut,

Citation:

Envoyé par Istgas

la variable res prend toujours la valeur true :oops: .

oui, parce que tu fais :

Code:

if (res=true)

or, le symbole de test d'égalité c'est == pas =, qui est le signe d'affectation

tu devrais faire :

Code:

if (res==true)

ou plus simplement

Code:

if (res)

Quand tu fais

Code:

if (res=true)

ça affecte true à res puis ça évalue l'expression res, donc qui vaut toujours true.

Par ailleurs tu peux remplacer :
Code:

1 2 3 4 5 6 7 8 while(j<mots.size() && res ==false) { if ( mots.get(j).equalsIgnoreCase(ch)) res= false ; else res = true ; j++; }
par

Code:

res = !mots.contains(ch.toLowerCase())

(et ce sera un plus efficace d'utiliser un HashSet plutôt qu'une ArrayList pour mots)
05/11/2013, 10h53
Istgas

:oops: Mercii beacoup sa fonctionne mais :( lorsque j'ai termine la liste avec des autre mots il ne me donne pas une résulta

Citation:

(et ce sera un plus efficace d'utiliser un HashSet plutôt qu'une ArrayList pour mots)

Est ce que tu me donnée un exemple c 'est quoi HasSet ??

Bonjour,

Pour éviter ce genre d'erreur lors d'un test sur l'égalité, j'ai pris l'habitude de mettre le constant à gauche, comme ça on aura une erreur de compilation au lieu du résultat. En java, l'opérateur "=" ne passe que pour les booléens dans un clause "if" mais l'astuce est valable pour les autres langages.
Code:

1 2 3 4 if ("abc".equals(a)) // permet de ne pas tester si a n'est pas null if (true=a) // erreur de compilation if (2==a) // au lieu de (a==2), dans le cas d'oublie d'un égal (=), on aura une erreur de compilation ...
A+.

05/11/2013, 12h17
joel.drigo

Citation:

Envoyé par Istgas

:oops: Mercii beacoup sa fonctionne mais :( lorsque j'ai termine la liste avec des autre mots il ne me donne pas une résulta

Pas de quoi :) Mais je ne comprends pas quand tu dis "j'ai termine la liste avec des autres mots"... mets ton code, ce sera plus parlant

Citation:

Envoyé par Istgas

Est ce que tu me donnée un exemple c 'est quoi HasSet ??

Ce n'est pas très important dans ton petit programme, mais quand il s'agit de vérifier l'existence de quelque chose dans un ensemble de valeurs, utiliser un HashSet est plus rapide qu'une ArrayList (c'est d'autant plus important que cette liste est grande).

Ca s'utilise pareil (si tu utilises contains(), pas si tu utilises ton while et get()) dans ton cas :

Code:

Set<String> mots = new HashSet<String>(Arrays.asList("to", "the", "a","or","on","is","in","be","are","is"));

Attention, un HashSet, comme tous les Set impose que les instances que l'on y met soient uniques (au sens de la méthode equals ) : mais c'est le cas d'une liste de stopwords (ça servirait à rien d'avoir 2 fois le même mot)

Je ne t'explique pas comment fonctionne un HashSet dans le détail, ça risque d'être un petit peu compliqué : sache juste que ça utilise une valeur int (un hash) pour accélérer le test d'égalité (et la recherche), avant de tester equals, d'ou le fait que ça soit plus rapide.

Essai ce code

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
 
public class MotVide {
    public static void main(String[] args){
        String fichier ="D:/application/entrer lemm/ambler.txt";
        ArrayList<String> mots = new ArrayList<String>(Arrays.asList("to", "the", "a","or","on","is","in","be","are","is"));
        //lecture du fichier texte	
        try{
            InputStream ips=new FileInputStream(fichier); 
            InputStreamReader ipsr=new InputStreamReader(ips);
            BufferedReader br=new BufferedReader(ipsr);
            FileWriter fileWriter=new FileWriter("D:\\inputlemma.txt"); 
            BufferedWriter bufferedWriter=new    BufferedWriter(fileWriter); 
            String ligne;
 
             while ((ligne=br.readLine())!=null ){
                String resultat = "";
                System.out.println(ligne);
                String str[]=ligne.split(" ");
 
                for (int i =0; i<str.length;i++ ){
                     boolean res=false;          
                    for (int k = 0; k < mots.size(); k++) {                                    
                        if ( !mots.get(k).equalsIgnoreCase(str[i])){  
                            res=true; break;       
                        }                                   
                    }
                    if(!res){                   
                            bufferedWriter.write(str[i]+" ");
                            resultat += str[i]+" ";
                    }
                }
                System.out.println(resultat);
                bufferedWriter.newLine();
             }
            br.close();	 	
        }		
        catch (Exception e){
                System.out.println(e.toString());
        }
    }
}

tes erreurs:
1-n'emploi pas while si tu peut employer for
2-tu emploie beucoup trop de variable inutile : ch, j ...

05/11/2013, 12h50
andry.aime

@AASProni
Il faut éviter de manipuler un String pour des concaténations parce que c'est immuable et gardé en mémoire pendant certain temps, il faut utiliser un StringBuilder.

A+.
05/11/2013, 13h04
AASProni

Citation:

Envoyé par andry.aime

@AASProni
Il faut éviter de manipuler un String pour des concaténations parce que c'est immuable et gardé en mémoire pendant certain temps, il faut utiliser un StringBuilder.

A+.

Merci beaucoup pour le conseil

Citation:

Pas de quoi Mais je ne comprends pas quand tu dis "j'ai termine la liste avec des autres mots"... mets ton code, ce sera plus parlan

voici le code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 public class MotsVide { public static void main(String[] args){ String fichier ="D:/application/entrer lemm/ambler.txt"; String fichier1 ="D:/application/Stopliste.txt"; String ch = ""; ArrayList<String> mots = new ArrayList<String>(); boolean res ; //lecture du fichier texte try{ InputStream ips=new FileInputStream(fichier); InputStreamReader ipsr=new InputStreamReader(ips); BufferedReader br=new BufferedReader(ipsr); FileWriter fileWriter=new FileWriter("D:\\inputlemma.txt"); BufferedWriter bufferedWriter=new BufferedWriter(fileWriter); String ligne; String ligne1; InputStream ips1=new FileInputStream(fichier1); InputStreamReader ipsr1=new InputStreamReader(ips1); BufferedReader br1=new BufferedReader(ipsr1); // lire fichier qui contient les mots vide at remplire la liste mots while ((ligne1=br1.readLine())!=null) { mots.add(ligne1); } while ((ligne=br.readLine())!=null ){ System.out.println(ligne); String str[]=ligne.split(" "); for (int i =0; i<str.length;i++ ) {ch = str[i]; res = !mots.contains(ch.toLowerCase()); br1.close(); System.out.println(res); if (res==true) { bufferedWriter.write(str[i]); bufferedWriter.newLine(); } } } br.close(); } catch (Exception e){ System.out.println(e.toString()); } } }
le fichier des mots vide :

Citation:

about
above
after
again
against
all
an
and
any
as
at
because
before
below
between
both
but
by
can't
cannot
com
could
couldn't
de
did
didn't
don't
down
during
each
en
few
for
from
further
he
he'd
he'll
he's
her
here
here's
hers
herself
him
himself
his
how
how's
i
i'd
i'll
i'm
i've
if
in
into
it
it's
its
itself
la
let's
more
most
mustn't
my
myself
no
nor
not
of
off
on
once
only
or
other
ought
our
ours
ourselves
out
over
own
same
shan't
she
she'd
she'll
she's
should
shouldn't
so
some
such
than
that
that's
the
their
theirs
them
themselves
then
there
there's
these
they
they'd
they'll
they're
they've
this
those
through
to
too
und
under
until
up
very
was
wasn't
we
we'd
we'll
we're
we've
were
weren't
what
what's
when
when's
where
where's
which
while
who
who's
whom
why
why's
will
with
won't
would
wouldn't
www
you
you'd
you'll
you're
you've
your
yours
yourself
yourselves
.
:
;
,
!
?
§
*
'
"
(
)
[
]
+
/
-

05/11/2013, 14h20
AASProni

A qui s'adresse ta citation?

Citation:

Pas de quoi Mais je ne comprends pas quand tu dis "j'ai termine la liste avec des autres mots"... mets ton code, ce sera plus parlan

As-tu essayé le code que j'ai donné en haut?
Si OUI, dis moi si ça a marché ou pas!

Merci d'avance!

Citation:

Envoyé par AASProni

A qui s'adresse ta citation?

As-tu essayé le code que j'ai donné en haut?
Si OUI, dis moi si ça a marché ou pas!

Merci d'avance!

Oui j'ai essayé votre code que mais ça marche pas
Mon problème maintenant est lorsque je test ce code avec une liste qui contient 6 , 7 mot ça marche . Mais lorsque j'utilise une liste qui contient 40 mots par exemple ne me donne pas aucune résultat :oops: :cry:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
 
public class MotsVide {
	public static void main(String[] args){
		String fichier ="D:/application/entrer lemm/ambler.txt";
		String fichier1 ="D:/application/Stopliste.txt";
		String  ch = "";
		 ArrayList<String> mots = new ArrayList<String>();
		boolean res ;
		//lecture du fichier texte	
		try{
			InputStream ips=new FileInputStream(fichier); 
			InputStreamReader ipsr=new InputStreamReader(ips);
			BufferedReader br=new BufferedReader(ipsr);
			FileWriter fileWriter=new FileWriter("D:\\inputlemma.txt"); 
			BufferedWriter bufferedWriter=new BufferedWriter(fileWriter); 
 
			String ligne;
			String ligne1;
			InputStream ips1=new FileInputStream(fichier1); 
			InputStreamReader ipsr1=new InputStreamReader(ips1);
			BufferedReader br1=new BufferedReader(ipsr1);
// lire fichier qui contient les mots vide at remplire la liste mots 		     
		  while ((ligne1=br1.readLine())!=null)
		 {   
 
			 mots.add(ligne1);
 
		}
         while ((ligne=br.readLine())!=null ){	
				System.out.println(ligne);
				String str[]=ligne.split(" ");
 
			for (int i =0; i<str.length;i++ )
				{ch = str[i];
				 res = !mots.contains(ch.toLowerCase());
				 br1.close();
				 System.out.println(res);
		       if (res==true)
				 { bufferedWriter.write(str[i]); 
					   bufferedWriter.newLine(); }
 
			   } 
			 }
			br.close();	 	
		}		
		catch (Exception e){
			System.out.println(e.toString());
		}
	}
 
}

Aucun résultat ? C'est à dire ? Le fichier en sortie est complètement vide ? Le programme se bloque, s'arrête normalement, ou trace une exception ?

Il manque un flush à la fin sur ton writer pour vider le buffer : c'est peut être tout simplement ça ton problème...

Je me suis permis de refactoriser ton code pour y voir plus clair, avec l'utilisation d'un HashSet :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.FileReader;
import java.io.FileWriter;
import java.io.IOException;
import java.util.HashSet;
import java.util.Set;
 
public class MotsVide {
 
	private final static String FICHIER_ENTREE = "D:/application/entrer lemm/ambler.txt";
	private final static String FICHIER_STOPWORDS = "D:/application/Stopliste.txt";
	private final static String FICHIER_SORTIE = "D:/inputlemma.txt";
 
	public static void main(String[] args) {
 
		try {
			Set<String> mots = lireStopListe();
 
			// lecture du fichier texte
			try (
				BufferedReader reader = new BufferedReader(new FileReader(
						FICHIER_ENTREE));
				BufferedWriter writer = new BufferedWriter(new FileWriter(
					FICHIER_SORTIE))
			    ) {
				// lire fichier qui contient les mots vide at remplire la liste mots
 
				  String ligne;
 
				  while ((ligne = reader.readLine()) != null) {
					System.out.println(ligne);
					for (String str : ligne.split(" ")) {
						if (!mots.contains(str.toLowerCase())) {
							writer.write(str);
							writer.newLine();
						}
					}
				  }
 
				  writer.flush();
			}
 
		} catch (IOException e) {
			e.printStackTrace();
		}
 
	}
 
	private static Set<String> lireStopListe() throws IOException {
 
		// lecture stopliste
		Set<String> mots = new HashSet<>();
 
		try (
	             BufferedReader reader = new BufferedReader(new FileReader(FICHIER_STOPWORDS))
		    ) {
 
			   String ligne;
			   while ((ligne = reader.readLine()) != null) {
				mots.add(ligne.trim());
			   }
 
		}
 
		System.out.println("Stop words: " + mots);
		return mots;
 
	} 
 
}

05/11/2013, 18h51
Istgas

Citation:

Envoyé par joel.drigo

Aucun résultat ? C'est à dire ? Le fichier en sortie est complètement vide ? Le programme se bloque, s'arrête normalement, ou trace une exception ?

Le programme s'arrete noemalement mais donne un fichier vide:cry:
05/11/2013, 19h01
joel.drigo

Citation:

Envoyé par Istgas

Le programme s'arrete noemalement mais donne un fichier vide:cry:

y compris avec un flush ? (tu as testé avec mon code ?)
05/11/2013, 19h05
joel.drigo

Par contre, quand je vois ta stop word list, je me dis que le split[] n'est pas forcément une bonne idée pour parser le fichier d'entrée. En fait le problème vient du faire qu'il y a de la ponctuation de la stop word list (et que ça ne devrait pas y être : ça devrait être traité à part

Dans la pharse : Le petit garçon, en jouant à la balle, était heureux. tu obtiens le split suivant :
Le
petit
garçon,
en
jouant
à
la
balle,
était
heureux.

On voit tout de suite le problème...
05/11/2013, 21h40
thelvin

Citation:

Envoyé par joel.drigo

Il manque un flush à la fin sur ton writer pour vider le buffer : c'est peut être tout simplement ça ton problème...

L'absence de flush() est une chose. L'absence de close() en est une autre.

flush() est à essayer dans le doute. close() est indispensable quelle que soit la situation.
(D'où le AutoCloseable de Java 7 et non pas AutoFlushable)
05/11/2013, 21h44
joel.drigo

Citation:

Envoyé par thelvin

L'absence de flush() est une chose. L'absence de close() en est une autre.

flush() est à essayer dans le doute. close() est indispensable quelle que soit la situation.
(D'où le AutoCloseable de Java 7 et non pas AutoFlushable)

Ah, oui, en effet, j'avais pas vu qu'il manquait le close du writer. Faut dire que j'ai pensé au flush en refactorisant son code et que j'avais déjà refactorisé avec les try-with-resource, du coup, j'ai pas tilté sur l'absence du close.
06/11/2013, 22h10
Istgas

:merci:
mon problème est résolue grâce à vous :bravo: