Discussion :

[hanadi_09]

Bonsoir,

j'ai un programme java ou je lis un texte à partir d'un fichier .doc avec Scanner() et puis je réalise des traitement sur ce texte. comme premier traitement je veux supprimer tous les ' apostrophes présentes. j'ai essayé skip() et replace mais ça marche pas. avez vous d'autres fonctions à me proposer?

[joel.drigo]

Salut,

Quand tu dis fichier .doc, tu parles de fichier Microsoft Word ?

Et de quelle méthode replace() tu parles ?

Un Scanner est efficace pour lire du flux depuis la console, éventuellement pour du flux texte (personnellement, je préfère un BufferedReader et FileReader, mais soit, va pour le Scanner).
Par contre, pour lire un fichier et le modifier, il faut, en fait, le lire d'un coté, et en écrire un autre de l'autre (et éventuellement, à la fin, supprimer le fichier d'origine, et renommer le nouveau). Tu ne peux pas remplacer à la volée, dans un fichier des caractères par d'autres, surtout si, en plus, si ce n'est pas le même nombre de caractères (remplacer une quote par rien, donc remplacer 1 caractère par 0 caractère).

En ce qui concerne un doc word, pour le coup, comme ce n'est pas un fichier texte, les apostrophes ne sont certainement pas lisible sous forme de quote, et en plus tu risques de corrompre la structure du fichier.

[hanadi_09]

Merci pour la réponse

oui, je lis le contenu d'un fichier Microsoft Word .doc ou un .txt, je récupère ce contenu pour construire un résume, alors je vais pas réécrire le fichier. mais j'ai besoin de supprimer les apostrophes car la méthode : scanner.hasNextLine() saute tout un paragraphe si elle tombe sur une apostrophe et je perd du contenu. j'ai utilisé replaceAll(), mais elle me pose un problème pour la suite. .

[joel.drigo]

Il n'y a aucune raison que hasNextLine() saute des paragraphes, s'il y a des quotes dans le texte. Il doit y avoir un autre problème dans ton code de lecture. Postes-le que je puisse voir.

Pour les fichiers Word, il ne faut pas utiliser Scanner. Un fichier .doc est un fichier qui a une structure particulière (BIFF). Tu dois utiliser une API adaptée, comme par exemple, Apache POIFS, pour le lire. Et tu pourras récupérer le texte sans perdre de paragraphe.

[hanadi_09]

Je dois préciser que le problème de saut de paragraphes se pose pour les fichiers .txt et .doc. pour le code le voici :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
package Application_finale2;
 
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.io.StreamTokenizer;
import java.io.StringBufferInputStream;
import java.util.ArrayList;
import java.util.Scanner;
 
public class ReadCorpus {
	static ArrayList<ArrayList<String>> LirTockenizCorpus(String directoryPath) throws IOException {
		File directory = new File(directoryPath);
		ArrayList<ArrayList<String>> Words=new ArrayList<ArrayList<String>>();
		if(!directory.exists()){
			System.out.println("Le fichier/répertoire '"+directoryPath+"' n'existe pas");
		}else if(!directory.isDirectory()){
			System.out.println("Le chemin '"+directoryPath+"' correspond à un fichier et non à un répertoire");
		}else{
			//lister le contenu du dossier
			File[] subfiles = directory.listFiles();
			int longueur=subfiles.length;
			//lire le contenu des fichiers
			String filePath="";
			String S="/";
 
 
 
			for(int i=0;i<longueur;i++)
			{//ArrayList<String> docu=new ArrayList<String>();
			filePath=directoryPath.concat(S.concat(subfiles[i].getName()));
			Scanner scanner=new Scanner(new File(filePath));
			String Text="";
			while (scanner.hasNextLine()) {
				ArrayList<String> docu=new ArrayList<String>();
			     Text = scanner.nextLine();//contenu d'un paragraphe
			     Text=Text.replaceAll("'*"," ");
			     Text=Text.toLowerCase();
			     InputStream in;
			      in = new StringBufferInputStream( Text );
			      StreamTokenizer parser = new StreamTokenizer( in );
			      while ( parser.nextToken() != StreamTokenizer.TT_EOF )
			         {
			         if ( parser.ttype == StreamTokenizer.TT_WORD) docu.add(parser.sval);
			        }
				Words.add(docu);
			}
 
			scanner.close();
			}	
		}
		return Words;
 
	}	
}

[thelvin]

mais j'ai besoin de supprimer les apostrophes car la méthode : scanner.hasNextLine() saute tout un paragraphe si elle tombe sur une apostrophe

Absolument pas. C'est StreamTokenizer qui fait ça.
Cela arrive parce qu'une apostrophe indique le début d'un token string littéral, et que typiquement il ne verra jamais d'autre apostrophe sur la même ligne pour terminer ce token.

StreamTokenizer sert à faire des parseurs de langage informatique, il n'a rien à faire sur du langage naturel comme on en trouve dans les fichiers .txt

[hanadi_09]

Absolument pas. C'est StreamTokenizer qui fait ça.
Cela arrive parce qu'une apostrophe indique le début d'un token string littéral, et que typiquement il ne verra jamais d'autre apostrophe sur la même ligne pour terminer ce token.

Si j'ai bien compris scanner.hasNextLine() lit tout le texte et c'est StreamTokenizer() qui supprime ce qu'il y a après une apostrophe. Je dois dire que StreamTokenizer() me convient bien (je travaille sur l'anglais) sauf cette histoire d'apostrophe, quelqu'un pourrait me dire comment faire pour régler ce problème d'apostrophe?

[joel.drigo]

L'anglais n'est pas un langage informatique

Si le but est de découper les chaînes lues par scanner.nextLine(), suivant les espaces, tu peux très bien faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

String[] mots = scanner.nextLine().split(" ");

Si tu veux découper ta chaîne plus finement, par exemple, en prenant en compte la ponctuation, le paramètre de split est une expression régulière.

Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
String[] mots =  scanner.nextLine().split("[ ,;:!?.]+");

Ou une version plus complète de la regexp :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
String[] mots =  scanner.nextLine().split("[ .!?,;:\"()\\[\\]*§+/]+");

Avec cette dernière, les mots composés avec des tirets ne sont pas séparés (mais attention toutefois aux nombres négatifs qui le sont). Les mots avec quotes ne sont pas séparés non plus. Les parenthèses et crochets sont ignorés (supprimés du résultat). Les guillemets sont ignorés également.

Par exemple :

J'ai rendez-vous (ce soir) près de l'arbre centenaire.

donne

J'ai
rendez-vous
ce
soir
près
de
l'arbre
centenaire