Discussion :

[cheyma]

Bonjour tout le monde,

J'ai un fichier texte et je voudrais extraire seulement 15% des données afin d'exécuter qulques traitements sur ces derniers. La taille de mon fichier est assez importante. Peu importe pour l'extarction à partir de debut ou au milieu du fichier.
je pense à commencer par compter le nombre de ligne de mon fichier (chaque ligne contient un mot). NB
puis je calcule le pourcentage P= (NB*15/100)

Porriez vous m'aider à trouver la fonction adéquate à fin de commencer l'extraction des donnée (ligne par ligne ) tout en réspéctant la taille P.
Si c'est faidable en java.
Merci.

[joel.drigo]

Salut,

Si le but est de ne pas charger tout le fichier en mémoire, il faut

1. Lire le fichier ligne par ligne une première fois pour compter les lignes, puis prendre les 15% au début (c'est le plus simple)
   

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17
   18
   19
   	public void extrairePourcentage(Path in, Path out, int percent) throws IOException {
    
   		int total=0;
   		try(BufferedReader reader = Files.newBufferedReader(in) ) {
   			for(String line=reader.readLine(); line!=null; line=reader.readLine()) {
   				total++;
   			}
   		}
   		int nb=(int)(total*percent/100F);
   		try(BufferedWriter writer = Files.newBufferedWriter(out);
   			BufferedReader reader = Files.newBufferedReader(in); ) {
   			for(String line=reader.readLine(); line!=null && nb>0; line=reader.readLine()) {
   				writer.write(line);
   				writer.newLine();
   				nb--;
   			}
   		}
    
   	}

2. Sinon, on peut tout charger en mémoire et ne prendre que 15% (ici, on peut prendre plus facilement à partir de n'importe quelle ligne (telle qu'il y ait au moins 15% des lignes après)
   

   Code :

   Sélectionner tout - Visualiser dans une fenêtre à part

   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   public void extrairePourcentage(Path in, Path out, int percent) throws IOException {
   		List<String> all = Files.readAllLines(in);
   		int nb=(int)(all.size()*percent/100F);
   		try(BufferedWriter writer = Files.newBufferedWriter(out)) {
   			for(String line : all.subList(0, nb) ) { // 0 c'est pour commencer au début, mais cette valeur peut être comprise entre 0 et (all.size()-nb)
   				writer.write(line);
   				writer.newLine();
   			}
   		}
   	}

[cheyma]

Merci beaucoup ,

J'ai utilisé la première , c'est plus rapide puisque j'ai besoin de charger seulement les 15 % du texte et non pas tout le fichier.

Par la suite du traitement, je vais parcourir le fichier resultat "out" par Scanner .Si je veux que ma fontion "extrairePourcentage" retourne Scanner . Est-ce je peux convertir mon resultat de :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

public static void extrairePourcentage(Path in, Path out, int percent) throws IOException { }

to:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 public static Scanner extrairePourcentage(Path in, Path out, int percent) throws IOException {}

Au niveau de la fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 public static Scanner extrairePourcentage(Path in, Path out, int percent) throws IOException {
 
		int total=0;
		try(BufferedReader reader = Files.newBufferedReader(in) ) {
			for(String line=reader.readLine(); line!=null; line=reader.readLine()) {
				total++;
			}
		}
		int nb=(int)(total*percent/100F);
		try(BufferedWriter writer = Files.newBufferedWriter(out);
			BufferedReader reader = Files.newBufferedReader(in); ) {
			for(String line=reader.readLine(); line!=null && nb>0; line=reader.readLine()) {
				writer.write(line);
				writer.newLine();
				nb--;
			}
 
		}
            Scanner sc = new Scanner((out));  
            return sc;
	}

et au niveau main , je fais l'appel de cette manière :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Scanner sc = extrairePourcentage(in, out, 15);

Est ce que c'est faisable ?

Merci

[joel.drigo]

Oui, c'est faisable (pourquoi ne pas essayer toi-même). N'oublie pas de fermer le Scanner quand tu n'en sers plus.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
try(Scanner scanner = extrairePourcentage(in, out, 15)) {
//traitement ici
}

[cheyma]

Rebonjour

Oui Merci, c'est fait , sauf que mon fichier est un peu lourd , il contient 9000 lignes d'ou le temps d'exécution :

Je voudrais savoir ou je ferme le scanner ? peut-être que ça va raccourcir le temps d'exécution

Merci

[joel.drigo]

Je voudrais savoir ou je ferme le scanner ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
try(Scanner scanner = extrairePourcentage(in, out, 15)) {
//traitement ici
}

Cette structure dite "try-with-resource" ferme juste automatiquement le Scanner à la fin du bloc.

peut-être que ça va raccourcir le temps d'exécution

Non, le fermer ne changera rien au temps d'exécution. C'est juste pour libérer proprement le fichier.

Montre-moi ton code de traitement. Le temps d'exécution que tu donnes, c'est pour le traitement des 15%, ou le traitement total ?

Essaye par ailleurs de remplacer le comptage des lignes par

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
int total=0;
try(LineNumberReader reader = new LineNumberReader(Files.newBufferedReader(in)) ) {
    reader.skip(Files.size(in));
    total=reader.getLineNumber();
}

Ça devrait déjà permettre de gagner sur le comptage.