Parcourir un fichier texte deux fois

**edogawa** · 21/04/2011, 14h40

Bonjour,
pouvez vous me dire comment je peux parcourir un fichier deux fois d'une façon optimale ?
je m'explique par cet exemple :

pour chaque ligne commençant par 'aaa' je dois chercher l'information 'zaza' dans les lignes commençant par zaza et ayant le meme num 152.
fichier entrée :

aaa bbb ccc 152 ppp
aaa bbb ccc 153 ppp
aaa bbb ccc 154 ppp
zaz 152 zaza za za erez
zaz 153 raya za za erez
zaz 154 yaya za za erez

fichier sortie :

aaa bbb ccc 152 ppp zaza

voila le code que j'ai fait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
InputStream ips=new FileInputStream(path); 
			InputStreamReader ipsr=new InputStreamReader(ips);
			BufferedReader br=new BufferedReader(ipsr);
			String ligne;
			while ((ligne=br.readLine())!=null){
				if(ligne.startsWith("aaa")){
			//Recupere des information
		num1 = ligne.substring(12,15);  //152
					String ligne2 = null;
					InputStreamReader ipsr2=new InputStreamReader(ips);
					BufferedReader br2=new BufferedReader(ipsr2);
					sortie:
					while((ligne2 = br2.readLine())!=null){
						String num2 = ligne2.substring(4,7);;
 
						if(ligne2.startsWith("zaz") && num1.equals(num2)){
				//erecuperer d'autres informations			
						}
					}

mais mon code ne marche pas, il n'entre pas dans ma deuxieme boucle !
Merci de votre aide.

**Philippe Bastiani** · 21/04/2011, 14h56

Pourquoi 2 lectures ?

Une HashMap doit être suffisant avec comme clé l'information commune.

Pour chaque ligne commençant pas aaa ou zaz: création ou mise à jour de l'objet mis dans la map !!!

**edogawa** · 21/04/2011, 16h19

Mais comment j'ai pas pensé au HashMap !!!!!

vraiment je cherche les problèmes

Merci beaucoup Philippe Bastiani pour la réponse.

**edogawa** · 03/05/2011, 11h26

Bonjour,
je relance ce sujet, car je rencontre un problème concernant l'utilisation de mon hashmap que j'ai construit à partir de mon fichier.
avec un fichier de plus de 180000 lignes, j'ai environ 90 000 entrées dans mon hashmap, donc parcourir le hashmap prends beaucoup de temps.
si quelqu'un a déjà rencontré ce problème prière de me dire comment je peux procéder pour que le traitement de mon hashmap soit rapide.

Merci

**darkman19320** · 03/05/2011, 16h12

Bonjour,
Que mets-tu comme clés dans ta HashMap? Il est possible qu'il y est un problème lors du hashage de ta map.

Et qu'entends-tu par long (1 seconde, quelques milliseconde?)

**Jimmy_** · 03/05/2011, 16h51

donc parcourir le hashmap prends beaucoup de temps.

Heu qu'entend tu par parcourir la HashMap, tu n'utilises pas get() ?

**hibour** · 03/05/2011, 16h56

si votre fichier est grand cela peut poser des probleme OUtOfMemoryError

**edogawa** · 03/05/2011, 18h18

Bonjour merci pour les réponses.
voilà comment je parcous mon Hashmap :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
for(String num : map.keySet()){
            if(mesContrats.contains(num)){
                avenant = new Avenant();
                avenant.setNumnum(StringUtils.trim(num));
                List<String> lignes = map.get(num);
                if(lignes.size()<2){
                    invalideAvenantNum.add(num);
                }else{
                    for(String line : lignes){
                        if(line.startsWith(Constantes.CODE10)){
                            remplirInfos10(avenant, line);
                        }else if(line.startsWith(Constantes.CODE_11)){
                            remplirInfos110(avenant, line);
                        }
                    }
                    validavenant.add(avenant);
                    valideavenantNum.add(num);
                }
 
            }else{
                invalideavenantNum.add(num);
            }
        }

pour le temps pris pour parcourir tout le map, il est de 10min !!

**edogawa** · 03/05/2011, 18h22

pour les méthodes remplirInfos10 et remplirInfos110, il ne font que setter les attributs de l'objet avenant en faisant des substring sur le string passé en paramètre.

la lenteur ne peut pas être due au tests avec "contains", et les opérations de "substring" ?

**therwald** · 03/05/2011, 18h46

Là ça vaut le coup de profiler pour savoir ce qui prend du temps. Voir aussi quel type de collection est "mesContrats", certaines sont plus rapides à l'insertion, d'autres pour parcourir...

**Logan Mauzaize** · 04/05/2011, 09h22

Je parcourais sur l'entrySet plutôt que le keySet ca fait gagner du temps, pas besoin d'interroger la map une nouvelle fois.

C'est normal que tu trim après l'appel à

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mesContrats.contains(num)

?

mesContrats devrait être un HashSet ou alors utilise une ArrayList triée pour effectuer une recherche optimale.

Un substring ne coûte rien dans la mesure où il ne fait aucune copie de caractères. Il ne fait que réutiliser le même tableau de caractère que la chaîne originale.

**Philippe Bastiani** · 04/05/2011, 11h12

Si je comprends bien:
-1- tu lis ton fichier et tu remplis ta map de lignes
-2- tu parses ta map pour créer tes avenants

=> encore 2 traitements...

Ta map devrait contenir tes contrats (cle=num entry=contrat. A la lecture de ton fichier:
Pour chaque ligne
=> extraire le numéro de contrat
=> si mapContrat ne contient pas num
=> créer nouvel contrat et l'ajouter à la mapContrat
=> ajouter avenant au contrat.

Autre point: as-tu besoin d'autant d'objets ? Je ne comprends pas pourquoi validAvenant n'est pas un attribut de l'objet Avenant...

**Jimmy_** · 04/05/2011, 12h21

Bonjour,

Vu l'algo, c'est soit le contains soit les adds.
Quel est le type exacte de mesContrats ?

Eventuellement les adds si ta Hashmap est mal taillée, cela oblige peut-être java à la rehash souvent.
Tu la construits avec les valeurs par défaut ?

A confirmer avec un profiler.