Parcourir un fichier texte deux fois

Version imprimable

Bonjour,
pouvez vous me dire comment je peux parcourir un fichier deux fois d'une façon optimale ?
je m'explique par cet exemple :

pour chaque ligne commençant par 'aaa' je dois chercher l'information 'zaza' dans les lignes commençant par zaza et ayant le meme num 152.
fichier entrée :

Citation:

aaa bbb ccc 152 ppp
aaa bbb ccc 153 ppp
aaa bbb ccc 154 ppp
zaz 152 zaza za za erez
zaz 153 raya za za erez
zaz 154 yaya za za erez

fichier sortie :

Citation:

aaa bbb ccc 152 ppp zaza

voila le code que j'ai fait :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 InputStream ips=new FileInputStream(path); InputStreamReader ipsr=new InputStreamReader(ips); BufferedReader br=new BufferedReader(ipsr); String ligne; while ((ligne=br.readLine())!=null){ if(ligne.startsWith("aaa")){ //Recupere des information num1 = ligne.substring(12,15); //152 String ligne2 = null; InputStreamReader ipsr2=new InputStreamReader(ips); BufferedReader br2=new BufferedReader(ipsr2); sortie: while((ligne2 = br2.readLine())!=null){ String num2 = ligne2.substring(4,7);; if(ligne2.startsWith("zaz") && num1.equals(num2)){ //erecuperer d'autres informations } }
mais mon code ne marche pas, il n'entre pas dans ma deuxieme boucle !
Merci de votre aide.

21/04/2011, 13h56
Philippe Bastiani

Pourquoi 2 lectures ?

Une HashMap doit être suffisant avec comme clé l'information commune.

Pour chaque ligne commençant pas aaa ou zaz: création ou mise à jour de l'objet mis dans la map !!!
21/04/2011, 15h19
edogawa

Mais comment j'ai pas pensé au HashMap !!!!!8O8O
vraiment je cherche les problèmes :aie::aie:

Merci beaucoup Philippe Bastiani pour la réponse.
03/05/2011, 10h26
edogawa

Bonjour,
je relance ce sujet, car je rencontre un problème concernant l'utilisation de mon hashmap que j'ai construit à partir de mon fichier.
avec un fichier de plus de 180000 lignes, j'ai environ 90 000 entrées dans mon hashmap, donc parcourir le hashmap prends beaucoup de temps.
si quelqu'un a déjà rencontré ce problème prière de me dire comment je peux procéder pour que le traitement de mon hashmap soit rapide.

Merci
03/05/2011, 15h12
darkman19320

Bonjour,
Que mets-tu comme clés dans ta HashMap? Il est possible qu'il y est un problème lors du hashage de ta map.

Et qu'entends-tu par long (1 seconde, quelques milliseconde?)
03/05/2011, 15h51
Jimmy_

Citation:

donc parcourir le hashmap prends beaucoup de temps.

Heu qu'entend tu par parcourir la HashMap, tu n'utilises pas get() ?
03/05/2011, 15h56
hibour

si votre fichier est grand cela peut poser des probleme OUtOfMemoryError

Bonjour merci pour les réponses.
voilà comment je parcous mon Hashmap :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
for(String num : map.keySet()){
            if(mesContrats.contains(num)){
                avenant = new Avenant();
                avenant.setNumnum(StringUtils.trim(num));
                List<String> lignes = map.get(num);
                if(lignes.size()<2){
                    invalideAvenantNum.add(num);
                }else{
                    for(String line : lignes){
                        if(line.startsWith(Constantes.CODE10)){
                            remplirInfos10(avenant, line);
                        }else if(line.startsWith(Constantes.CODE_11)){
                            remplirInfos110(avenant, line);
                        }
                    }
                    validavenant.add(avenant);
                    valideavenantNum.add(num);
                }
 
            }else{
                invalideavenantNum.add(num);
            }
        }

pour le temps pris pour parcourir tout le map, il est de 10min !!

03/05/2011, 17h22
edogawa

pour les méthodes remplirInfos10 et remplirInfos110, il ne font que setter les attributs de l'objet avenant en faisant des substring sur le string passé en paramètre.

la lenteur ne peut pas être due au tests avec "contains", et les opérations de "substring" ?
03/05/2011, 17h46
therwald

Là ça vaut le coup de profiler pour savoir ce qui prend du temps. Voir aussi quel type de collection est "mesContrats", certaines sont plus rapides à l'insertion, d'autres pour parcourir...
04/05/2011, 08h22
Logan Mauzaize

Je parcourais sur l'entrySet plutôt que le keySet ca fait gagner du temps, pas besoin d'interroger la map une nouvelle fois.

C'est normal que tu trim après l'appel à

Code:

mesContrats.contains(num)

?

mesContrats devrait être un HashSet ou alors utilise une ArrayList triée pour effectuer une recherche optimale.

Un substring ne coûte rien dans la mesure où il ne fait aucune copie de caractères. Il ne fait que réutiliser le même tableau de caractère que la chaîne originale.
04/05/2011, 10h12
Philippe Bastiani

Si je comprends bien:
-1- tu lis ton fichier et tu remplis ta map de lignes
-2- tu parses ta map pour créer tes avenants

=> encore 2 traitements...

Ta map devrait contenir tes contrats (cle=num entry=contrat. A la lecture de ton fichier:
Pour chaque ligne
=> extraire le numéro de contrat
=> si mapContrat ne contient pas num
=> créer nouvel contrat et l'ajouter à la mapContrat
=> ajouter avenant au contrat.

Autre point: as-tu besoin d'autant d'objets ? Je ne comprends pas pourquoi validAvenant n'est pas un attribut de l'objet Avenant...
04/05/2011, 11h21
Jimmy_

Bonjour,

Vu l'algo, c'est soit le contains soit les adds.
Quel est le type exacte de mesContrats ?

Eventuellement les adds si ta Hashmap est mal taillée, cela oblige peut-être java à la rehash souvent.
Tu la construits avec les valeurs par défaut ?

A confirmer avec un profiler.
04/05/2011, 11h41
SamSer

Pourquoi ne pas lire le fichier ligne par ligne et écrire au fur et à mesure au lieu de passer par une hashmap?
04/05/2011, 11h43
therwald

Citation:

Envoyé par SamSer

Pourquoi ne pas lire le fichier ligne par ligne et écrire au fur et à mesure au lieu de passer par une hashmap?

Il y a visiblement des recoupements à faire entre lignes. Cela implique de conserver les données extraites de certaines lignes pour comparaison.
04/05/2011, 12h08
SamSer

Citation:

Envoyé par therwald

Il y a visiblement des recoupements à faire entre lignes. Cela implique de conserver les données extraites de certaines lignes pour comparaison.

Ah oui, en effet. J'avais pas mes lunettes, on dirait!:mrgreen: