Discussion :

[cerco1]

salut à tous,
je suis entrain de manipuler un fichier texte avec les classes, File, FileReader et BufferedReader. quand mon fichier contient un nombre reduit des lignes, mon programme parcours ces lignes sans problème. mais lorsque le fichier contient plus de milles lignes(jusqu'à 2000 par exemple), alors là mon programme ne tourne plus bien. j'ai l'impression qu'il n'arrive pas à lire toutes les lignes sans problème. c'est ainsi que je veux m'en rassurer en postant ce topic.
j'aimerai donc savoir s'il y'a un nombre limite des lignes que doit contenir un fichier texte, afin d'etre geré de façon efficace par ces classes Java ?
merci d'avance pour votre aide

[afrikha]

A priori non, 2000 lignes c'est relativement peu...
Qu'est-ce que tu veux dire par "ne marche pas bien" ? tu as une exception ? c'est difficile d'aider sans voir le code !!

@+

[Faiche]

salut à tous,
je suis entrain de manipuler un fichier texte avec les classes, File, FileReader et BufferedReader. quand mon fichier contient un nombre reduit des lignes, mon programme parcours ces lignes sans problème. mais lorsque le fichier contient plus de milles lignes(jusqu'à 2000 par exemple), alors là mon programme ne tourne plus bien. j'ai l'impression qu'il n'arrive pas à lire toutes les lignes sans problème. c'est ainsi que je veux m'en rassurer en postant ce topic.
j'aimerai donc savoir s'il y'a un nombre limite des lignes que doit contenir un fichier texte, afin d'etre geré de façon efficace par ces classes Java ?
merci d'avance pour votre aide

ça, à mon avis, ça vient probablement du fait que à l'intérieur dans la boucle de lecture, tu fais tout un tas de déclarations et d'instanciations, que tu dois mal gérer ton flux, ou encore qu'au lieu de 2000 lignes, il fasse 2000 Go ton fichier.

[cerco1]

salut
merci pour vos interventions. en fait je n'ai pas une exception, juste que dans le code ci-dessous, tout se passe dans la boucle while. en l'executant, normalement la premiere valeur de la variable k qui devrait s'afficher serait 0, mais bizarrement ça commence directement par la valeur 14, alors que j'initialise le k à 0. mais lorsque je met l'instruction System.exit(0), juste après la boucle for, afin qu'il l'execute juste une fois, alors dans ce cas c'est 0 qui s'affiche comme valeur initiale de k, du coup je me suis dis que c'est peut être la longueur du fichier qui provoque cela. sinon pensez-vous qu'il y'ait un petit bug dans mon code ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
 
public void actionPerformed(ActionEvent e) {
   if(e.getSource()==baffiche){
	File fichier1 = new File("c:\\trg_java\\agents.txt");
	File fichier2 = new File("c:\\trg_java\\verif.txt");
	ArrayList t = new ArrayList();
	int nbt=0; int nba=0; int nbc=1; int j=0; 
	try {
		FileReader fic1 = new FileReader(fichier1);
		BufferedReader b1 = new BufferedReader(fic1);
		String s1 = b1.readLine();
	       	while(s1!=null){
		  t.add(s1);
		  nbt++;
		  s1 = b1.readLine();
		}
		b1.close();
		fic1.close();
		Thread.sleep(1000);
		FileReader fic2 = new FileReader(fichier2);
		BufferedReader b2 = new BufferedReader(fic2);
		String s2 = b2.readLine();
		while(s2!=null){
		  for(int k=0;k<t.size();k++){
		     System.out.println(k);
		     String chaine = (String)t.get(k);
		     System.out.println("verif = "+s2+" et agent="+k+"-"+chaine);
		     if(s2.equals(chaine)){
			System.out.println();
			System.out.println(" je supprime dans agent "+chaine);
			t.set(k,null);
			nba++;
		      }
		  }
		  j++;
		  s2 = b2.readLine();
		}
		b2.close();
		fic2.close();
	 }
         catch(IOException o) {}
	 catch(InterruptedException o){}
	 zone.setText("");
	 for(int i=0;i<t.size();i++){
	   if(t.get(i)!=null){
	    //System.out.println(t.get(i));
	        zone.append(nbc+"-  "+(String)t.get(i)+"\n");
	        nbc++;
	    }
	  }
	  zone.append("\n");
	  //zone.append("");
	  int i = nbc-1;
	  zone.append("Le nombre de callback est :"+i+"\n");
	   //zone.append("Le nombre total de contact: "+nbt+"\n");
	  //zone.append("Le nombre de contacts appelés: "+nba+"\n");
   }
 
}

[dinobogan]

Ton fichier est entièrement monter en mémoire. Il faut donc augmenter la mémoire allouer à la JVM, ou alors changer cet algo qui est catastrophique en terme de complexité

[cerco1]

merci pour tes critiques dinobogan,
peux tu alors me proposer un autre algo ou mieux encore me dire comment peux je augmenter la taille de la memoire allouée à ma JVM ?
Merci

[cerco1]

svp, quelqu'un peut m'aider à ce sujet ?

[CheryBen]

Salut, pour augmenter la mémoire allouée à la JVM il faut lancer l'application avec l'option -Xmx512m par exemple. (où 512 est le nombre de Mo alloués, par défaut il me semble que c'est 128Mo)

Sinon pour l'algo, peut-être que ceci pourrait faire l'affaire, le fichier est toujours chargé en mémoire mais c'est un peu plus simple.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
public void actionPerformed(ActionEvent e) {
        if(e.getSource()==baffiche){
         File fichier1 = new File("c:\\trg_java\\agents.txt");
         File fichier2 = new File("c:\\trg_java\\verif.txt");
         ArrayList t = new ArrayList();
         try {
             FileReader fic1 = new FileReader(fichier1);
             BufferedReader b1 = new BufferedReader(fic1);
             String s1;
             while((s1 = b1.readLine())!=null){
               t.add(s1);
             }
             b1.close();
             fic1.close();
             FileReader fic2 = new FileReader(fichier2);
             BufferedReader b2 = new BufferedReader(fic2);
             String s2;
             while((s2 = b2.readLine())!=null){
               if(t.contains(s2)){
                   System.out.println(" je supprime dans agent "+s2);
                   t.remove(s2);
               }
             }
             b2.close();
             fic2.close();
          }
          catch(IOException o) {}
          zone.setText("");
          for(int i=0;i<t.size();i++){
            zone.append(i+1+"-  "+(String)t.get(i)+"\n");
           }
           zone.append("\n");
           zone.append("Le nombre de callback est :"+t.size()+"\n");
        }         
     }

[dingoth]

Utilise un HashSet plutôt qu'une ArrayList.

Et, comme le dit morph41, utilise la méthode(objet) remove plutôt que la méthode set(X, null).

Si tu veux garder l'ordre d'insertion des éléments, utilise un LinkedHashSet plutôt que le HashSet.

Tes performances devraient alors être bien améliorées. Je ne crois pas qu'il faille augmenter la taille de la mémoire. Ceci n'est nécessaire qu'après toutes les optimisations et si tu obtiens une MemoryOverflowError ou quelque chose de semblable.

[cerco1]

merci pour vos propositions. mais là j'ai toujours le meme problème et vos propositions me permettent de penser que le problème ne se trouve pas au niveau de la performance, mais au niveau de la boucle while permettant de verifier les chaines du fichier contenus deja dans le tableau.
mon problème est que le programme ne retrouve pas toutes les chaines qui sont à la fois dans le fichier et dans le tableau.
j'ai d'abord essayer avec le code que m'a proposé morph41, ensuite j'ai remplacé le ArrayList par le HashSet comme l'a proposé dingoth, mais toujours la meme chose. il se peut aussi que le problème soit lié à mon systeme, mais je ne vois où.

[dingoth]

S'il ne les retrouve pas, c'est qu'elles ne sont pas identiques.

Les lignes ont-elles la même casse (majuscule/minuscule) ? Les lignes ne comportent-elles pas d'espaces au début ou à la fin ?

Peux-tu nous montrer un exemple de 10 lignes de chaque fichier, pour qu'on t'aide ?

[cerco1]

t'a parfaitement raison dingoth,
en le conteneu de ce fichier est des numeros que je copie à partir d'un fichier Excel. et je viens de verifier que sur le fichier sur certaines lignes il y'avait de l'espace après le numero, ce qui fait qu'il ne pouvait retrouver tous les numeros contenus à la fois sur le fichier et dans le tableau.
maintenant c'est bon
merci à tous pour votre aide et surtout pour avoir améliore mon algo
portez-vous bien
A+