Discussion :

[coockie_jr]

Bonjour
J'utilise pour récupérer des données de pages web un BufferedReader ( BufferedReader flot=new BufferedReader(new InputStreamReader(u.openStream(),"utf-8")); u étant une url bien sur) .

Cela marche tres bien mais lors de l'execution j'ai besion de récupérer un grand nmbre de donnée dans un grand nombre d'adresses differentes.

Je créé un nouveau bufferdReader a chaque fois avec ma nouvelle url mais, il semble qu'au bout d'un moment la lecture soit de plus en plus lente (les 10 premieres pages sont quasi instantané mais au bout de 100 ca prend plusieurs secondes et ca va de pis en pis).

Je suspect une saturation quelque part (mal fermé) mais j'utilise des close() a chaque fin de l'écture.

Ya t'il autre chose a faire ?

merci

[Nesmontou]

Salut, tu pourrais nous montrer un peu de code ?

[Axwell]

Je suis actuellement confronté au même genre de problème pour lire mon fichier texte.

Voici mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
                FileReader monFichier = null;
		BufferedReader tampon = null;
 
		try {
			monFichier = new FileReader(chemin);
			tampon = new BufferedReader(monFichier);
 
			Dump.setText("");
			String ligne = null;
 
			while ((ligne=tampon.readLine())!=null) {
 
				Dump.setText(Dump.getText()+ligne+"\n");
 
			} 
		} catch (IOException exception) {
			exception.printStackTrace();
		} finally {
			try {
				tampon.close();
				monFichier.close();
			} catch(IOException exception1) {
				exception1.printStackTrace();
			}

si vous avez une idée, car pour un assez gros fichier, le process tourne dans le vide. C'est surement la taille du Buffer. Merci d'avance.

[remika]

A mon avis, c'est ça qui ne va pas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
Dump.setText(Dump.getText()+ligne+"\n");

Il vaut mieux construire ta String avec un StringBuilder, et faire un setText à la fin.

[Axwell]

Oki merci beaucoup!

[adiGuba]

Salut,

si vous avez une idée, car pour un assez gros fichier, le process tourne dans le vide. C'est surement la taille du Buffer.

Tout dans problème vient de cette ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Dump.setText(Dump.getText()+ligne+"\n");

A chaque itération du recrée une nouvelle chaine un peu plus grande, ce qui fait que tu alloues une quantité énorme de mémoire temporaire. Par exemple si tu lis un fichier contenant 1000 ligne de 80 caractères (soit 80 Ko), tu alloueras en fait bien plus puisque tu auras crées une chaine de 80, puis une de 160, puis une de 240... jusqu'à arrivé aux 80000 caractères contenant tout ton fichier...
Et en réalité si tu additionnes tout cela tu obtiendras plus de 39 Mo de chaines temporaires... tout cela pour lire un fichier de 80 Ko (et je ne t'explique même pas si le fichier est plus grand ce que cela peut donner).

Pour pallier à cela il faut copier le fichier dans un StringBuffer (ou StringBuilder à partir de Java 5.0), ce qui va te permettre de mieux gérer la mémoire...

Sinon j'ai d'autre remarque sur ton code :

• Tu peux englober les Reader les uns dans les autres, et éviter ainsi de te trainer plusieurs référence inutilement...
• Utilise plutôt System.getProperty("line.separator") que "\n" car les fins de ligne peuvent être différentes d'un système à l'autre...
• Respecte les conventions de nommage : pas de majuscule en début de nom de variable/attributs (Dump dump).

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
		BufferedReader tampon = null;
 
		try {
			tampon = new BufferedReader(new FileReader(chemin));
 
			StringBuffer buffer = new StringBuffer();
			// Fin de ligne spécifique du système
			String endl = System.getProperty("line.separator");
			String ligne = null;
 
			while ((ligne=tampon.readLine())!=null) {
				buffer.append(ligne).append(endl);
			}
			Dump.setText(buffer.toString());
		} catch (IOException exception) {
			exception.printStackTrace();
		} finally {
			try {
				tampon.close();
			} catch(IOException exception1) {
				exception1.printStackTrace();
			}
		}

Tu pourrais également optimiser un peu le StringBuffer/StringBuilder en l'initialisant avec la taille du fichier (ce qui évites qu'il se redimensionnent automatiquement), mais la différence n'est pas forcément flagrante


Sinon perso je préfère gérer moi même le buffer en faisant une lecture par bloc, et utiliser un try/finally à l'intérieur du try/catch, mais après c'est une question de "goût" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
		try {
			Reader reader = new FileReader(chemin);
			try {
				StringBuffer buffer = new StringBuffer();
				char[] cbuf = new char[8192];
				int len;
 
				while ((len=reader.read(cbuf))>0) {
					buffer.append(cbuf, 0, len);
				}
				Dump.setText(buffer.toString());
			} finally {
				reader.close();
			}
		} catch (IOException e) {
			e.printStackTrace();
		}

a++

PS : Bon en prévisualisant je vois que j'ai été grillé... j'parle trop

[remika]

Par contre on connait toujours pas le problème de coockie_jr. Comme dit précédemment un peu de code serait le bienvenu.

[adiGuba]

Par contre on connait toujours pas le problème de coockie_jr. Comme dit précédemment un peu de code serait le bienvenu.

En même temps je ne pense pas qu'il réponde de si tôt !! C'est une remonté d'un vieux sujet : "29/07/2006, 17h01"

a++