Discussion :

[sacofan]

bnjr

je devlp actuellement une application de decodage d'un format BER (basic encoded rule standard ASN.1)
mon application doit avoir un temp de reponse < 2min
mon probleme que la lecture depuis un fichier (java.io.*) avec le langage java s' avere tres lente (jvm+io+...) > 20min (si le fichier depasse les 2mo ) en plus du traitement de decodage sur le fichier >4min

si qql coné une solution autre que l'utilisation des stream????

voici le code en question!!!

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
//******************************************************
......
 
StringBuffer contenu = new StringBuffer();
try {
			FileInputStream in = new FileInputStream(infile);
			BufferedInputStream bfin = new BufferedInputStream(in);
			FileOutputStream out = new FileOutputStream(outfile);
			BufferedOutputStream bfout = new BufferedOutputStream(out);
 
			int myread;
			// lecture du contenu du fichier cdr
			while ((myread = bfin.read()) != -1)
 
			{
				contenu.append((char) myread);
 
			}
 
			// mettre le buffer string contenu dans une string tmp
 
			String tmp = "";
			for (int i = 0; i < contenu.length(); i++) {
				tmp += contenu.charAt(i);
 
			}
 ........
//***************************************************

[Modéré par Didier] : ajout de tag dans le titre - Les règles du forum Java

[laurent.c123]

ghorgor m'a dit dans un autre post :

Si tu veux l'accelerer quand meme, fais une lecture par bloc de 5000 octets par exemple, et fais un decoupage sur les retour chariots/nouvelle ligne (\r\n), afin de retrouver tes lignes...

Il faut cependant faire gaffe aux fins de lecture, ne se terminant pas par un \r\n...

Les acces en lecture sont assez couteux, du coup, en limitant le nombre d'acces, tu risques d'accelerer considerablement ton traitement...

J'ai fait une appli qui doit modifier des flux en EBCDIC de cette maniere, et je fais la lecture / ecriture d'un fichier de 250 Mo en 5 minutes...

je peux pas t'en dire plus, je ne connais pas d'autre moyen que java.io. ......

[adiGuba]

Salut,

Penses à mettre toi même les balises [ code ] la prochaine fois... c'est plis lisible

Maintenant pourquoi est-ce que tu fais ca :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
			// mettre le buffer string contenu dans une string tmp
 
			String tmp = "";
			for (int i = 0; i < contenu.length(); i++) {
				tmp += contenu.charAt(i);
 
			}

L'opérateur + sur les String (ou += qui revient au même) ne dois JAMAIS être utilisé dans une boucle car cela implique la création/destruction de chaine temporaire à chaque tour ce qui est très lent...
Dans ces cas là il faut utiliser un StringBuffer !!!!!!!!

En plus tu l'utilises déjà pour la lecture du fichier !!!! Je suis sûr que la boucle de lecture du fichier est + rapide que cette boucle là !!!!

Si tu veux 'convertir' ton StringBuffer en String, il suffit d'utiliser la méthode toString() qui elle est optimisé (pas de création d'une nouvelle chaine si le StringBuffer n'est plus modifié par la suite) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

String tmp = contenu.toString();

a++

[sacofan]

je ne crois pas que cette boucle est responsable de la lenteur du prog

car j'ai tester deja le code sans cette boucle,,,elle ne sert absolument a rien!!!!

pour la lecture d'un bloc de 5000 à travers la methode read(byte[] b)

en qoui ca pourrait ameliorer le tmp de rep???

puisseque je croi que le nombre d'acces au disque reste le meme.........

.

[jowo]

Bonjour,

Une autre possibilité d'amélioration serait d'augmenter la taille du tampon de lecture de BufferedInputStream (taille par défaut 2024bytes). J'initialiserai la taille à 10kbytes (10*1024):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
BufferedInputStream bfin = new BufferedInputStream(in, 10*1024);

[adiGuba]

je ne crois pas que cette boucle est responsable de la lenteur du prog

car j'ai tester deja le code sans cette boucle,,,elle ne sert absolument a rien!!!!

Et moi je ne crois pas : j'en suis sûr !!!
Entoure la de System.currentTimeMillis() pour voir le temps qu'elle met...

pour la lecture d'un bloc de 5000 à travers la methode read(byte[] b)

en qoui ca pourrait ameliorer le tmp de rep???

puisseque je croi que le nombre d'acces au disque reste le meme.........

C'est différent de lire 2 000 000 fois 1 caractères que de lire 400 fois 5000 caractères...
C'est l'accès au disque qui est le plus lent... La lecture est plus rapide.
Donc pour de gros fichiers c'est préférable de lire par bloc plutot que caractère par caractère...

Mais tu n'as pas besoin de le faire car c'est déjà fait par le BufferedInputStream. Par contre tu peux augmenter la taille de son buffer comme l'indique jowo...

Ce que tu pourrais encore faire, même le gain ne sera pas forcément très grand, c'est d'initialisé ton StringBuffer à la taille de ton fichier...

[sacofan]

je ne crois pas que cette boucle est responsable de la lenteur du prog

car j'ai tester deja le code sans cette boucle,,,elle ne sert absolument a rien!!!!

Et moi je ne crois pas : j'en suis sûr !!!
Entoure la de System.currentTimeMillis() pour voir le temps qu'elle met...

pour la lecture d'un bloc de 5000 à travers la methode read(byte[] b)

en qoui ca pourrait ameliorer le tmp de rep???

puisseque je croi que le nombre d'acces au disque reste le meme.........

C'est différent de lire 2 000 000 fois 1 caractères que de lire 400 fois 5000 caractères...
C'est l'accès au disque qui est le plus lent... La lecture est plus rapide.
Donc pour de gros fichiers c'est préférable de lire par bloc plutot que caractère par caractère...

Mais tu n'as pas besoin de le faire car c'est déjà fait par le BufferedInputStream. Par contre tu peux augmenter la taille de son buffer comme l'indique jowo...

Ce que tu pourrais encore faire, même le gain ne sera pas forcément très grand, c'est d'initialisé ton StringBuffer à la taille de ton fichier...

ok merci je crois que ca marche

j'ai suivi les 2 astuces

j'ai obtenu un temp de reponse < 1min
ca donne ca:



//***********************************************************
try {
FileInputStream in = new FileInputStream(infile);
BufferedInputStream bfin = new BufferedInputStream(in,2*1024*1024);
FileOutputStream out = new FileOutputStream(outfile);
BufferedOutputStream bfout = new BufferedOutputStream(out);

int myread;
// lecture du contenu du fichier cdr
byte[] b=new byte[1024];
while ((myread = bfin.read(b)) != -1)

{
for (int jjj=0;jjj<1024;jjj++) {
myread=(int)b[jjj];
contenu.append((char) myread);
}

}

////////////////////////***

[ghorgor]

Etant auteur du post de depart qui a ete cité, je te garantis que c'est FRANCHEMENT plus rapide, je te le dis d'experience... Essayes, tu verras le resultat...