Discussion :

[dehian]

Bonjour,

j'ai une procédure qui doit tourner sur un tres gros fichier texte
pour lire le fichier qui fait 52.000 lignes pour 27 MB j'utilise

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<cfset srcFile=#thispath#&"file\"&#thisfilename#&".TXT">
<cfscript>
 fr = createObject("java","java.io.FileReader");
 fr.init(srcFile);
 br = createObject("java","java.io.BufferedReader");
 br.init(fr);
</cfscript>
 
<cfscript>
 this_record = br.readLine();
</cfscript>
<cfloop condition="isdefined('this_record') ">
......Mes traitements....
<cfscript>
this_record = br.readLine();
</cfscript>
</cfloop>

si je limite la boucle a 10000 lignes la procédure s'execute en 30 secondes
je m'attends donc a etre sous les 5 minutes pour 50000 lignes, et bien non, la procédure semble tourner indefiniment.
Comme si le bufferedreader ne savait pas suivre au dela de 10000 lignes...
que dois-je faire? car je vais devoir refaire tourner la meme procédure pour un autre client sur un fichier de 450.000 lignes

merci de votre aide...

[gg2laba]

Bonjour,


Je ne connais pas coldfusion mais en ce qui concerne java, une telle méthode :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
	public static void main(String[] args) throws Exception {
 
		FileReader fr=null;
		int i=0;
		fr = new FileReader("j:\\access.log"); 
 
		BufferedReader br = new BufferedReader(fr);
 
 
		while (br.ready()){
			i++;
			br.readLine();
		}
 
		br.close();
		System.out.println(i); // => 889379
 
	}

ne prend q'une dizaine de secondes sur un fichier d'une centaine de méga, certes la boucle est sans réel traitement ... mais pour dire que le problème ne semble pas etre du coté de java.
Peut-etre que le traitement bloque ?, que la condition de fin ne permet pas un arret correct ?.

[dehian]

j'ai fait un test en retirant tous les traitements, et il semblerait bien que le probleme ne vienne en effet pas de là mais plutot du nombre de requete SQL qu'il engendre alors

MErci tout de meme de la reponse