Discussion :

[dessinateurttuyen]

Bonjour à tous,

J'ai réalisé un programme qui fait en gros le boulot d'un ETL (extraction de données, transformation et export sous fichier .csv)

Algo :

1- création du fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
PrintWriter printWriter = new PrintWriter(new BufferedWriter(
					new FileWriter("mon_fichier.csv")));

2- Exécution d'une requête sql qui me ramène toutes les lignes dans un seul objet (j'utilise une API spéciale pour ça)

3- Boucle for pour lire dans cet objet ligne par ligne, traitement puis écriture dans le fichier de sortie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

printWriter.println(champ1+";"+champ2+";"+champ3);

4- Fermeture du fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

printWriter.close();

Le souci c'est qu'il n'écris pas toujours 100% des lignes extraites : parfois il n'en écrit que la moitié, sans que j'arrive à déterminer la cause du problème... J'ai remarqué cependant qu'il me le faisait seulement dans la boucle la plus complexe,et quand il doit traiter un grand nombre de lignes.

Du coup j'ai augmenté à fond la mémoire de la machine virtuelle... sans aucun résultat...

Auriez vous une idée ? Merci pour toute aide!

[anisj1m]

est ce que tu peux nous montrer ton log?

[dessinateurttuyen]

Voici :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
[31/05/2011 08:34:50] [INFO] : -----------------Début alimRessourceAll-----------------
[31/05/2011 08:34:51] [INFO] : -------Début alimRessourceSpec - FullClient--------
[31/05/2011 08:34:56] [INFO] : Requête exécutée et ramène 193 lignes
[31/05/2011 08:36:02] [INFO] : Ecriture des FullClient dans le fichier \\par-adhoc\au_adhoc\arCAD\ADDIS\Ressource_Config4.csv terminee
[31/05/2011 08:36:02] [INFO] : Ecriture des FullClient dans le fichier \\par-adhoc\au_adhoc\arCAD\ADDIS\Ressource_Projet_Config4.csv terminee
[31/05/2011 08:36:02] [INFO] : Ecriture des FullClient dans le fichier \\par-adhoc\au_adhoc\arCAD\ADDIS\Doc_Unv_Config4.csv terminee
[31/05/2011 08:36:02] [INFO] : --------Fin alimRessourceSpec - FullClient---------
 
[31/05/2011 08:36:02] [INFO] : -------Début alimRessourceSpec - Webi--------
[31/05/2011 08:39:20] [INFO] : Requête exécutée et ramène 7529 lignes
[31/05/2011 08:58:43] [INFO] : -------Début alimRessourceSpec - Folder--------
[31/05/2011 08:58:44] [INFO] : Requête exécutée et ramène 162 lignes
[31/05/2011 08:59:32] [INFO] : Ecriture des Folder dans le fichier \\par-adhoc\au_adhoc\arCAD\ADDIS\Ressource_Config4.csv terminee
[31/05/2011 08:59:32] [INFO] : Ecriture des Folder dans le fichier \\par-adhoc\au_adhoc\arCAD\ADDIS\Ressource_Projet_Config4.csv terminee
[31/05/2011 08:59:32] [INFO] : Ecriture des Folder dans le fichier \\par-adhoc\au_adhoc\arCAD\ADDIS\Doc_Unv_Config4.csv terminee
[31/05/2011 08:59:32] [INFO] : --------Fin alimRessourceSpec - Folder---------

par exemple typiquement à [31/05/2011 08:39:20] on voit qu'il a ramené près de 7500 lignes, mais après il n'a même pas fini la fonction d'écriture qu'il passe déjà à une autre table...

J'ai vérifié dans mon fichier csv j'ai pas 7500 lignes (mais j'en ai quand même quelques milliers, c'est ca qui est étonnant)

[tchize_]

Est-ce que tu traite correctement les exceptions ? Tu n'as mis nulle part de catch vide qui ignorerais l'exception?

[dessinateurttuyen]

euh... maintenant que tu le dis, effectivement je dois en avoir quelques uns...

Bon je corrige ca et je vous tiens au courant!

(mais bon, comme je le disais, l'erreur n'est pas systématique...)

[Vakhyw]

Et "flush" ton buffer avant de le "close", ça coute pas cher comme modif et ça peut n'être que ça ;-)

[dessinateurttuyen]

euh... question bête... c'est quoi flush?

Sinon euh.. j'ai trouvé là où ça plantait... il y avait un catch qui arrêtait la fonction sans message d'erreur...