Discussion :

[Spir]

Hello. J'ai un souci par rapport a l'encodage des fichiers uploadés.
L'upload fonctionne très bien. Mais si mon application fonctionne tout en UTF8 et que dans le fichier les données sont encodé en ISO j'ai des erreurs.
Comment récupéré l'encodage de mon fichier et faire en sorte que les données soit correctement intégré dans ma BDD.

Ici je suis travail dans le cas de l'intégration dans la BDD des données a partir d'un fichier CSV.

Voici le code de mon formulaire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
<s:form action="save" method="post" enctype="multipart/form-data">
	<s:file name="monFichier" label="File" />
	<s:submit />
</s:form>

Dans ma class mappé avec l'action j'ai ma méthode save dans laquelle je trouve ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
FileInputStream fis;
BufferedReader bufferedReader;
 
fis = new FileInputStream(monFichier.getAbsolutePath());
bufferedReader = new BufferedReader(new InputStreamReader(fis));
while ((line = bufferedReader.readLine()) != null) {
  // Recuperation de chaque ligne et travail sur la ligne...
}

Mon InputStreamReader prend donc en paramètre mon FileInputStream et il peut aussi prendre un encoding. Mais je ne sais pas comment le lui fournir.
Une idée?

[JoloKossovar]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
try {
        BufferedReader in = new BufferedReader(
            new InputStreamReader(new FileInputStream("infilename"), "ISO-8859-1"));
        String str = in.readLine();
    } catch (UnsupportedEncodingException e) {
    } catch (IOException e) {
    }

[Spir]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
try {
        BufferedReader in = new BufferedReader(
            new InputStreamReader(new FileInputStream("infilename"), "ISO-8859-1"));
        String str = in.readLine();
    } catch (UnsupportedEncodingException e) {
    } catch (IOException e) {
    }

Oui comem je disais on peut donner un encodage en paramètre. Mais celui-ci va sans doute varier. Donc moi ce que je veux c'est recuperer l'encodage du fichier et le donner en paramètre (au lieu d'avoir un encodage en dur).
C'est possible non de recuperer l'encodage du fichier?

[JoloKossovar]

Je ne pense pas que tu puisse connaitre l'encodage de ton fichier. Si ton encodage varie dans les fichiers ( ce qui serait pas de bol ), il faudra que tu trouve un moyen de fournir le bon encodage a ton FileInputStream.

Tu peux toujours essayer la méthode getEncoding() sur ton InputFileInputStream mais je doute vraiment que ce soit concluant.

[Spir]

j'ai trouvé du code en souk là:
http://listes.admisource.gouv.fr/pip...er/000096.html

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
	private static String getFileEncoding(File f) throws IOException {
		String ret = null;
		BufferedInputStream bis = new BufferedInputStream(new FileInputStream(f));
		byte[] bb = new byte[255];
		bis.read(bb);
		bis.close();
		String buff = new String(bb);
		ret = getEncoding(buff);
		if (ret == null) {
			ret = (new InputStreamReader(new FileInputStream(f))).getEncoding();
		}
		return ret;
	}

Mais sur la fonction getEncoding il y a un souk pas possible (vu qu'il y a eu des merge ou je sais pas quoi) bref c'est illisble mais je pense qu'il y a quelque chose là dedans d'intéressant. je ne capte pas tout je suis un peu noob.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
private static String getEncoding(String buff) {
+        String ret = null;
         buff = buff.substring(buff.indexOf("<?"));
         buff = buff.substring(0,buff.indexOf("?>")+2);
         String header = buff;
@@ -817,24 +836,26 @@
                 if(s.indexOf(' ')>0) ret = s.substring(0,s.indexOf(' '));
                 else ret = s;
             }
-        } else {
-            ret = (new InputStreamReader(new FileInputStream(f))).getEncoding();
         }
-        bis.close();
         logger.debug("encoding="+ret);
         return ret;
     }

Edit : En fait ca ca marche pour du XML...

[Spir]

En tout cas :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
fis = new FileInputStream(fichier.getAbsolutePath());
InputStreamReader tempInputStreamReader = new InputStreamReader(fis);
System.out.println("tempInputStreamReader encoding : " + tempInputStreamReader.getEncoding());

Me renvoi UTF8 au lieu d'ISO

[JoloKossovar]

cette methode que tu as trouvé la, c'est pour récupérer un encoding dans un fichier ou l'encoding est présent dans l'entete du fichier, comme par exemple un fichier xml ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
buff = buff.substring(buff.indexOf("<?"));
buff = buff.substring(0,buff.indexOf("?>")+2);

la en fait tu récupere le contenu du header, ce qu'il y a entre <? et ?> et souvent il y a l'encoding ici .. Mais dans ton cas, hors de question de le récupéré comme ca ^^ L'encoding n'est pas marqué en dur dans tes fichiers je suppose ?
Si oui, tu pourras le recupéré, sinon tu l'as dans le baba (avec cette solution du moins)

[Spir]

Oui c'est ce que je disais dans mon edit. Moi j'ai a faire avec un fichier .csv.
je suis foutu...

[JoloKossovar]

Ben pas forcément mais faut contourner le probleme
Tu tombera surement sur des fichiers en UTF-8 et peut etre en ISO-8859-1 (et encore c pas sur), donc il faut que tu trouve un moyen de lever une exception si ton encodage n'est pas bon et de relancer le parsing avec un encodage différent.

Par exemple, tu essaie en UTF-8, si il y a un probleme tu leves une exception et tu recommences mais avec du ISO-8859-1.

[Spir]

Ok. Je vais voir si c'est faisable. En tout cas c'est la loose pour récuperer l'encodage d'un fichier...