problème Encodage ObjectOutputStream linux

Version imprimable

29/05/2008, 11h00
FabienN

problème Encodage ObjectOutputStream linux
Salut à tous,
Je vais essayer d'expliquer mon problème simplement.
J'ai une page web qui upload un fichier txt sur un serveur. Ensuite je lit ce fichier avec un BufferedReader pour le mettre dans un StringBuffer et l'écrire dans un fichier binaire avec l'objet ObjectOutputStream.writeObject();.
Une fois écris je dois relire ce fichier binaire pour modifier son format (nouveau format de date, etc,),
Code:

1 2 this.ois = new ObjectInputStream(new FileInputStream(fichier)); StringBuffer strBufferFicEEDB = (StringBuffer)ois.readObject();
Puis je dois redonner à l'utilisateur ce fichier au format texte.
Mais le problème c'est que l'encodage de mon fichier n'est plus le même, les accents disparaisse, les tabulations, etc.
Alors petite précision, ça fonctionne en local sur mon PC Windows, c'est à dire que les caractères ne change pas

Code:

.04.2008|11111|00000061|12|TOTO|Stéphane

alors que sur le serveur web Tomcat Linux, les caratères sont modifiés.

Code:

11111|00000061|TOTO|St?phane|M|0436|0436|?In
29/05/2008, 11h05
adiGuba

Salut,

Lorsque tu lis/écrit dans un fichier texte, tu dois préciser l'encodage sinon c'est un encodage par défaut qui sera utilisé.

Pour cela il faut passer par un InputStreamReader...

a++
29/05/2008, 11h06
djsnipe

Pour être exact l'encodage de ton fichier n'a pas changé, c'est plutôt que tu l'as manipulé avec un mauvais encoding. Typiquement, si tu utilises les méthodes qui ne prennent pas en compte l'encoding, java utilise celui par défaut de la VM. Sous Unix et Windows, cet encoding n'est pas le même par défaut évidemment (sinon ça serait trop simple :D)
Donc attention à l'encoding utilisé de bout en bout, et donc à l'encoding du fichier uploadé que tu dois contraindre pour pouvoir le relire en java.

Les manipulations binaires n'ont pas d'impact sur le fichier. Le problème doit provenir de la lecture du fichier uploadé dans ton StringBuffer.
Sinon comme remarque, je ne vois pas l'utilité de sérialiser un StringBuffer sur disque, pourquoi ne pas simplement sauvegarder le texte ?

[[damned, trop tard]]
29/05/2008, 11h11
FabienN

Citation:

Envoyé par djsnipe

Sinon comme remarque, je ne vois pas l'utilité de sérialiser un StringBuffer sur disque, pourquoi ne pas simplement sauvegarder le texte ?
[[damned, trop tard]]

Tu as tout à fais raison mais je ne peut pas conserver le fichier texte de base sur le serveur car il s'agit de donné confidentielle.

Je vais voir du coté du InputStreamReader.
29/05/2008, 11h18
FabienN

Citation:

Envoyé par adiGuba

Salut,
Lorsque tu lis/écrit dans un fichier texte, tu dois préciser l'encodage sinon c'est un encodage par défaut qui sera utilisé.

Pour cela il faut passer par un InputStreamReader...
a++

Donc si j'ai bien compris, il faut que j'utilise un OutputStreamWriter pour écrire mon fichier et InputStreamReader pour lire ce fichier ?
29/05/2008, 11h20
djsnipe

OK je comprend la démarche pour la confidentialité. Toutefois, attention au niveau de confidentialité nécessaire. Désérialiser un StringBuffer n'est pas une tâche difficile pour une personne capable d'intercepter le fichier. Regarde plutôt du côté des API de cryptographie pour obtenir un niveau de sécurisation plus élevé.
29/05/2008, 11h22
FabienN

Citation:

Envoyé par djsnipe

OK je comprend la démarche pour la confidentialité. Toutefois, attention au niveau de confidentialité nécessaire. Désérialiser un StringBuffer n'est pas une tâche difficile pour une personne capable d'intercepter le fichier. Regarde plutôt du côté des API de cryptographie pour obtenir un niveau de sécurisation plus élevé.

Il suffit juste que le fichier ne soir pas lisible comme un fichier texte et c'est le cas en utilisant la méthode writeObject() de l'objectOutputStream.
Par contre ça me pose certains problèmes d'encodage :?
29/05/2008, 11h31
djsnipe

OKI, mais ton problème ne provient pas de la relecture de ton fichier à priori car la sérialisation/désérialisation est assurée par java. Vérifie en débuggant que le contenu de ton StringBuffer est correct (avec les accents) avant sauvegarde.
Si ton fichier est encodé en Cp1252 (windows), uploadé en binaire sur le serveur, la relecture en java sous forme d'une chaîne de caractère doit être fait en précisant l'encoding Cp1252, sinon java prendra donc l'encoding par défaut de ta VM, UTF-8 par défaut sous Unix si je ne dis pas de bétise.
29/05/2008, 11h32
adiGuba
Ce n'est pas writeObject() qui pose un problème d'encodage. Sauf erreur cela utilisera toujours de l'UTF8 sur tous les systèmes.

Ton problème vient bien de la lecture/ecriture du fichier texte.
- Si les fichiers proviennent d'un poste Windows, ils sont surement encodés en windows-1252 (une variante de l'ISO-8859-1)
- Tu les lis avec l'encodage par défaut. Sous Windows c'est parfait car tu utilisera windows-1252, Mais sous Linux tu utiliseras de l'utf-8 pour lire un fichier windows-1252... :?
:arrow: Tu as déjà ton problème :
- Sous Windows cela fonctionne parfaitement puis l'encodage est le même.
- Sous Linux le texte que tu as chargé en mémoire est déjà corrompu...
a++

[edit] grillé ;)
Pour info Cp1252 == windows-1252 ;)
29/05/2008, 11h43
djsnipe

Citation:

[edit] grillé ;)

lol, chacun son tour :D
29/05/2008, 15h21
FabienN

Re,
Petite précision, j'utilise la librairie FileUpload de Apache.
J'ai essayé une autre méthode.
Au lieu d'enregistrer le fichier texte sur le serveur je récupère les byte[] à l'aide de la classe FileItem.get() de la librairie FileUpload

Code:

http://commons.apache.org/fileupload/apidocs/org/apache/commons/fileupload/FileItem.html#get()

puis j'enregistre le fichier binaire à l'aide de la classe ObjectOutputStream.
Mais j'ai toujours le même problème, sur mon PC windows c'est bon mais sur le serveur ça me met toujours des caractères bizarre pour les accents, tabulation, etc...
Je n'ai pas trouvé comment faire fonctionner le InputStreamReader, surement parce que je dois avoir un peu de mal à réfléchir en ce moment.
Sinon je pourrai utiliser une librairie de cryptage pour crypter mon fichier mais je ne sais pas si cela résoudrais mon problème.
29/05/2008, 15h29
adiGuba

Citation:

Envoyé par FabienN

Mais j'ai toujours le même problème, sur mon PC windows c'est bon mais sur le serveur ça me met toujours des caractères bizarre pour les accents, tabulation, etc...

Tant que tu ne spécifiera pas d'encodage tu auras le même problème...

Par exemple le caractère é est encodé sur 1 octet en windows-1252, alors qu'il en utilise 2 en utf8...

a++
29/05/2008, 15h46
djsnipe

Petite question supplémentaire : comment est fait ton traitement qui relit le fichier ? Car si à l'enregistrement, tu traites le fichier comme un binaire il ne doit plus y avoir de problème.

Dans ton premier post, tu indiques que tu dois modifier son format pour un format de date avant de le renvoyer au client. C'est donc qu'à partir de ce moment, tu doit construire une représentation sous forme de chaîne de caractère de ce contenu binaire. C'est là qu'il faut spécifier l'encoding.
29/05/2008, 15h54
FabienN
Citation:

Envoyé par djsnipe

Petite question supplémentaire : comment est fait ton traitement qui relit le fichier ? Car si à l'enregistrement, tu traites le fichier comme un binaire il ne doit plus y avoir de problème.

Dans ton premier post, tu indiques que tu dois modifier son format pour un format de date avant de le renvoyer au client. C'est donc qu'à partir de ce moment, tu doit construire une représentation sous forme de chaîne de caractère de ce contenu binaire. C'est là qu'il faut spécifier l'encoding.

Je fais l'inverse de mon enregistrement.
Code:

1 2 ObjectInputStream ois = new ObjectInputStream(new FileInputStream(fichier)); StringBuffer strBufferFic = (StringBuffer)ois.readObject();
En fet je reçois un fichier texte avec des lignes. Chacune d'elle comporte plusieurs valeurs séparé | et je dois reconstruire ce fichier en inversant les colonnes de place et en modifiant le format de certaines données comme les dates par exemple.

Pour adiGuba je ne comprend pas ce qu'il faut faire, désolé.
29/05/2008, 15h57
adiGuba

Citation:

Envoyé par FabienN

Pour adiGuba je ne comprend pas ce qu'il faut faire, désolé.

Comment fais-tu pour passer d'un fichier uploadé à un StringBuffer ?

a++
29/05/2008, 15h58
djsnipe

Ha oui c'est vrai, tu sérialise le StringBuffer. OK, peux-tu mettre l'extrait de code qui construit le StringBuffer ?

[edit] grillé
29/05/2008, 16h07
FabienN
Citation:

Envoyé par djsnipe

Ha oui c'est vrai, tu sérialise le StringBuffer. OK, peux-tu mettre l'extrait de code qui construit le StringBuffer ?

[edit] grillé

C'est la librairie FileUpload qui récupère le flux que j'envoie. Après moi je récupère ce flux avec une fonction qui me retourne ce flux en byte[], puis je déclare une nouvelle String str(byte[]) et enfin je créer mon StringBuffer à partir de ma String
En clair ça fait
Code:

1 2 3 String str = new String(item.get()); StringBuffer strBuff = new StringBuffer(str);
item est une instance de la classe FileItem de la librairie FileUpload qui récupère le flux. get() me renvoie un tableau de byte
29/05/2008, 16h13
adiGuba

Citation:

Envoyé par djsnipe

[edit] grillé

2 - 1 pour moi :yaisse2: :mouarf:

Citation:

Envoyé par FabienN

puis je déclare une nouvelle String str(byte[])

:arrow: C'est là que tu utilises l'encodage par défaut pour construire ta String. Ton byte[] est en windows-1252 et tu l'interprètes comme de l'utf-8 :arrow: Boum !

Code:

String str = new String(b2, "windows-1252");

Reste à voir si l'encodage est bien supporté sous ton système...

a++

Je teste ça
Et pour la lecture du fichier rien ne change ?
Je fais toujours un

Code:

1
2
3
4
      this.ois = new ObjectInputStream(new FileInputStream(fic));
                StringBuffer strBufferFic = (StringBuffer)ois.readObject();
                StringReader strRead = new StringReader(strBufferFic.toString());
                this.bufReader = new BufferedReader(strRead);

Merci de votre patience :)

29/05/2008, 16h24
adiGuba

Tu n'as pas à utiliser de BufferedReader avec l'ObjectInputStream.
Seulement pour le lecture du fichier initial (si tu ne passais pas par FileItem).

a++
29/05/2008, 16h30
FabienN

Oki, bon apparemment ça fonctionne.
Je vais faire un peu plus de test pour être sur et je vous tiens au courant.
Si ça fonctionne, je posterai une solution propre tout à l'heure parce que là mon code ressemble à un champ de bataille.
29/05/2008, 16h33
djsnipe

Citation:

Envoyé par adiGuba

2 - 1 pour moi :yaisse2: :mouarf:

:ave:

Voila mon code au propre :D
Voila la première partie : l'écriture du fichier binaire.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
//item.get() correspond à un tableau de byte de la classe FileItem de la librairie FileUpload de Apache
String str = new String(item.get(),"windows-1252");
 
StringBuffer strBufTemp = new StringBuffer(str);
 
//Création du fichier
FileOutputStream fileOut = new FileOutputStream("d:\\fichier.bin");
 
//instanciation de mon flux de sortie
ObjectOutputStream oos = new ObjectOutputStream(fileOut);
 
//Ecriture du du flux sur le fichier
oos.writeObject(strBufTemp);
 
//Fermeture des fluxs
oos.close();
fileOut.close();

Voila la deuxième partie : La lecture du fichier binaire.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
//Instanciation du flux d'entrée à partir du fichier binaire
ObjectInputStream ois = new ObjectInputStream(new FileInputStream(ficEEDB));
 
//Lecture du fichier binaire pour extraire le StringBuffer
StringBuffer strBufferFicEEDB = (StringBuffer)ois.readObject();
 
//Ceci n'est pas obligatoire, c'est juste pour la suite mon programme
StringReader strRead = new StringReader(strBufferFicEEDB.toString());
this.bufReader = new BufferedReader(strRead);
 
//Ferme le flux
ois.close();

Un grand merci à djsnipe et adiGuba :king: pour votre aide. Super efficace. Merci encore