Problème encoding iso à utf8

Bonjour,

Dans une application où il y a un système d'import export je récupère des fichiers en IS0-8859-1 si j'affiche ces données directement j'ai alors les losanges noirs sur les accents ce qui est normal ! Si je lui dit de lire le fichier en utf-8 j'aurai alors ce genre de caractères "ï¿1/2" à la place des accents ce qui est toujours normal vu que ce n'est pas de l'utf-8.

En revanche lorsque je fais ça :

Code:

---

chaine = new String(str.getBytes("ISO-8859-1"), "UTF-8");

---

j'ai encore des "?" à la place de mes accents et la je ne sais vraiment pas pourquoi, de plus cette méthode semble fonctionner pour tous le monde, à chaque fois elle est indiquée ici http://stackoverflow.com/questions/1...-utf-8-in-java et ailleurs !

Mais pas moyen je ne peux pas obtenir de l'utf8, j'ai toujours ces maudits "?" à la place de mes accents... Il n'y a donc pas de moyen de lire de l'ISO-8859-1 sur android ?

Si quelqu'un peut m'aider... je lui en serai fort gré

Merci d'avance

Salut,

C'est au moment de la lecture du fichier qu'il faut désencoder : indiquer l'encodage source donc au moment d'ouvrir le flux.

Par exemples :

• 
  Files.newBufferedReader(path, StandardCharsets.ISO_8859_1)
• 
  new InputStreamReader(new FileInputStream(file), StandardCharsets.ISO_8859_1)

Merci de ta réponse, si je fais juste ce que tu me dis j'ai ce genre de caractère "ï¿1/2" à la place des accents, puisqu'il trouve bien de l'iso en encodage mais il le lis en utf8 vu qu'android ne semble lire qu'en utf8.

Je ne connais pas les spécificités d'Android. Tu es sûr que le fichier est en ISO-8859-1 ?

Oui certain, lui indiquer que le fichier est en ISO fonctionne bien mais le convertir en Utf8 il n'y a pas moyen... rien ne fonctionne j'ai toujours des caractères bizarre à la place, j'ai même essayer de recréer le fichier pour le convertir mais pas moyen... désespéré :(

Ah, ok, je n'avais pas compris que tu cherchais à convertir le fichier en UTF-8. Dans ce cas, il faut faire la même chose lors de la création du flux de sortie :

• 
  Files.newBufferedWriter(path, StandardCharsets.UTF_8)
• 
  new OutputStreamWriter(new FileOutputStream(file), StandardCharsets.UTF_8)

Ah c'est vrai que je n'ai pas précisé ça, justement je ne peux pas, en sortie le fichier doit être en iso-8859-1 car il va être traité ailleurs avant de revenir dans l'application et la j'aimerais pourvoir le lire... donc éventuellement le reconvertir en utf8 si android ne lis que de l'utf8 vu que le lire en ISO directement m'affiche des gros rectangles noirs sur tous les accents.

Mais visiblement il ne semble pas y avoir de moyen simple pour lire un fichier en iso sur android, directement ça ne fonctionne pas et le convertir ne fonctionne pas non plus...

Salut,


@Willy55 Ca ne vaut rien dire ce que tu dis : Android n'est pas limité à l'UTF-8.
Le code que tu as mis dans ton premier poste c'est juste du n'importe quoi. Si tu utilises cela c'est sûr que tu ne pourras rien avoir de bon.


:arrow: Quel est ton code ?


a++

Bonjour,

Je tiens à préciser que ce n'était pas une affirmation mais un constat, désolé si ce n'est pas vrai. Je ne vois pas ce que je peux te mettre comme code, j'ai un fichier a lire qui est en iso et pas moyen, j'obtiens des caractères bizarre quoi que je fasse, losanges noirs, "ï?1/2", ou "?" sur tous mes accents. Tout ce que je vois c'est que Android ne semble pas lire l'iso-8859-1 puisque j'ai des losanges noirs et que les conversions UTF-8 que je tente ne fonctionne pas.

Que je fasse le code que j'ai publié qui semble être pourri de ce que tu me dis ou

Code:

---

BufferedReader br = new BufferedReader(new InputStreamReader(stream, Charsets.ISO_8859_1)));

---

Et encore plein d'autre tests divers, j'ai ratissé et testé tous ce que je pouvais sur le net à chaque fois j'obtiens des caractères bizarre sur mes accents...

Si tu peux m'aider ce serait super

Oui, enfin, là tu nous donnes juste ce qui créé un BufferedReader à partir d'un InputStream. Le code qu'il faudrait, c'est

• comment cet inputstream est créé
• comment il est lu (la boucle)
• comment la cible est-elle créée (le outputstream)
• comment tu écris dans cette cible,
• bref,un code compilable qu'on pourrait utiliser sans modification pour faire ce que tu fais (voire avec un fichier que tu utilises en exemple) (Un ECM donc).

Pas de soucis :

Code:

---

1 2 3 4 5 6

InputStream stream = new FileInputStream(fileLoad); BufferedReader br = new BufferedReader(new InputStreamReader(stream)); while((line = br.readLine()) != null) { String[] tab = line.split(SEPARATOR, -1); // la je récupère mes informations }

---

Voila tant que le document est en UTF-8 ça fonctionne nickel, mais avec de l'iso-8859-1 pas moyen tous les accents sont pourris. Que je fasse :

Rien : alors j'aurai des losanges noirs à la place des accents

Ou

Code:

---

BufferedReader br = new BufferedReader(new InputStreamReader(stream, Charsets.ISO_8859_1));

---

qui affichera alors des caractères bizarres

Ou

Code:

---

1 2	String chaine = new String(str.getBytes(), Charsets.ISO_8859_1); chaine = Html.fromHtml(chaine).toString();

---

qui apparement n'est pas bon et la j'ai simplement des "?" sur les accents

Voila :)

Là, encore, le code est partiel. Comment est manipulé tab ? Comment se fait l'écriture dans le fichier cible.

Oublie ce genre d'écriture : String chaine = new String(str.getBytes(), Charsets.ISO_8859_1);une chaîne n'est pas encodée (enfin, si, parce qu'il faut bien stocker les caractères dans des octets au final, mais cet encodage n'a pas d'importance dans le traitement). L'encodage est nécessaire lorsqu'on veut stocker des caractères dans des octets (tableaux, flux, et donc fichiers).

Quand tu écris la ligne ci-dessus, tu écris quelque chose qui correspond à :

Code:

---

1 2	convertir la chaine str vers un tableau d'octet depuis l'encodage interne (celui dont on se moque) vers l'encodage par défaut du système convertir le tableau ainsi encodé en chaine, en convertissant depuis l'encodage ISO-8859-1 vers l'encodage interne

---

Si l'encodage système est UTF-8, alors tu as écrit : String chaine = new String(str.getBytes("UTF-8"), Charsets.ISO_8859_1);Donc tu convertis en UTF-8, puis tu dis que ces codes UTF-8, c'est du ISO-8859-1 (ce qui n'est pas le cas). Au mieux, lorsque le premier encodage est inclus dans le second, ça peut fonctionner, mais la plupart du temps ça bousille tout.

La seule écriture valide est : String chaine = new String(str.getBytes( encodage ), encodage);. Le tableau est encodé en encodage, il faut le décoder en encodage. Idem pour les fichiers : on les décode par les charsets respectifs qui ont servi à les encoder.

Comment est généré ce fichier ? Tu es sûr qu'il est en iso-8859-1 ?
Comment tu affiches ton texte ? Tu dis que cela affiches des caractères bizarres mais tu n'a pas posté ton code d'affichage.


Pour les problèmes d'encoding il faut être stricte sur toute la ligne : une seule erreur et tu pourris ton texte...


a++

L'utilisation de tab est partielle je veux bien mais je vois pas ce que je peux te mettre de plus... Y a rien a voir je split sur ce que je récupère avec tab et ça donne :

Code:

---

String toto = tab[0];

---

Et voila donnée toto est enregistrée dans ma base locale du téléphone.

Je reprends depuis le début :

Pour l'encodage au moment de la création du fichier je fais ça :

Code:

---

1 2 3 4 5 6 7 8 9

// création du fichier File, j'écris dedans (en ISO-8859-1) OutputStreamWriter fileWriter = new OutputStreamWriter(new FileOutputStream(file), "ISO-8859-1"); fileWriter.append(FILE_HEADER); fileWriter.append(NEW_LINE); fileWriter.append(s.nom); fileWriter.append(SEPARATOR); fileWriter.append(s.description); [...] fileWriter.append(NEW_LINE);

---

Mon document sort en iso-8859-1 ça il n' y a pas de soucis j'ai vérifié.

Maintenant au décodage lorsque je lis le fichier il y a ça :

Code:

---

1 2 3 4 5 6 7 8

InputStream stream = new FileInputStream(fileLoad); BufferedReader br = new BufferedReader(new InputStreamReader(stream)); while((line = br.readLine()) != null) { String[] tab = line.split(SEPARATOR, -1);   // la je récupère mes informations   }

---

Si tu me dis de faire :

Code:

---

String chaine = new String(tab[0].getBytes(Charsets.ISO_8859_1), Charsets.UTF_8);

---

C'est exactement ce que je fais et qui affiche des "?" à la place de tous les accents et que @adiGuba m'a dit que c'était n'importe quoi.

Si je contente de faire :

Code:

---

BufferedReader br = new BufferedReader(new InputStreamReader(stream, Charsets.ISO_8859_1));

---

Alors la cette fois j'ai "ï¿1/2" à la place des accents. Et Si je ne met rien du tout j'ai des losanges noirs.

Je pense que cette fois j'ai tout dis.

Citation:

---

Envoyé par Willy55

Si tu me dis de faire :

Code:

---

String chaine = new String(tab[0].getBytes(Charsets.ISO_8859_1), Charsets.UTF_8);

---

C'est exactement ce que je fais et qui affiche des "?" à la place de tous les accents et que @adiGuba m'a dit que c'était n'importe quoi.

---

En effet (voir mon explication du pourquoi). Donc, il ne faut pas faire ça.

Citation:

---

Envoyé par Willy55

Si je contente de faire :

Code:

---

BufferedReader br = new BufferedReader(new InputStreamReader(stream, Charsets.ISO_8859_1));

---

Alors la cette fois j'ai "ï¿1/2" à la place des accents. Et Si je ne mets rien du tout j'ai des losanges noirs.

---

C'est pourtant ce qu'il faut faire pour lire un fichier encodé en IS-8859-1

Citation:

---

Envoyé par Willy55

Je pense que cette fois j'ai tout dit.

---

Pas tout-à-fait : tu n'as pas répondu à la question d'@AdiGuba, concernant la façon dont tu constates que les caractères ne sont pas bons... peut-être que le décodage se fait bien, mais que tu n'utilises pas la manière adéquate pour le vérifier.

L'affichage n'entre pas en compte, j'insère les données dans ma base et si je les lis et que j'affiche en console ce qu'elle contient par exemple pour la table Stock :

Code:

---

1 2 3

for (Stock s : Stock.all(Stock.class)) { log.qt("Contenu : "+s.nom); }

---

=> "Contenu : S�juig"

J'ai un stock qui s'appelle : "Séjuig" dans le csv en iso et dans ma base il y a : "S�juig"...

Je bien vérifié le document, il est bien en iso-8859-1, je l'ai même ouvert avec un tableur pour le ré-enregistrer avec le choix de l'encodage, idem !

Citation:

---

Envoyé par Willy55

L'affichage n'entre pas en compte, j'insère les données dans ma base et si je les lis et que j'affiche en console ce qu'elle contient par exemple pour la table Stock :

---

Donc il est possible que le problème ait lieu lors de l'insertion dans la base...


:arrow: Tant qu'on n'aura pas le code complet de tout le traitement et de l'affichage, on ne pourra pas vraiment t'aider...


a++

Non puisque ceci :

Code:

---

String chaine = new String(tab[0].getBytes(Charsets.ISO_8859_1), Charsets.UTF_8);

---

Contient déjà : "S�juig"

Donc l'insertion n'est pas en cause et encore une fois l'affichage je ne vois pas ce que je peux donner, je lis les données dans ma base elle sont dejà "non correcte" donc ça n'entre pas en compte.

J'ai déjà donné tout le cheminement de la création du fichier à la lecture. Je n'ai rien de plus. Tout est dans mon post #14

Citation:

---

Envoyé par Willy55

Non puisque ceci :

Code:

---

String chaine = new String(tab[0].getBytes(Charsets.ISO_8859_1), Charsets.UTF_8);

---

---

Mais IL NE FAUT PAS FAIRE CA !!!
Cela ne veut strictement rien dire.

Tant que tu as quelque chose comme cela dans ton code cela ne pourra pas marcher...

Citation:

---

Envoyé par Willy55

J'ai déjà donné tout le cheminement de la création du fichier à la lecture. Je n'ai rien de plus. Tout est dans mon post #14

---

Dans ce cas je ne pourrais rien dire de plus non plus...


a++

Oui j'ai compris pas la peine de hurler je rappelais juste ce que je faisais actuellement vu que je n'ai pas d'autre méthode pour l'instant ! Je ne vais pas mettre quoi... ça fait 40 fois qu'on me demande mon code donc je le remet. Maintenant les "il ne faut pas faire ça" ça n'aide pas beaucoup malheureusement.

Merci quand même je vais re-chercher, si je trouve je mettrai la solution.

Dans mon tout premier message j'ai dit que ce code n'était pas correct du tout, et joel.drigo a même fait un long message pour expliquer pourquoi ce n'était pas correct.
Et alors qu'on te demande ton code tu reviens posté cela...


Quand à ton code désolé mais non : tu as donné plein de bout de code, mais jamais le code complet...



a++

Le code complet fait plus de 2000 lignes ? je dois tout copier ici alors que j'ai copié absolument tout ce qui sert à créer le fichier et à le lire ? J'ai juste réduit les éléments qui n'ont pas d'importance. Le problème et dans ce que j'ai posté, lorsque j'essaye de convertir, il n'y a rien d'autre désolé.

Je te demande juste un code minimal qui reproduise le problème.
Tu dis que cela t'affiche n'importe quoi mais tu n'a jamais posté un seul code effectuant cet affichage... sauf à partir de la BD qui sort d'on ne sait où.


Désolé mais on ne peut pas inventer. Pour éviter les erreurs d'encodages il faut préciser le charset là où c'est nécessaire.
Tu dis que cela ne vient pas de la BD. Soit : donne nous un code qui lit le fichier ET l'affichage qui reproduit le problème.
Cela ne devrait pas occuper plus d'une vingtaine de ligne...


a++

Ok je vais pas ré-expliquer pourquoi ça ne peut pas être a l'affichage : voila un code d'affichage

Code:

---

1 2 3

// marque if (article.marque != null) txtMarque.setText(article.marque);

---

Je vais chercher un article dans ma base et j'affiche sa marque, si cette dernière à un accent la marque dans le textView sera écrire avec un caractère foireux. Pourquoi parce que dans la base elle même la donnée et mal insérée, et encore avant, avant même d'insérer ma donnée et aussi foirée.

Qu'est ce que tu veux que je te donne comme affichage, ça n'a strictement aucun sens ! j'utilise les données de la base partout, j'appelle juste mes objets mais les données ont été entrées avec tous les accents merdés. Je n'ai pas d'affichage spécifique ! de toute façon le problème se situe avant...

Je ne vois absolument pas pourquoi on parle d'affichage vu que les requêtes en console m'affiche déjà des résultats avec un mauvais encodage.

Comment tu sais que le texte est foiré avant ? Tu dois bien l'afficher quelque part pour cela ?
C'est ce code que je veux...

Mais donne un code complet : on ne pourra pas trouver d'erreur dans des portions de code sorti on ne sait d'où...


Franchement : si ton prochain message ne fourni pas un code complet allant de la lecture du fichier jusqu'à l'affichage de son contenu, je laisse tomber...


a++

Citation:

---

Je ne vois absolument pas pourquoi on parle d'affichage vu que les requêtes en console m'affiche déjà des résultats avec un mauvais encodage.

---

Ben pas forcément si la console affiche des caractères en UTF-7 par exemple....

Donc... si je reprends:

* On a un fichier texte avec des accents, encodé en ISO-8859-1... Je te fais confiance pour cette partie là (même si c'est la croix et la bannière pour en être sur la plupart du temps).
* La lecture de ce fichier texte se fait par:

Code:

---

BufferedReader br = new BufferedReader(new InputStreamReader(stream, Charsets.ISO_8859_1));

---

Les données reçues sont des String.

Pour être sur que cette partie là fonctionne: coller un point d'arrêt sur la lecture du String, et vérifier dans le débugger le contenu de celui-ci. A noter qu'un "log" (logcat) pourrait très bien foirer l'encodage, les caractères seraient alors remplacés par des "?" (signalant un caractère ne pouvant pas être encodé correctement).
Le "garbage" signifie qu'à un moment on a dit qu'on lisait un charset, mais ce n'était pas le bon.

String = chaîne de caractère, encodage = dépend de l'implémentation java. Seule certitude: tous les caractères du monde sont supportés (en général, Java utilise UTF-16 en interne, mais peu importe, ça pourrait changer en fonction de l'implémentation le code continuerait de tourner).

Par la suite... (insertion en base, relecture de la base, affichage, log, etc...) il ne sert à rien d'utiliser un quelconque charset. Les divers éléments se chargeront de l'encodage si besoin.

Ensuite si le but est de réecrire dans un fichier texte, alors il faut utiliser le charset au moment de l'ouverture du stream. Et on revient à l'écriture en console (ci-dessus): un caractère n'est pas supporté il y aura un "?" à la place.