Encodage de String

Version imprimable

29/06/2011, 14h26
kululu

Encodage de String

Bonjour

J'ai un petit soucis:
J'ai un ficher que je parse et le transforme. Au départ j'ai des mot avec des accents du style "année" et après mon parsage lorsque je réécris je me retrouve avec "ann?e".
J'ai lu que les string et char étaient tous codés en UTF-16 comment transformé cela dans la bonne forme?

Merci d'avance :ccool:
29/06/2011, 14h31
tchize_

Quand vous lisez le fichier: lisez le avec le bon encodage. Les apis des Readers en java fournissent toujours un constructeur permettant de préciser l'encodage, il est recommandé de l'utiliser.

Même chose quand vous écrivez, précisez l'encodage au Writer.
29/06/2011, 14h38
NeptuS

Une attention toute particulière à porter à l'encodage si tes fichiers ne sont pas écrits par ton programme mais viennent d'une source externe.
-> source de beaucoup d'erreurs.

Si tu édite toi-même des fichiers au notepad (fichiers de conf ou autres), vérifie bien l'encodage lorsque tu enregistres.
29/06/2011, 15h17
kululu
Merci de vos réponses super rapide :ccool:

Mais j'ai pas compris vos explications (je suis vraiment nul dans ce domaine j'ai jamais compris pourquoi il existe autant de format différents :cfou: )

En faite ce qu'il se passe dans mon implémentation:
Code:

1 2 3 4 5 6 7 8 fis = new FileInputStream(file); fc = fis.getChannel(); size = (int) fc.size(); bBuff = ByteBuffer.allocate(size); fc.read(bBuff); bBuff.flip();
Et ensuite je lis byte par byte en les transformant en char :
Code:

1 2 3 boucle if stringBuffer.append(Character.toLowerCase((char) bBuff.get(i)));
Et c'est a partir de là que j'ai mes "?" je pense qu'a partir de là c'est trop tard pour re-encoder et qu'il faut agir dès que je manipule mon bytebuffer et mon channel mais je ne sais pas comment m'y prendre
29/06/2011, 15h31
adiGuba

Salut,

Le peu de code que tu donnes fait un peu peur...

Tu pourrais donner un peu plus de code et expliquer ce que tu fais, et ce que tu veux obtenir au final.

a++
29/06/2011, 15h38
thelvin

Il y a vraiment besoin d'utiliser les channels ?

Un new InputStreamReader(new FileInputStream(file), "iso-8859-1") serait nettement plus simple.
29/06/2011, 16h04
kululu

Citation:

Envoyé par adiGuba

Le peu de code que tu donnes fait un peu peur...

LoL pourquoi??? :oops: j'oublie pas de close les flux hein :aie:

Je vais test avec le inputStreamReader et je vous tiens au jus
29/06/2011, 16h07
thelvin

Citation:

Envoyé par kululu

LoL pourquoi??? :oops: j'oublie pas de close les flux hein :aie:

On ne convertit pas des octets en caractères avec un simple cast. On utilise un charset. (Ne serait-ce que parce qu'un caractère peut très bien faire plusieurs octets, et dans des cas plus rares un octet plusieurs caractères.)
29/06/2011, 16h16
NeptuS

Citation:

Envoyé par thelvin

On ne convertit pas des octets en caractères avec un simple cast. On utilise un charset. (Ne serait-ce que parce qu'un caractère peut très bien faire plusieurs octets, et dans des cas plus rares un octet plusieurs caractères.)

Il me semblait que les char étaient codés sur minimum un octet :calim2:
29/06/2011, 16h29
thelvin

Je viens d'inventer, sur mon cahier de prises de notes, l'encoding utf-4.
Il fonctionne par unités logiques de 4 bits, donc un demi-octet. Dans les (quelques) cas les plus favorables, ça fait deux caractères par octets.

De ce que j'en ai vu, les APIs Java peuvent parfaitement gérer ça. Je m'amuserai donc à l'implémenter un jour.
(En fait, je suis à peu près sûr d'avoir vu des encodages qui produisent en moyenne 1.2 caractère par octet quand on regarde que les parties les plus productives de leurs flux. Mais pas moyen de les retrouver.)

Comment dois-je procéder pour récupérer tableau ou List ou Buffer de char avec le InputStreamReader(new FileInputStream(file), "iso-8859-1") ???

Mon implémentation récupère un fichier ou il y a du texte il récupère les mot byte par byte (pour optimiser un peu) pour obtenir des char ensuite je stringbufferize selon un algo type Lex Yacc (avec des délimiteurs particulier)

Ex:
j'ai la liste de char suivante

t,o,t,o,(,x,1,0,)

Je vais me retrouver avec 3 string toto , (x10 , )
Voila

mon code maintenant
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 try { int size; ByteBuffer bBuff; fis = new FileInputStream(file); fc = fis.getChannel(); size = (int) fc.size(); bBuff = ByteBuffer.allocate(size); CharBuffer cbuf = CharBuffer.allocate(size); fc.read(bBuff); bBuff.flip(); MonParseur ly = IModuleFactory.applifact.MonParseur(bBuff, size,this.file.getName()); fis.close(); fc.close(); } catch (FileNotFoundException e) { } catch (IOException e) { }
La première chose que fait MonParseur et de convertir mon buffer de byte en string
Code:

1 2 3 4 5 6 for (int i = 0; i < size; i++) { sBuffer.append(Character.toLowerCase((char) bBuff.get(i))); } }
J'ai été assez clair? :)

29/06/2011, 16h41
thelvin

Une manière serait de construire un StringBuilder, d'y mettre tous les caractères lus avec le Reader, et de faire un toString() quand on a terminé le Reader, pour transformer le tout en String.

Code:

1
2
3
4
5
6
7
reader r = new InputStreamReader(source,"UTF-8"); // (utiliser le bon encodage ;) )
char[] buffer = new char[512];
int read = 0;
StringBuilder builder = new StringBuilder(fichier.size()); // pour avoir éviter les réallocations couteuses
while ( (read=reader.read(buffer))!=-1)
   builder.append(buffer,0,read);
String texte = builder.toString();

29/06/2011, 17h02
adiGuba
@kululu : et j'avais bien raison... malheureusement !
- Déjà tes variables sont déclarés ont ne sait où ! En règle général il est préférables de déclarer les variables locales lors de leurs premières utilisation, afin d'éviter d'augmenter inutilement leurs scopes.
  :arrow: On ne fait pas du C inutile de tout déclarer en début de méthode.
- Deuxièmement tu parles de lire du texte, mais tu passes par des Channels ! Ou comment se compliquer la vie pour rien.
- Les catch vides dont affreux !
- Enfin ta conversion byte -> char est complètement incorrect !
Enfin tu parles d'optimisations... mais non seulement c'est prématuré (on ne doit penser à optimiser qu'une fois qu'on a déceler l'origine du problème de perf), mais je suis persuadé que ton code est moins performant que le code "basique" de tchize_

@tchize_ : il manque juste le try/finally pour la libération des ressources... :D

a++

ça à pas marché tchize_

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
try {
		fis = new FileInputStream(file);
		Reader r = new InputStreamReader(fis,"UTF-8"); // (utiliser le bon encodage ;) )
		char[] buffer = new char[512];
		int read = 0;
		StringBuilder builder = new StringBuilder((int) this.file.length()); // pour avoir éviter les réallocations couteuses
 
			while ( (read=r.read(buffer))!=-1){
				builder.append(buffer,0,read);
				String texte = builder.toString();
				System.out.println(texte.toString());
			}
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

Il me met toujours des ?? à la places des é

Edit:
@adiGuba oui les catch vide j'avoue :p et pour les byte et les channel je m'en rends compte maintenant que c'est un peu la galère...

29/06/2011, 17h10
tchize_

Comme le dit mon commentaire:

// (utiliser le bon encodage ;) )
29/06/2011, 17h19
kululu

Autant pour moi tchize_ :oops:

Je reviens à la charge désolé

J'ai un autre soucis, donc mon programme me génère plusieurs fichier xml pour éviter de remettre la main dans la cambouis et modifier mon impélmentation j'ai créé une classe qui me permettrai de fusionner tous ces fichiers générés. Devinez quoi les problèmes d'encodages sont revenus :cry:. Je m'en sors vraiment pas avec les manipulations de flux et de charset :mur:

voici mon bout de code
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 public void fusion(String destFile,LinkedList<String> sourceFiles) throws IOException { File file = new File(destFile); FileOutputStream fos = new FileOutputStream(file); OutputStreamWriter out = new OutputStreamWriter(fos,"ISO-8859-1"); try { char[] buf = new char[8192]; int read = 0; for (String filename : sourceFiles) { InputStream in = new FileInputStream(filename); Reader r = new InputStreamReader(in,"ISO-8859-1"); try { while ((read = r.read(buf)) != -1) { out.write(buf, 0, read); } } finally { in.close(); } } } finally { out.close(); } }
Pourquoi cela ne marche t-il pas?
Merci d'avance :merci:

01/07/2011, 12h05
adiGuba

Ceci devrait fonctionner... à condition que tes fichiers soient bien encodé en "ISO-8859-1" !

Maintenant, pour simplement fusionner des fichiers te te contrefous complètement de leurs encodages : il suffit de faire une fusion binaire !

a++
01/07/2011, 13h17
NeptuS

Je ne suis pas d'accord avec toi adiGuba.
Pour deux raisons :

- La fusion de deux xml ne se résume pas à une concaténation. Si tu dois lire le contenu avant de le fusionner, alors tu retombes dans la problématique d'encodage.
- Si tu juxtapose, en binaire, 2 caractères dans des encodages différents, l'un des deux sera mal lu à la relecture du fichier résultat : la lecture est encore dépendante de l'encodage.

à discuter.
01/07/2011, 13h31
adiGuba

Citation:

Envoyé par NeptuS

- La fusion de deux xml ne se résume pas à une concaténation. Si tu dois lire le contenu avant de le fusionner, alors tu retombes dans la problématique d'encodage.

Sauf que dans le code qu'il donne, il se contente de recopier les fichiers les un à la suite, sans aucun traitement particulier.

Mais il est vraiment que dans ce cas on n'a pas là des fichiers XML valides.

Citation:

Envoyé par NeptuS

- Si tu juxtapose, en binaire, 2 caractères dans des encodages différents, l'un des deux sera mal lu à la relecture du fichier résultat : la lecture est encore dépendante de l'encodage.

Ma remarque concernait uniquement des fichiers avec le même encodage. J'aurais dû le préciser en effet.

a++
01/07/2011, 13h48
NeptuS

La remarque d'adiGuba est juste : ton code n'est pas valide pour de la fusion d'xml "valides"
kululu, pourrais-tu fournir un court exemple de fichier source et de destination que tu veux ?
04/07/2011, 15h32
kululu

:aie: En effet (désolé j'ai un peu oublier ce topic tellement je me prends la tête sur cette histoire)

Donc oui le xml ne sera pas valide (même si je fais un .setOmitDeclaration(true) puisque j'aurais plusieurs racines d'affilés)

Donc comme j'ai pas trouvé de solution je refait un parse (pas super optimal tout ça :cry:) ou je "write" une racine avant de commencer a lire mon fichier et que dès que je rencontre une racine de mon fichier je le zappe et lorsque ma boucle est finie je "write" la fermeture de la balise.

Sauf si quelqu'un à une meilleure solution :mrgreen: (et ça sera pas de refus)
04/07/2011, 15h40
NeptuS

utilise une lib pour lire ET / OU écrire ton xml : tu m'as l'air de bien te prendre la tête pour pas grand chose là ...
04/07/2011, 15h49
kululu

Oui tu as raisons je vais essayer de voir ce que je peux faire avec JDOM

Mon xml se compose comme cela
Code:

1 2 3 4 5 6 7 8 9 <forms> <form> <etc></etc> <etc></etc> ...... </form> </forms>
Le principe je fais la boucle sur tous mes fichiers xml je fais le teste pour un seul élément form pour l'instant (le premier)

Donc je get tout l'élément form de chaque fichier xml que j'ai et que je rajoute à la racine de forms de mon nouveau fichier. Mais cela ne marche pas, j'ai l'exception suivante

org.jdom.IllegalAddException: The Content already has an existing parent "forms"

Voila mon code
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 private Element newRacine = new Element("forms"); private org.jdom.Document newDocument = new Document(newRacine); [...] for (int i = 0; i < sources.size(); i++) { try { org.jdom.Document document ; File fichier = new File(sources.get(i)); document = sxb.build(fichier); Element racine = document.getRootElement(); newDocument.setContent(racine.getContent(1)); }
Pourquoi cela ne marche pas?

04/07/2011, 17h09
NeptuS

Essaye d'afficher le nom du tag racine : vérifie que c'est bien "forms"
idem pour racine.getContent(1)
04/07/2011, 17h30
tchize_

tu dois détacher les noeuds de leur parent avant de les attacher à un autre parent (méthode detach())

Citation:

Envoyé par tchize_

tu dois détacher les noeuds de leur parent avant de les attacher à un autre parent (méthode detach())

Il fallait le savoir 8O Merci :ccool: je vois le bout du tunnel

Ensuite quand je stocke dans une liste le getContent(), il ne me stocke par forcément des Element du coup forcément ça plante quand je fais ça (Erreur : cannot be cast to org.jdom.Element)
Code:

1 2 3 4 5 6 7 8 9 List<Element> listeElement= racine.getChildren(); for(int j=0;j<listeElement.size();j++){ System.out.println(listeElement.get(j).toString()); Element form = (Element) racine.getContent(j).detach(); newDocument.setContent(form); }
Par contre ce qui est bizarre c'est que dans la boucle j si je remplace par
System.out.println("Element ="+listeElement.get(j).toString()+" CLASS="+listeElement.get(j).getClass());
Il me dit que c'est que des "class org.jdom.Element"

Je trouve vraiment pas la solution
Finalement je suis arrivé à ce résultat

erreur : Exception in thread "AWT-EventQueue-0" org.jdom.IllegalAddException: Cannot add a second root element, only one is allowed
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 private Element newRacine = new Element("forms"); private org.jdom.Document newDocument = new Document(newRacine); .... org.jdom.Document document ; File fichier = new File(sources.get(i)); document = sxb.build(fichier); Element racine = document.getRootElement(); List listeElement= racine.getChildren(); Element formElem = (Element) listeElement.get(1); newDocument.addContent(formElem);
Je récupère la liste des enfants de la racine de l'ancien fichier
Ensuite je créé un nouvel élément (en prenant pour tester d'abord le 1er element form)

Enfin je add dans mon nouveau document l'Element que je viens de creer

je rappelle que mon fichier xml a ce pattern (en gras ce que je veux copier dans mon nouveau fichier)
Code:

1 2 3 4 5 6 7 8 9 10 <forms> <form> <etc> <etc2> ....... </etc2> </etc> </form> </forms>

05/07/2011, 21h51
tchize_

tu dois faire getContent().getChildren() et les ajouter via newDocument.getContent().add() et non pas via setContent ;)

Je dois vraiment être nul mais ça marche pas du tout :cry:et par défaut eclipse ne me propose pas automatiquement getContent().getChildren()

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
try {
				org.jdom.Document document ;
				File fichier = new File(sources.get(i));
				document = sxb.build(fichier);
				Element racine = document.getRootElement();
 
				List<Element> contentList = racine.getContent();
 
				for(int j=0; j<contentList.size();j++){
					List childrenList =contentList.get(j).getChildren(); // ERREUR:  java.lang.ClassCastException: org.jdom.Text cannot be cast to org.jdom.Element
 
					for(int k=0;k<childrenList.size();k++){
						newDocument.getContent().add(childrenList.get(k));
					}
				}

Fuseau horaire GMT +2. Il est actuellement 22h32.