encodage du fichier texte

Version imprimable

29/06/2016, 15h36
cheyma

1 pièce(s) jointe(s)

encodage du fichier texte

bonjour tout le monde,

je developpe un programme java sous Netbeans et je manupule des données textuelles.
j'extrais à partir d'un fichier texte ligne par ligne et à chaque fois je stocke la ligne courante dans une liste de String.
L'encodage de mon fichier texte est UTF-8.

Mon problème réside au niveau de ma liste et pour seulement la première ligne du fichier un petit point apparaît au début de la chaine !
Ce petit point se considère comme étant un caractère ! et il disparaît quand je change mon encodage de UTF-8 à ANSI :( alors que je voudrais garder l'encodage UTF-8 (puisque il accepte les caracatères accentués)

voila :

Pièce jointe 214274

Aidez moi SVP à resoudre ce problème
Merci
29/06/2016, 17h36
thelvin

Hello,

Il faut que tu attaches le fichier pour qu'on comprenne de quoi tu parles, bien sûr -_-°.

Un coup c'est un petit point et un coup c'est un !
Si tu ne peux pas expliquer ce qui t'arrive avec des mots, tu peux le faire avec ton fichier et le code qui essaie de le lire/écrire.

7 pièce(s) jointe(s)

Bonsoir,

j'ai appliqué cette méthode pour générer à chaque fois une liste des sous chaines de chaque mot de mon fichier (ci-joint) Pièce jointe 214310:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 static public void gnerationNGrams(ArrayList<String> liste, String str, int n) {
        if (str.length() <= n) { // (==n)
            liste.add(str);
            /* int counter = 0;
            while (counter < n) {
                liste.add(str.substring(counter));
                counter++;
            } */
            return;
        } else {
            int counter = 0;
            String gram = "";
 
            while (counter < n) {
                gram += str.charAt(counter);
                counter++;
            }
            liste.add(gram);
            gnerationNGrams(liste, str.substring(1), n);
        }
    }

Lors de l'appel dan le main :

Code:

1
2
3
4
5
6
7
8
Path out1 = Paths.get("chemin/mon_fichier.txt"); // l'encodage de mon fichier UTF-8
            Scanner sc = new Scanner(out1);
 while (sc.hasNextLine()) {
....
gnerationNGrams(l, m, x);
System.out.println("l'extraction de " + x + "-grames: " + l);
....
}

Le résultat du traitement donne :

Pièce jointe 214311
Pièce jointe 214312
Pièce jointe 214313
Pièce jointe 214314
Pièce jointe 214315
Pièce jointe 214316

et si je change l'encodage du fichier out à ANSI , le point disparaît mais les caractère accentués aussi 8-)

J'èspére de j'ai bien expliqué mon problème :) merci de m'aider s'il vous plaît

30/06/2016, 07h02
adiGuba

Salut,

Il faut préciser l'encodage du fichier à la lecture, sinon c'est l'encodage par défaut qui est utilisé :

Code:

Scanner sc = new Scanner(out1, "utf8");

Certains éditeurs placent un BOM du début du fichier (un caractère spécial qui permet de reconnaitre le type d'UTF utilisé pour l'encodage).
Si tu lis le fichier avec un autre encodage cela peux te génèrer un caractère inconnu...

a++

Tu as un BOM au début de ton fichier UTF-8, comme le précise adiguba. Par contre, si tes accents s'affichaient correctement, tu as alors un autre problème supplémentaire ailleurs parce que ce fichier est utf-8 et les accents ne se lisent pas correctement en iso-8859-1.

Je rajoute que ceci
Code:

1 2 3 4 5 6 7 8 int counter = 0; String gram = ""; while (counter < n) { gram += str.charAt(counter); counter++; } liste.add(gram);
est absolument non performant, implique la création et destruction de nombreux objets et peut avantageusement être remplacé par

Code:

liste.add(str.subString(0,n));

On ne concatène pas des strings dans une boucle en java!

Bonjour,

Merci pour vos réponses, mais encore le même problème :roll:

Code:

1
2
3
4
5
6
7
8
9
10
11
static public ArrayList<String> gnerationNGrams(ArrayList<String> liste, String str, int n) {
        if (str.length() <= n) { // (==n)
            liste.add(str);
            return liste;
        } else {
 
            liste.add(str.substring(0,n));
            gnerationNGrams(liste, str.substring(1), n);
        }
        return liste;
    }

Code:

1
2
3
4
5
Path out1 = Paths.get("Monchemin/test.txt");
            Scanner sc = new Scanner(out1,"utf8");
while (sc.hasNextLine()) {
                String m = sc.nextLine();
gnerationNGrams(l, m, x);

:roll: :roll: :roll:

grumpf, j'ai réussi à oublier depuis tout ce temps que l'utf8 avec BOM est dans la twilight zone de java :aie:

Pour dire les choses simplement, le reader java ne retire pas le BOM, un (pleins de) bug est ouvert chez eux mais ils ne comptent pas le corriger car ça casserait des outils existant :calim2:
http://bugs.java.com/view_bug.do?bug_id=4508058
http://bugs.java.com/view_bug.do?bug_id=6959785

Youhou :'(

Bon, la bonne nouvelle c'est que tu peux quand même faire une évac manuelle du caractère

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
package test;
import java.io.*;
import java.nio.file.*;
import java.util.*;
public class Test {
   static public ArrayList<String> gnerationNGrams(ArrayList<String> liste, String str, int n) {
        if (str.length() <= n) { // (==n)
            liste.add(str);
            return liste;
        } else {
 
            liste.add(str.substring(0,n));
            gnerationNGrams(liste, str.substring(1), n);
        }
        return liste;
  }
  public static void main (String[] argv) throws Exception{
     ArrayList<String> l = new ArrayList<String>();
     Path out1 = Paths.get("J:\\test.txt");
     Scanner sc = new Scanner(out1,"utf8");
     boolean firstLine = true;
     while (sc.hasNextLine()) {
           String m = sc.nextLine();
           if (m.startsWith("\uFEFF")){
             m = m.substring(1);
           }
           firstLine=false;
           gnerationNGrams(l, m, 3);
     }
     System.out.println(l);
  }
}

30/06/2016, 23h29
cheyma

Bonsoir ,

Je vous remercie :) :resolu: