Remplir une Arraylist à partir d'un fichier csv

Version imprimable

Voir 40 message(s) de cette discussion en une page

02/01/2017, 20h18
Sara_hda

Citation:

Envoyé par joel.drigo

Bah, c'est exactement la même erreur.. tu l'as bien ajouté le charset comme je t'ai indiqué ? Tu n'avais pas cette erreur avec tes FileReader ? Parce que ça utilise exactement le même charset qu'avec FileReader (Charset.defaultCharset()) !

Oui exactement pareil, je viens de vérifier. Non du tout, le programme compilait correctement pendant un moment
02/01/2017, 20h20
joel.drigo

Avec les mêmes fichiers ?
02/01/2017, 20h23
Sara_hda

Oui, pas un de moins ni un de plus
02/01/2017, 20h25
joel.drigo

Je ne vois pas pourquoi ça ne fonctionne pas alors.
02/01/2017, 20h59
Sara_hda

Citation:

Envoyé par joel.drigo

Je ne vois pas pourquoi ça ne fonctionne pas alors.

Ah :/
Mais apparemment l'erreur viendrait de la boucle for

Code:

for(String line = reader.readLine(); line!=null; line=reader.readLine()) {

Je sais pas si ca t'aide..
02/01/2017, 21h38
joel.drigo

Non, le problème c'est l'encodage du fichier : on le lit avec un charset qui n'est pas le bon.

Montre-moi le code actuel de la méthode public static void collect(String file, int lineToSkip, String splitString, int dataIndex, String name, int countryIndex, Map<String, Map<String,String>> map) throws IOException {

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
public static void collect(String file, int lineToSkip, String splitString, int dataIndex, String countryName, int countryIndex, Map<String, Map<String,String>> map) throws IOException {
 
	try(BufferedReader reader=Files.newBufferedReader(Paths.get(file),Charset.defaultCharset())) {
		for(String line = reader.readLine(); line!=null; line=reader.readLine()) {
			if ( lineToSkip>0 ) { // on saute les lignes au début
				lineToSkip--;
				continue;
			}
			final String[] data = line.split(splitString);
			String value = data[dataIndex];
			if( countryIndex==-1 ) {
				final Map<String,String> dataMap=new HashMap<>();
				dataMap.put(countryName, value);
				map.put(value, dataMap);
			}
			else {
				final Map<String,String> dataMap=map.get(data[countryIndex]);
				if ( dataMap!=null ) {
					dataMap.put(countryName, value);
				}
			}
		}
	}
 
}

Tu peux exécuter ce petit programme en remplaçant "fichier1", "fichier2" et "fichier3" par les noms de tes fichiers :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
public class Test {
 
	public static void main(String[] args) {
		try {
			System.out.println(Charset.defaultCharset());
			showEncoding("fichier1");
			showEncoding("fichier2");
			showEncoding("fichier3");
		}
		catch(IOException e) {
			e.printStackTrace();
		}
	}
 
	public static void showEncoding(String nomFichier) throws FileNotFoundException, IOException {
 
		try(FileReader reader = new FileReader(nomFichier)) {
			System.out.println(nomFichier+" "+reader.getEncoding());
		}
 
	}
 
}

02/01/2017, 22h05
Sara_hda

Le resultat est :
UTF-8
country_codes_iso.csv UTF8
POP.csv UTF8
rawdata_2147.txt UTF8
02/01/2017, 22h07
joel.drigo

Ok, donc le charset par défaut est UTF-8 mais ton fichier n'est pas en UTF-8. Si tu n'as pas eu l'erreur avant, c'est que ton code précédent n'arrivait même pas à la ligne "incompatible", celle où ça plante.

Il te faut connaître l'encodage de tes fichiers, ou les convertir en UTF-8.
02/01/2017, 22h14
Sara_hda

Citation:

Envoyé par joel.drigo

Ok, donc le charset par défaut est UTF-8 mais ton fichier n'est pas en UTF-8. Si tu n'as pas eu l'erreur avant, c'est que ton code précédent n'arrivait même pas à la ligne "incompatible", celle où ça plante.

Il te faut connaître l'encodage de tes fichiers, ou les convertir en UTF-8.

Oulalala ca va assez loin là quand meme lol Comment connaître l'encodage des fichiers ?
02/01/2017, 22h35
joel.drigo

Ils viennent d'où ces fichiers ? Il est absolument nécessaire de connaître l'encodage d'un fichier texte pour le lire. Si tu ne connais pas l'encodage et que tu ne sais pas comment le déterminer, il va falloir essayer différents encodages. En tout cas, je ne peux pas le deviner pour toi, surtout sans avoir ces fichiers.

Essaye par exemple :

Code:

try(BufferedReader reader=Files.newBufferedReader(Paths.get(file),StandardCharsets.ISO_8859_1)) {
02/01/2017, 22h42
Sara_hda

Citation:

Envoyé par joel.drigo

Ils viennent d'où ces fichiers ? Il est absolument nécessaire de connaître l'encodage d'un fichier texte pour le lire. Si tu ne connais pas l'encodage et que tu ne sais pas comment le déterminer, il va falloir essayer différents encodages. En tout cas, je ne peux pas le deviner pour toi, surtout sans avoir ces fichiers.

D'internet je suppose ? C'est mon prof qui nous les a fourni..

Citation:

Essaye par exemple :

Code:

try(BufferedReader reader=Files.newBufferedReader(Paths.get(file),StandardCharsets.ISO_8859_1)) {

Ca m'enlève l'erreur avec ca, mais du coup ca me met ceci :
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 1
at world.WorldList.collect(WorldList.java:39)
at world.WorldList.countries(WorldList.java:60)
at world.WorldList.searchByCountryName(WorldList.java:73)
at world.WorldTest.testOperations(WorldTest.java:35)
at world.WorldTest.testWorldArrayList(WorldTest.java:23)
at world.WorldTest.main(WorldTest.java:15)

Ca concerne cette ligne apparemment :

Code:

String value = data[dataIndex];

Citation:

Envoyé par Sara_hda

C'est mon prof qui nous les a fourni..

Il aurait pu vous fournir des fichiers UTF-8, ou au moins avoir la décence de vous indiquer l'encodage !

C'est toujours le même problème (déjà vu plusieurs fois) : tu essayes d'accèder à une valeur dans un tableau à un index qui n'existe pas. Ici, une valeur en position 2 dans un tableau qui a mons de 2 valeurs. Vu qu'on a vu déjà maintes fois ce problème, tu ne devrais plus avoir besoin de demander comment corriger le problème.

il faut déterminer sur quel fichier, il y a le problème (le fichier 1, le 2 ou le 3) ;
ensuite voir si la ligne est une ligne d'entête (comme tu avais déjà dans un autre cas) : si c'est ça, alors tu peux utiliser le paramètre lineToSkip pour indiquer le nombre de lignes d'entêtes à sauter ;
sinon, c'est une ligne de données qui n'a pas la même taille que les autres (pas le même nombre de données que les autres). De deux choses l'une, soit le format est prévu comme ça (et il faut gérer le cas, avec des if ()), soit c'est le découpage qui n'est pas bon (l'expression régulière ne tient pas compte de tous les cas possibles), soit le fichier est pourri (il y a des lignes qui n'ont pas assez de données).

Tu peux faire comme ça, au moins ça plantera plus sur ce problème et ça signalera les lignes qui n'ont pas assez de données (tu pourras voir s'il y a des lignes qui ne fonctionne pas mais qui devraient fonctionner) :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 public static void collect(String file, int lineToSkip, String splitString, int dataIndex, String countryName, int countryIndex, Map<String, Map<String,String>> map) throws IOException { try(BufferedReader reader=Files.newBufferedReader(Paths.get(file),Charset.defaultCharset())) { for(String line = reader.readLine(); line!=null; line=reader.readLine()) { if ( lineToSkip>0 ) { // on saute les lignes au début lineToSkip--; continue; } final String[] data = line.split(splitString); if ( dataIndex>=data.length) { System.err.println("Ligne ignorée (pas assez de données): " + data.length+"<="+ dataIndex + " " + Arrays.toString(data)); } else { String value = data[dataIndex]; if( countryIndex==-1 ) { final Map<String,String> dataMap=new HashMap<>(); dataMap.put(countryName, value); map.put(value, dataMap); } else { if ( countryIndex>=data.length) { System.err.println("Ligne ignorée (pas assez de données pour le pays): " + data.length+"<="+ countryIndex + " "+ Arrays.toString(data)); } else { final Map<String,String> dataMap=map.get(data[countryIndex]); if ( dataMap!=null ) { dataMap.put(countryName, value); } } } } } } }

Citation:

Envoyé par joel.drigo

Il aurait pu vous fournir des fichiers UTF-8, ou au moins avoir la décence de vous indiquer l'encodage !

Oui, surtout que l'informatique n'est pas notre matière principale, je trouve ce projet assez compliqué pour des étudiants qui ne sont pas en info de base..

Citation:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
public static void collect(String file, int lineToSkip, String splitString, int dataIndex, String countryName, int countryIndex, Map<String, Map<String,String>> map) throws IOException {
 
	try(BufferedReader reader=Files.newBufferedReader(Paths.get(file),Charset.defaultCharset())) {
		for(String line = reader.readLine(); line!=null; line=reader.readLine()) {
			if ( lineToSkip>0 ) { // on saute les lignes au début
				lineToSkip--;
				continue;
			}
			final String[] data = line.split(splitString);
                        if ( dataIndex>=data.length) {
                               System.err.println("Ligne ignorée (pas assez de données): " + data.length+"<="+ dataIndex + " " + Arrays.toString(data));
                        }
                        else {
			    String value = data[dataIndex];
			    if( countryIndex==-1 ) {
				final Map<String,String> dataMap=new HashMap<>();
				dataMap.put(countryName, value);
				map.put(value, dataMap);
			   }
			   else {
                              if ( countryIndex>=data.length) {
                                  System.err.println("Ligne ignorée (pas assez de données pour le pays): " + data.length+"<="+ countryIndex + " "+ Arrays.toString(data));
                              }
                              else {
				final Map<String,String> dataMap=map.get(data[countryIndex]);
				if ( dataMap!=null ) {
					dataMap.put(countryName, value);
				}
                              }
			   }
                       }
		}
	}
 
}

J'ai modifié le try, avec le StandardCharsets.ISO_8859_1 du coup.. mais j'ai l'impression qu'il saute tout le fichier, ce que tu as demandé d'afficher "Ligne ignorée (pas assez de données): 0<=1 []" s'affiche plusieurs fois pour au final me dire que le pays "France" par exemple, n'existe pas

02/01/2017, 23h23
joel.drigo

Citation:

Envoyé par Sara_hda

"Ligne ignorée (pas assez de données): 0<=1 []"

Ça, ça veut dire qu'il y a des lignes vides dans le fichier. Ça ne facilite pas le traitement, mais à la limite, ce n'est pas une anomalie si gênante que ça. On pourrait éliminer d'office les lignes vides à la lecture.

Citation:

Envoyé par Sara_hda

... me dire que le pays "France" par exemple, n'existe pas

C'est dans quel fichier ? Le 2 ou le 3. A la limite, ce n'est pas peut-être une anomalie. Peut-être que toutes les données n'existent pas pour tous les pays. Cela dit si l'enoncé en faisait état, ce serait tout de même mieux. La question est de savoir si c'est normal ou pas. Dans toutes les lignes qui s'affichent tu ne vois nulle part le nom "France" ? Si tu ouvres le fichier dans un éditeur de texte et que tu recherches le mot France, est-ce qu'il est présent ou pas ? Serait-il présent avec une casse différente ?
Ensuite, s'il est normal que toutes les informations n'existent pas pour tous les pays, la question est de savoir comment tu dois le traiter : ignorer ces pays incomplets ou signaler ces pays (et la propriété manquante).
02/01/2017, 23h27
Sara_hda

Citation:

Envoyé par joel.drigo

C'est dans quel fichier ? Le 2 ou le 3. A la limite, ce n'est pas peut-être une anomalie. Peut-être que toutes les données n'existent pas pour tous les pays. Cela dit si l'enoncé en faisait état, ce serait tout de même mieux. La question est de savoir si c'est normal ou pas. Dans toutes les lignes qui s'affichent tu ne vois nulle part le nom "France" ? Si tu ouvres le fichier dans un éditeur de texte et que tu recherches le mot France, est-ce qu'il est présent ou pas ? Serait-il présent avec une casse différente ?
Ensuite, s'il est normal que toutes les informations n'existent pas pour tous les pays, la question est de savoir comment tu dois le traiter : ignorer ces pays incomplets ou signaler ces pays (et la propriété manquante).

Ah non du tout, il est bien présent dans tous les fichiers, et quoiqu'il advienne si une information est inconnue, la case correspondante dans le fichier n'est pas nulle, il y a tout de même écrit soit "inconnu" soit "0"
Je viens de réessayer avec un autre pays, et c'est le même résultat
02/01/2017, 23h31
joel.drigo

Tu peux me coller tes fichiers en pièces jointes que je jette un coup d'œil ?
02/01/2017, 23h39
Sara_hda

1 pièce(s) jointe(s)

Pièce jointe 231730
Seul le fichier txt peut s'envoyer, les csv ne fonctionnent pas..
02/01/2017, 23h42
joel.drigo

Citation:

Envoyé par Sara_hda

Pièce jointe 231730
Seul le fichier txt peut s'envoyer, les csv ne fonctionnent pas..

ah bon ? pourquoi ? S'ils sont trop gros tu les zippes... si c'est l'extension qui ne passe pas, tu renommes en ajoutant un _.

Voir 40 message(s) de cette discussion en une page