Problème de lecture de mon fichier CSV

Version imprimable

Bonjour à tous !

Je suis un débutant en programmation python donc soyez indulgent.

Je dois importer un fichier CSV, séparé par des virgules. Normalement j'y arrive assez facilement mais celui la est récalcitrant.

Quelqu'un aurait la solution en lisant le code et surtout le message d'erreur qui va suivre ? Merci d'avance ;)

Code:

1
2
3
4
5
6
7
8
9
10
11
# coding: utf8
 
import numpy as np
import pandas as pd 
import seaborn as sns
import sys
 
# Import des données des bilans alimentaires
DataComplete = pd.read_csv("/Users/thomastripodi/Desktop/BilansAlimentaires_F_Toutes_les_DonnÇes.csv")
 
DataComplete.head()

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-26-5c45d076489a> in <module>
      1 # Import des données des bilans alimentaires
----> 2 DataComplete = pd.read_csv("/Users/thomastripodi/Desktop/BilansAlimentaires_F_Toutes_les_DonnÇes.csv")
      3 
      4 DataComplete.head()
 
//anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, tupleize_cols, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
    700                     skip_blank_lines=skip_blank_lines)
    701 
--> 702         return _read(filepath_or_buffer, kwds)
    703 
    704     parser_f.__name__ = name
 
//anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
    427 
    428     # Create the parser.
--> 429     parser = TextFileReader(filepath_or_buffer, **kwds)
    430 
    431     if chunksize or iterator:
 
//anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in __init__(self, f, engine, **kwds)
    893             self.options['has_index_names'] = kwds['has_index_names']
    894 
--> 895         self._make_engine(self.engine)
    896 
    897     def close(self):
 
//anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _make_engine(self, engine)
   1120     def _make_engine(self, engine='c'):
   1121         if engine == 'c':
-> 1122             self._engine = CParserWrapper(self.f, **self.options)
   1123         else:
   1124             if engine == 'python':
 
//anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in __init__(self, src, **kwds)
   1851         kwds['usecols'] = self.usecols
   1852 
-> 1853         self._reader = parsers.TextReader(src, **kwds)
   1854         self.unnamed_cols = self._reader.unnamed_cols
   1855 
 
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.__cinit__()
 
pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._get_header()
 
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 5: invalid continuation byte

Bonjour et bienvenu.

Pense à insérer ton code entre les balises correspondantes pour les prochaines fois. C'est bien plus lisible ainsi:
Code:

1 2 3 4 5 6 7 8 9 10 11 # coding: utf8 import numpy as np import pandas as pd import seaborn as sns import sys # Import des données des bilans alimentaires DataComplete = pd.read_csv("/Users/thomastripodi/Desktop/BilansAlimentaires_F_Toutes_les_DonnÇes.csv") DataComplete.head()
Bien, pour revenir au problème, je remarque dans le message d'erreur la ligne:

Citation:

self._reader = parsers.TextReader(src, **kwds)

Le problème vient sans aucun doute du contenu du fichier. Est-ce que tu pourrais montrer à quoi il ressemble? Les quelques premières lignes?

Julien

27/09/2019, 11h24
wiztricks

Salut,

Citation:

Envoyé par TomTrip

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 5: invalid continuation byte

Le message d'erreur dit juste que votre fichier n'est pas "encodé" utf-8.
C'est une information à passer à .read_csv via encoding=...
Mais on ne va pas inventer quoi mettre à la place des ...

- W
27/09/2019, 22h33
TomTrip
Merci pour votre accueil et réactivités.

J'ai essayé le code avec encoding :
Code:

1 2 3 # Import des données des bilans alimentaires data = pd.read_csv("/Users/thomastripodi/Desktop/BilansAlimentaires_F_Toutes_les_DonnÇes.csv", encoding = 'utf-8')
Le message d'erreur est le même : " UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 5: invalid continuation byte "

J'ai vraiment du mal à comprendre pourquoi ça ne fonctionne pas. Voici les 2 premières ligne de mon fichier (j'ai réussi à mettre le code dans les balises mais pas pour ce qu'il va suivre):

Code zone,Zone,Code Produit,Produit,Code Élément,Élément,Unité,Y1961,Y1961F,Y1962,Y1962F,Y1963,Y1963F,Y1964,Y1964F,Y1965,Y1965F,Y1966,Y1966F,Y1967,Y1967F,Y1968,Y1968F,Y1969,Y1969F,Y1970,Y1970F,Y1971,Y1971F,Y1972,Y1972F,Y1973,Y1973F,Y1974,Y1974F,Y1975,Y1975F,Y1976,Y1976F,Y1977,Y1977F,Y1978,Y1978F,Y1979,Y1979F,Y1980,Y1980F,Y1981,Y1981F,Y1982,Y1982F,Y1983,Y1983F,Y1984,Y1984F,Y1985,Y1985F,Y1986,Y1986F,Y1987,Y1987F,Y1988,Y1988F,Y1989,Y1989F,Y1990,Y1990F,Y1991,Y1991F,Y1992,Y1992F,Y1993,Y1993F,Y1994,Y1994F,Y1995,Y1995F,Y1996,Y1996F,Y1997,Y1997F,Y1998,Y1998F,Y1999,Y1999F,Y2000,Y2000F,Y2001,Y2001F,Y2002,Y2002F,Y2003,Y2003F,Y2004,Y2004F,Y2005,Y2005F,Y2006,Y2006F,Y2007,Y2007F,Y2008,Y2008F,Y2009,Y2009F,Y2010,Y2010F,Y2011,Y2011F,Y2012,Y2012F,Y2013,Y2013F

2,"Afghanistan","2501","Population","511","Population totale","1000 personnes","8954.000000","","9142.000000","","9340.000000","","9547.000000","","9765.000000","","9990.000000","","10222.000000","","10466.000000","","10729.000000","","11016.000000","","11323.000000","","11644.000000","","11966.000000","","12274.000000","","12552.000000","","12807.000000","","13034.000000","","13200.000000","","13257.000000","","13180.000000","","12964.000000","","12634.000000","","12242.000000","","11854.000000","","11529.000000","","11262.000000","","11063.000000","","11013.000000","","11215.000000","","11731.000000","","12612.000000","","13812.000000","","15175.000000","","16485.000000","","17586.000000","","18415.000000","","19021.000000","","19497.000000","","19987.000000","","20595.000000","","21348.000000","","22203.000000","","23116.000000","","24019.000000","","24861.000000","","25631.000000","","26349.000000","","27032.000000","","27708.000000","","28398.000000","","29105.000000","","29825.000000","","30552.000000",""
28/09/2019, 11h14
marco056

Le nom du fichier interroge un peu : problème d'accent déjà.
Ce que je ferais : je l'ouvrirai avec Openoffice et je l'enregistrerais avec l'option utf-8.
28/09/2019, 13h50
wiztricks

Salut,

Citation:

Envoyé par TomTrip

Le message d'erreur est le même : " UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc9 in position 5: invalid continuation byte "

Vous saviez déjà que l'encoding utf-8 n'est pas celui de votre fichier, donc çà ne change rien d'essayer avec encoding="utf-8".
Et si vous utilise encoding=... c'est justement pour y mettre autre chose i.e. l'encoding qui va bien.

- W

Je comprends mieux. Mais comment connaitre l'encodage du fichier csv que je dois remplir après le encoding = ... ?

J'ai essayé une autre méthode qui a résolu une partie du problème, je m'explique.
J'ai ouvert le fichier avec Sublime Text pour le convertir en UTF-8. J'ai pu le lire avec python, mais il y avait un souci d'affichage :
Code:

1 2 3 4 Code zone Zone Code Produit Produit Code Élément Élément Unité Y1961 Y1961F Y1962 ... Y2009 Y2009F Y2010 Y2010F Y2011 Y2011F Y2012 Y2012F Y2013 Y2013F 0 2,"Afghanistan","2501","Population","511","Pop... NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 1 2,"Afghanistan","2901","Total General","664","... NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN 2 2,"Afghanistan","2901","Total General","674","... NaN NaN NaN NaN NaN NaN NaN NaN NaN ... NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
Tous les champs se concentrent dans la première colonne "Code Zone".. Même avec le sep = ','

Après j'ai tenté une autre manipulation en allant sur le fichier (en UTF-8) via excel et j'ai modifié le fichier en allant dans Données ---> Convertir ---> Séparateur ---> ","
Pour qu'il devienne un véritable tableur. Mais impossible de la lire par la suite. Je ne pense pas utiliser les bons arguments.

29/09/2019, 17h07
marco056

Tu ne peux pas mettre en PJ ton fichier csv ? Ce serait peut-être plus simple.
30/09/2019, 10h17
TomTrip

Je sais pas pourquoi, mais j'ai retéléchargé les données. Refais les manipulations évoquées précédemment et ça à fonctionné !

Merci à tous pour votre aide.

Et j'espère pouvoir aider d'autres utilisateurs à mon tour désormais :)
30/09/2019, 11h37
marco056

Super. Pense à mettre ton sujet en résolu.