Discussion :

[clement_74]

Bonjour,
je tente de lire/écrire un fichier CSV, avec entre temps, un petit traitement de données effectué dans un dataframe (pandas).

avec le read_csv de pandas j'ai des soucis de lecture (apparemment des histoires d'encodage... j'ai essayé bien des choses au niveau du paramètre "encoding" mais rien n'y fait).
bon au final je m'en sort avec les deux lignes suivantes (pour récupérer un dataframe "propre" à partir de mon CSV:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
with open(r"L:\Test_Data_Base.csv", newline='') as csvfile:
        self.dataframe_from_csv = pd.DataFrame(csv.reader(csvfile, delimiter=';'))

une fois cette dataframe récupérée, je modifie certaines valeurs et je souhaiterais sauvegarder le dataframe sous forme de CSV via le to_csv de pandas.
mais pandas me génère un fichier plutôt moche.. il confond les retours chariots qui peuvent être contenus dans certaines chaines de caractères de mon CSV avec une nouvelle ligne! Et cela me décale tout.

j'ai essayé de jouer avec le paramètre "line_terminator" du to_csv de pandas... j'ai aussi essayé d'indiquer un sep="\t"... mais je galère toujours...
des idées?

merci

[Sve@r]

Bonjour

mais pandas me génère un fichier plutôt moche.. il confond les retours chariots qui peuvent être contenus dans certaines chaines de caractères de mon CSV avec une nouvelle ligne! Et cela me décale tout.

J'ai eu ce cas une fois. J'écrivais des strings dans du csv mais quand mes strings (issues d'ordres "insert" en sql) contenaient des "\n" j'avais la merde quand j'imprtais mon CSV dans excel.
J'ai résolu le souci en remplaçant "\n" par r"\n". Exemple je dois écrire le contenu de "listeChamp" (tuple contenant toutes mes valeurs à écrire) dans le CSV j'écris alors csv.writerow(x.strip().replace("\n", r"\n") for x in listeChamp) (le "strip()" initial purgant le texte de tous les caractères inutiles en début ou en fin)

...apparemment des histoires d'encodage...

Faut pas laisser ça pourrir. Tu dois absolument connaitre l'encodage de ce que tu lis. Il existe la librairie "chardet" qui peut te détecter ton encodage. Exemple with open(fic, "rb") as fp: encoding=chardet.detect(fp.read()).
Ensuite, quand tu veux ouvrir ton fichier pour le lire ou l'écrire: open(fic, "r/w", encoding=encoding["encoding"]) (oui, désolé je n'ai pas su trouver un autre nom à ma variable que "encoding" ce qui donne une grosse ambiguïté entre le "encoding=" qui est le paramètre de open(), le "encoding" qui est le nom de ma variable et qui se trouve être un dictionnaire contenant la clef "encoding" qui, elle, donne l'encoding réel du fichier).

[clement_74]

super merci pour les infos, je vais tester ça!

______

Tout marche au top! (encodage trouvé + l'histoire du \n)
MERCI :-)