IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Dataframe et CSV


Sujet :

Python

  1. #1
    Nouveau membre du Club
    Homme Profil pro
    Ingénieur développement de composants
    Inscrit en
    décembre 2019
    Messages
    38
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 32
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur développement de composants

    Informations forums :
    Inscription : décembre 2019
    Messages : 38
    Points : 37
    Points
    37
    Par défaut Dataframe et CSV
    Bonjour,
    je tente de lire/écrire un fichier CSV, avec entre temps, un petit traitement de données effectué dans un dataframe (pandas).

    avec le read_csv de pandas j'ai des soucis de lecture (apparemment des histoires d'encodage... j'ai essayé bien des choses au niveau du paramètre "encoding" mais rien n'y fait).
    bon au final je m'en sort avec les deux lignes suivantes (pour récupérer un dataframe "propre" à partir de mon CSV:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    with open(r"L:\Test_Data_Base.csv", newline='') as csvfile:
            self.dataframe_from_csv = pd.DataFrame(csv.reader(csvfile, delimiter=';'))
    une fois cette dataframe récupérée, je modifie certaines valeurs et je souhaiterais sauvegarder le dataframe sous forme de CSV via le to_csv de pandas.
    mais pandas me génère un fichier plutôt moche.. il confond les retours chariots qui peuvent être contenus dans certaines chaines de caractères de mon CSV avec une nouvelle ligne! Et cela me décale tout.

    j'ai essayé de jouer avec le paramètre "line_terminator" du to_csv de pandas... j'ai aussi essayé d'indiquer un sep="\t"... mais je galère toujours...
    des idées?

    merci

  2. #2
    Expert éminent sénior
    Avatar de Sve@r
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    février 2006
    Messages
    8 973
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : février 2006
    Messages : 8 973
    Points : 24 592
    Points
    24 592
    Billets dans le blog
    1
    Par défaut
    Bonjour
    Citation Envoyé par clement_74 Voir le message
    mais pandas me génère un fichier plutôt moche.. il confond les retours chariots qui peuvent être contenus dans certaines chaines de caractères de mon CSV avec une nouvelle ligne! Et cela me décale tout.
    J'ai eu ce cas une fois. J'écrivais des strings dans du csv mais quand mes strings (issues d'ordres "insert" en sql) contenaient des "\n" j'avais la merde quand j'imprtais mon CSV dans excel.
    J'ai résolu le souci en remplaçant "\n" par r"\n". Exemple je dois écrire le contenu de "listeChamp" (tuple contenant toutes mes valeurs à écrire) dans le CSV j'écris alors csv.writerow(x.strip().replace("\n", r"\n") for x in listeChamp) (le "strip()" initial purgant le texte de tous les caractères inutiles en début ou en fin)

    Citation Envoyé par clement_74 Voir le message
    ...apparemment des histoires d'encodage...
    Faut pas laisser ça pourrir. Tu dois absolument connaitre l'encodage de ce que tu lis. Il existe la librairie "chardet" qui peut te détecter ton encodage. Exemple with open(fic, "rb") as fp: encoding=chardet.detect(fp.read()).
    Ensuite, quand tu veux ouvrir ton fichier pour le lire ou l'écrire: open(fic, "r/w", encoding=encoding["encoding"]) (oui, désolé je n'ai pas su trouver un autre nom à ma variable que "encoding" ce qui donne une grosse ambiguïté entre le "encoding=" qui est le paramètre de open(), le "encoding" qui est le nom de ma variable et qui se trouve être un dictionnaire contenant la clef "encoding" qui, elle, donne l'encoding réel du fichier).
    Mon Tutoriel sur la programmation «Shell»
    Sinon il y en a pleins d'autres. N'oubliez pas non plus les différentes faq disponibles sur ce site

  3. #3
    Nouveau membre du Club
    Homme Profil pro
    Ingénieur développement de composants
    Inscrit en
    décembre 2019
    Messages
    38
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 32
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Ingénieur développement de composants

    Informations forums :
    Inscription : décembre 2019
    Messages : 38
    Points : 37
    Points
    37
    Par défaut
    super merci pour les infos, je vais tester ça!

    ______

    Tout marche au top! (encodage trouvé + l'histoire du \n)
    MERCI :-)

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Pandas DataFrame sur un csv - Première ligne
    Par ChrisM972 dans le forum Général Python
    Réponses: 1
    Dernier message: 05/12/2019, 12h33
  2. Réponses: 4
    Dernier message: 05/11/2019, 10h42
  3. [Python 3.X] Passage d'un CSV à un dataframe puis à un dictionnaire de dictionnaires
    Par Earwen21 dans le forum Calcul scientifique
    Réponses: 5
    Dernier message: 17/04/2018, 15h38
  4. Réponses: 2
    Dernier message: 05/01/2018, 12h05
  5. Création de dataframes avec fichiers CSV non homogènes
    Par rmarion37 dans le forum Calcul scientifique
    Réponses: 9
    Dernier message: 29/11/2016, 22h27

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo