Ouvrir un fichier avec Pandas (extension pas .csv)

Bonjour à tous,
Pour traiter les résultats obtenus sur des bacs de tests je souhaite ouvrir mes fichiers de résultats avec pandas pour en faire des dataframes.
Les machines renvoient selon leur type :
- des fichiers ".tsv" qui correspondent csv avec un séparateur tabulation
- des fichiers ".lvm" qui correspondent csv avec un séparateur virgule
Voici mon code :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import FormChoixMachine import FormEssais import pandas as pd   Machine = FormChoixMachine.ChoixMachine() Chemin_Liste = list(FormEssais.Chemin_Liste_Essais()) DossierEssais = Chemin_Liste[0] ListeEssais = Chemin_Liste[1]   for Essai in range(len(ListeEssais)): if Machine != "Old_TE77": Chemin = DossierEssais + "\\" + ListeEssais[Essai] + ".tsv" Lecture_Fichier = pd.read_csv(Chemin, delimiter="\t") else: Chemin = DossierEssais + "\\" + ListeEssais[Essai] + ".lvm" Lecture_Fichier = pd.read_csv(Chemin, delimiter=",") print(Lecture_Fichier)

---

Et ça coince... Sauriez-vous m'aider à savoir pourquoi ?
Merci par avance,
Bonne journée,

Bonjour.

Ca coince...

Mais encore ?

Quel est le message d'erreur ?

Si c'est une erreur liée aux chemins UNC (accès de vos fichiers à travers un réseau), regardez du côté de la lib pathlib qui gère très bien les chemins UNC.

Hello,

Citation:

---

Envoyé par DaddyTousucre

Et ça coince... Sauriez-vous m'aider à savoir pourquoi ?

---

:cristal: un message d'erreur ? sur quelle ligne de code ?

Ami calmant, J.P

Bonjour,
Le message d'erreur varie selon les cas j'ai eu :

Code:

---

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb0 in position 453: invalid start byte

---

mais aussi :

Code:

---

FileNotFoundError: [Errno 2] No such file or directory: 'C:\\Users\\Daddy\\Desktop\\Démo traitement auto\\Old TE-77\\MyFile.tsv'

---

(là je comprends pas pourquoi il a doublé les "\")
Les fichiers, comme vous le voyez sont en local.
L'erreur intervient toujours sur la ligne

Code:

---

Lecture_Fichier = pd.read_csv(Chemin, delimiter="\t")

---

ou la ligne

Code:

---

Lecture_Fichier = pd.read_csv(Chemin, delimiter=",")

---

Citation:

---

Envoyé par DaddyTousucre

Et ça coince... Sauriez-vous m'aider à savoir pourquoi ?

---

Vous ne pouvez pas utiliser Pandas sans un minimum de connaissances sur les fichiers, leur chemin d'accès (FileNotFoundError), et l'encodage des fichiers texte(UnicodeDecodeError).
Ce qui demande de passer du temps dans un bons tutos d'apprentissage des bases du langage (avant de se jeter dans Pandas et se faire bouffer tout cru).
note: c'est en faisant les exercices proposés dans les tutos qu'on apprend à décortiquer les messages d'erreur et leur importance dans la description d'un problème qu'on pourra rencontrer.
- W

UnicodeError : il faut vérifier que le fichier source est en utf-8 ce qui ne semble pas le cas quand tu as une erreur (peut-être que le fichier est encodé en ANSI)
FileNotFoundError : Est-ce que le fichier indiqué dans le message d'erreur est bien présent dans l'ordinateur ( vérifier avec l'explorateur de fichier et ne pas se préoccuper des doubles \).

Suite aux remarques de jurassic (merci beaucoup), j'ai fait les modifications suivantes :

Code:

---

1 2 3 4 5 6 7 8

for Essai in range(len(ListeEssais)): if Machine != "Old_TE77": Chemin = DossierEssais + "\\" + ListeEssais[Essai] + ".TSV" Lecture_Fichier = pd.read_csv(Chemin, delimiter="\t", encoding="ANSI") else: Chemin = DossierEssais + "\\" + ListeEssais[Essai] + ".lvm" Lecture_Fichier = pd.read_csv(Chemin, delimiter=",", encoding="ANSI") print(Lecture_Fichier)

---

J'ai maintenant une nouvelle erreur :

Code:

---

ParserError: Error tokenizing data. C error: Expected 3 fields in line 16, saw 22

---

Comme mes données commencent effectivement à la deuxième colonne de la ligne 16, j'ai donc modifié par :

Code:

---

1 2 3 4 5 6 7 8 9 10 11

for Essai in range(len(ListeEssais)): listecol=[] for i in range(1,21): listecol.append(int(i)) if Machine != "Old_TE77": Chemin = DossierEssais + "\\" + ListeEssais[Essai] + ".TSV" Lecture_Fichier = pd.read_csv(Chemin, delimiter="\t", encoding="ANSI", header=15, usecols=listecol) else: Chemin = DossierEssais + "\\" + ListeEssais[Essai] + ".lvm" Lecture_Fichier = pd.read_csv(Chemin, delimiter=",", encoding="ANSI", header=15, usecols=listecol) print(Lecture_Fichier)

---

Mais j'ai l'erreur suivante :

Code:

---

ValueError: Usecols do not match columns, columns expected but not found: [1,2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20]

---

Comment puis-je résoudre ce problème ?

si il n' y a pas d'infos confidentielles peux-tu nous montrer les 20 premières lignes de ton fichier source ?

Oui, j'ai anonymisé certaines infos plus sensibles et voici :
Pièce jointe 631207
Merci pour votre aide :-)

Addendum : Je viens de réaliser qu'il y a une tabulation en trop à la fin de chaque ligne de données qu'il n'y a pas sur la ligne avec les noms de colonne, ce qui pourrait expliquer l'erreur... Comment je pourrais supprimer ça ou lui dire de ne pas le considérer ?

D'après ce qu'on voit sur ta copie d'écran, les entêtes sont en ligne 16 et les données commencent en ligne 21 et il n'y a rien en colonne A

Il n'y a bien jamais rien en colonne A.
Les en-têtes sont toujours en ligne 16 et les données peuvent commencer entre la ligne 17 et la ligne 24 selon les évènements en cours d'essai...
Il y a en tout 20 colonnes.
Quand j'ouvre le fichier avec le Bloc-Note au lieu d'Excel, la ligne 16 comporte bien les en-têtes et n'a rien de plus à la fin tandis que les lignes de données (21 et au-delà) se terminent toutes par une tabulation après la dernière donnée.

Citation:

---

Envoyé par DaddyTousucre

Comment je pourrais supprimer ça ou lui dire de ne pas le considérer ?

---

Il faut au préalable nettoyer vos fichiers pour qu'ils ressemblent à un fichier CSV avec les données correspondantes.
=> créer de nouveaux fichiers à partir des existants en supprimant lignes et colonnes superflues.

- W

J'ai essayé de contourner le problème en ajoutant usecols=range(1,21) mais j'obtiens l'erreur :

Code:

---

ValueError: Usecols do not match columns, columns expected but not found: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20]

---

Pourtant il y a bien ce nombre de colonnes...
En testant en mettant header = 21 (ce qui ne peut fonctionner que pour le fichier en exemple, les données pouvant commencer entre 17 et 24 dans le cas général), il me lit bien les données, j'en déduit que le problème viendrai des lignes vides entre les noms de colonnes et les données ? Comment je pourrais résoudre ce souci ?

Citation:

---

Envoyé par DaddyTousucre

Comment je pourrais résoudre ce souci ?

---

Vu que vos fichiers sont un peu n'importe quoi, pandas ne s'en sortira pas tout seul.... mais vous pouvez le faire en lisant les fichiers ligne par ligne pour filtrer ce qui vous intéresse et fabriquer des fichiers plus propre (à la consommation par pandas).

- W

Hello,

Citation:

---

Envoyé par DaddyTousucre

En testant en mettant header = 21 (ce qui ne peut fonctionner que pour le fichier en exemple, les données pouvant commencer entre 17 et 24 dans le cas général), il me lit bien les données, j'en déduit que le problème viendrai des lignes vides entre les noms de colonnes et les données ? Comment je pourrais résoudre ce souci ?

---

Peux-tu nous mettre en pièce jointe un fichier texte qui contient les 25 premières lignes d'un de tes fichiers sources. On pourra t'indiquer comment filtrer les lignes non utiles.
Ami calmant, J.P

Bonjour,
Oui voici :
Pièce jointe 631267

Merci beaucoup par avance pour votre aide

A essayer :

Code:

---

1 2 3 4

import pandas as pd lignes = [ line.strip().split('\t') for line in open('d:/temp/data.tsv') if line[1].isdigit() or line.strip().startswith('Time')] df = pd.DataFrame(lignes) print(df.to_string())

---

on crée une liste des lignes utiles en ne prenant que les lignes dont le deuxième caractère est un chiffre ou qui commence par Time (caractère de tabulation de début filtré par strip).Pour chaque ligne on enlève le caractère de tabulation de départ des lignes par strip. Chaque ligne est transformée en liste par éclatement (split) avec le séparateur tab.
Les conditions sont à ajuster si il y a d'autres cas.

Merci beaucoup, j'ai essayé ton code jurassic mais ça me renvoie l'erreur

Code:

---

IndexError: string index out of range

---

avec le fichier txt que tu as fourni ? C'est bizarre moi je n'ai pas d'erreur (python 3.8 windows 11)

Effectivement avec le .txt envoyé il n'y a pas d'erreur, l'erreur intervient avec le fichier .tsv d'origine...

si il y a des lignes vides dans le fichier source, utiliser ce code :

Code:

---

lignes = [ line.strip().split('\t') for line in open('d:/temp/data.tsv') if line.strip()[:1].isdigit() or line.strip().startswith('Time')]

---

Ca marche c'est parfait ! Je vais pouvoir avancer sur le traitement de ces fichiers :-)
Merci infiniment jurassic !
Très bon week-end

Citation:

---

Envoyé par DaddyTousucre

Je vais pouvoir avancer sur le traitement de ces fichiers :-)

---

Et lire des fichiers est en général la partie la plus facile.

- W