Parser fichier texte

Bonjour,

J'ai un fichier avec des lignes sous cette forme

Code:

---

field1 field2 field3 " field 4 "

---

Je voudrais par ligne, récupérer chaque champ dans un tableau, sachant que :
- une ligne peut être vide ou contenir des espaces ou/et des tabulations
- chaque champ est séparé par un ou plusieurs caractères espace ou/et tabulation
- si un champ est entre guillemet, les caractère espace ou tabulation ne doivent pas être supprimés
- si un champ est entre guillemet, les guillemets doivent être supprimés. ex : "salut toi" => salut toi.
- si un guillemet est ouvert mais n'est pas refermé, la ligne ne doit pas être prise en compte (et un message d'erreur doit être généré)
- si le caractère guillemet est précédé du caractère '\', il doit être géré comme un caractère normal et le '\' doit être supprimé. ex : "salut \"toi " => salut "toi.

Comment faut-il faire pour gérer cela ?... la principale problématique étant de gérer les guillemets et les multiple caractères de séparation de champ (espace et tabulation)

Mon code actuel :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

with open('file.ini', "r") as textfile: for line in textfile: line = line.strip() # suppression retour de ligne if not line: continue # ligne vide   print(line)   fields = line.split(' ') if not fields: continue # pas de champ   for field in fields: print("\"" + field + "\"")

---

Ci-joint, un fichier de test qui doit renvoyer le tableau suivant :

Code:

---

1 2 3 4 5 6

fileContents = [ ["fieldA1", "fieldA2", " field A3 ", "field", "A4"], ["fieldB1", " field \" B2", " field A3 ", "field\"B3"], ["fieldC1", "fieldC2"] ];

---

Salut,

Est-ce que tu as vérifié si le module csv pouvait faire cela (j'en doute mais on ne sait jamais) ?

S'il ne peut pas alors effectivement il reste la solution de faire cela soi-même...

Et fields = line.split(' ') ne me semble pas une bonne idée car comme tu l'as dis il peut y avoir un ou plusieurs espaces et/ou tabulations... Et il peut y en avoir même à l'intérieur des guillemets or cette instruction ne fera pas la différence...

Bonjour

Citation:

---

Envoyé par Beginner.

Est-ce que tu as vérifié si le module csv pouvait faire cela (j'en doute mais on ne sait jamais) ?

---

Il sait gérer pas mal de choses. Déjà les guillemets il gère. De même s'il y a plusieurs lignes avec des '\n' dans un champ entre guillemets il sait gérer. Le backslash qui protège il gère aussi.
Le seul truc dont je ne sait rien, c'est s'il sait gérer des champs séparés par différents caractères (parfois espace, parfois tabulation, parfois plusieurs). Mais bon, quand on en arrive à avoir ce format d'entrée peut-être est-il judicieux d'envisager de le retourner dans la tronche de l'émetteur en lui disant d'arrêter de déconner...

Merci, je vais zieuté du coté du module CSV

Citation:

---

Envoyé par Sve@r

Mais bon, quand on en arrive à avoir ce format d'entrée peut-être est-il judicieux d'envisager de le retourner dans la tronche de l'émetteur en lui disant d'arrêter de déconner...

---

... lorsque l'on crée un fichier texte, il arrive souvent que l'on veuille aligner certains éléments entre différentes lignes pour que ça soit plus lisible... et selon l'editeur de texte utilisé, lorsque l'on appuie sur la touche tab, on a des fois des tab et des fois des espaces... donc si le fichier est édité par plusieurs personnes qui utilisent des éditeurs de texte différents, on peut facilement avoir des espace et des tabulations mélangés

Citation:

---

Envoyé par boboss123

... lorsque l'on crée un fichier texte, il arrive souvent que l'on veuille aligner certains éléments entre différentes lignes pour que ça soit plus lisible...

---

Ah ben il faut faire parfois des choix. Avoir un fichier plus lisible... ou avoir un fichier plus adapté à un traitement automatisé. Perso je sais ce que j'ai choisi...

Merci Sve@r pour les infos...

Citation:

---

Envoyé par Sve@r

Le seul truc dont je ne sait rien, c'est s'il sait gérer des champs séparés par différents caractères (parfois espace, parfois tabulation, parfois plusieurs).

---

Effectivement... C'est peut-être possible si il nous permet de définir le séparateur via une regex...

J'ai essayé avec libreOffice et on peut choisir plusieurs séparateurs différents mais du coup on se retrouve avec des champs vides et il ne s'en sort pas bien avec le backslash...

De toute façon je doute que certaines conditions comme celle ci-dessous soient prises en compte :

Citation:

---

si un guillemet est ouvert mais n'est pas refermé, la ligne ne doit pas être prise en compte (et un message d'erreur doit être généré)

---

Citation:

---

Envoyé par boboss123

Ci-joint, un fichier de test qui doit renvoyer le tableau suivant :

Code:

---

1 2 3 4 5 6

fileContents = [ ["fieldA1", "fieldA2", " field A3 ", "field", "A4"], ["fieldB1", " field \" B2", " field A3 ", "field\"B3"], ["fieldC1", "fieldC2"] ];

---

---

Il y a quelques soucis ou j'ai mal compris, voici le contenu du fichier :

Code:

---

1 2 3 4 5 6

fieldA1 fieldA2 " field A3 " field A4     fieldB1 " field \" B2" field\"B3 fieldC1 fieldC2

---

Je ne vois pas d'où vient cet élément " field A3 ", il n'est pas présent à la ligne 5 du fichier...

Sinon ici on voit le backslash mais il n'est pas censé être présent d’après tes conditions, n'est-ce pas ?

salut,

avec des regex, c'est pas forcément ce qu'il y a de plus propre à ce stade mais ça se fait bien :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

import re   f1, f2 = [], [ ["fieldA1", "fieldA2", " field A3 ", "field", "A4"], ["fieldB1", r" field \" B2", r"field\"B3"], ["fieldC1", "fieldC2"] ]   with open('test.txt', 'r') as f: for n,l in enumerate(f): line = l.rstrip() if not re.match(r'^\s*$', line): if len(re.findall(r'(?<=[^\\])"', line))%2: print(f'Erreur ligne {n}: {line}') continue f1.append([i if i else j for i,j in re.findall(r'"((?:\\"|.)+?)"|([^\s]+)', line)])   print(f1 == f2)

---

c'est vrai que la contrainte de poubelliser la ligne si les guillemets ne sont pas appairés ça complique un peu les choses, mais finalement on peut s'en sortir en vérifiant simplement que le nombre de guillemets est multiple de deux

et le résultat :

Code:

---

1 2 3

Erreur ligne 6: tagada "tsoin tsoin Erreur ligne 7: pouet "coin" taga \" " prout True

---

note que j'ai modifié le fichier de tests, un champs de la liste fournie contenait indûment " field A3 " (comme l'a fait remarquer Beginner.), et il manquait un testcase pour une ligne avec des guillemets non-appairés, j'en ai rajouté deux en fin de fichier qui notifient donc une erreur

Citation:

---

Envoyé par BufferBob

on peut s'en sortir en vérifiant simplement que le nombre de guillemets est multiple de deux

---

"Hello \" World" :mrgreen:

Citation:

---

Envoyé par Sve@r

"Hello \" World" :mrgreen:

---

normalement c'est valide ça, le programme doit s'en sortir, il y a bien 1 paire de guillemets et un guillemet tout seul au milieu échappé donc ignoré (c'est matché via la regex)

Autre solution mais plus lourde : pyParsing
Il permet de gérer de façon transparente les espaces et les tabulations dans son analyse de grammaire.

Hello, ceci devrai faire l'affaire .... pour chaque ligne

Code:

---

1 2 3 4 5 6 7 8 9

sp = ' ch1 " ch2 \" ch3 'nb = sp.count('"') if nb % 2 != 1 : tmp = re.sub(r'"', ' ', sp) tmp1 = re.sub(r'\t+', ' ', tmp) tmp2 = re.sub(r'^\s+|\s+$', '', tmp1) res = re.sub(r'\s+',' ', tmp2).split(' ') print (res) else : print('error')

---