Discussion :

[boboss123]

Bonjour,

J'ai un fichier avec des lignes sous cette forme

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

field1 field2 field3 " field 4 "

Je voudrais par ligne, récupérer chaque champ dans un tableau, sachant que :
- une ligne peut être vide ou contenir des espaces ou/et des tabulations
- chaque champ est séparé par un ou plusieurs caractères espace ou/et tabulation
- si un champ est entre guillemet, les caractère espace ou tabulation ne doivent pas être supprimés
- si un champ est entre guillemet, les guillemets doivent être supprimés. ex : "salut toi" => salut toi.
- si un guillemet est ouvert mais n'est pas refermé, la ligne ne doit pas être prise en compte (et un message d'erreur doit être généré)
- si le caractère guillemet est précédé du caractère '\', il doit être géré comme un caractère normal et le '\' doit être supprimé. ex : "salut \"toi " => salut "toi.

Comment faut-il faire pour gérer cela ?... la principale problématique étant de gérer les guillemets et les multiple caractères de séparation de champ (espace et tabulation)

Mon code actuel :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
with open('file.ini', "r") as textfile:
  for line in textfile:
    line = line.strip() # suppression retour de ligne
    if not line:
      continue # ligne vide
 
    print(line)
 
    fields = line.split(' ')
    if not fields:
      continue # pas de champ
 
    for field in fields:
      print("\"" + field + "\"")

[boboss123]

Ci-joint, un fichier de test qui doit renvoyer le tableau suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
fileContents = [
  ["fieldA1", "fieldA2", "  field  A3 ", "field", "A4"],
  ["fieldB1", " field \" B2", "  field  A3 ", "field\"B3"],
  ["fieldC1", "fieldC2"]
];

[Beginner.]

Salut,

Est-ce que tu as vérifié si le module csv pouvait faire cela (j'en doute mais on ne sait jamais) ?

S'il ne peut pas alors effectivement il reste la solution de faire cela soi-même...

Et fields = line.split(' ') ne me semble pas une bonne idée car comme tu l'as dis il peut y avoir un ou plusieurs espaces et/ou tabulations... Et il peut y en avoir même à l'intérieur des guillemets or cette instruction ne fera pas la différence...

[Sve@r]

Bonjour

Est-ce que tu as vérifié si le module csv pouvait faire cela (j'en doute mais on ne sait jamais) ?

Il sait gérer pas mal de choses. Déjà les guillemets il gère. De même s'il y a plusieurs lignes avec des '\n' dans un champ entre guillemets il sait gérer. Le backslash qui protège il gère aussi.
Le seul truc dont je ne sait rien, c'est s'il sait gérer des champs séparés par différents caractères (parfois espace, parfois tabulation, parfois plusieurs). Mais bon, quand on en arrive à avoir ce format d'entrée peut-être est-il judicieux d'envisager de le retourner dans la tronche de l'émetteur en lui disant d'arrêter de déconner...

[boboss123]

Merci, je vais zieuté du coté du module CSV

Mais bon, quand on en arrive à avoir ce format d'entrée peut-être est-il judicieux d'envisager de le retourner dans la tronche de l'émetteur en lui disant d'arrêter de déconner...

... lorsque l'on crée un fichier texte, il arrive souvent que l'on veuille aligner certains éléments entre différentes lignes pour que ça soit plus lisible... et selon l'editeur de texte utilisé, lorsque l'on appuie sur la touche tab, on a des fois des tab et des fois des espaces... donc si le fichier est édité par plusieurs personnes qui utilisent des éditeurs de texte différents, on peut facilement avoir des espace et des tabulations mélangés

[Sve@r]

... lorsque l'on crée un fichier texte, il arrive souvent que l'on veuille aligner certains éléments entre différentes lignes pour que ça soit plus lisible...

Ah ben il faut faire parfois des choix. Avoir un fichier plus lisible... ou avoir un fichier plus adapté à un traitement automatisé. Perso je sais ce que j'ai choisi...

[Beginner.]

Merci Sve@r pour les infos...

Le seul truc dont je ne sait rien, c'est s'il sait gérer des champs séparés par différents caractères (parfois espace, parfois tabulation, parfois plusieurs).

Effectivement... C'est peut-être possible si il nous permet de définir le séparateur via une regex...

J'ai essayé avec libreOffice et on peut choisir plusieurs séparateurs différents mais du coup on se retrouve avec des champs vides et il ne s'en sort pas bien avec le backslash...

De toute façon je doute que certaines conditions comme celle ci-dessous soient prises en compte :

si un guillemet est ouvert mais n'est pas refermé, la ligne ne doit pas être prise en compte (et un message d'erreur doit être généré)

Ci-joint, un fichier de test qui doit renvoyer le tableau suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
fileContents = [
  ["fieldA1", "fieldA2", "  field  A3 ", "field", "A4"],
  ["fieldB1", " field \" B2", "  field  A3 ", "field\"B3"],
  ["fieldC1", "fieldC2"]
];

Il y a quelques soucis ou j'ai mal compris, voici le contenu du fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
          fieldA1            fieldA2 "  field  A3 "    field A4
 
 
fieldB1  " field \" B2" field\"B3       
 fieldC1 fieldC2

Je ne vois pas d'où vient cet élément " field A3 ", il n'est pas présent à la ligne 5 du fichier...

Sinon ici on voit le backslash mais il n'est pas censé être présent d’après tes conditions, n'est-ce pas ?

[BufferBob]

salut,

avec des regex, c'est pas forcément ce qu'il y a de plus propre à ce stade mais ça se fait bien :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
import re
 
f1, f2 = [], [
  ["fieldA1", "fieldA2", "  field  A3 ", "field", "A4"],
  ["fieldB1", r" field \" B2", r"field\"B3"],
  ["fieldC1", "fieldC2"]
]
 
with open('test.txt', 'r') as f:
    for n,l in enumerate(f):
        line = l.rstrip()
        if not re.match(r'^\s*$', line):
            if len(re.findall(r'(?<=[^\\])"', line))%2:
                print(f'Erreur ligne {n}: {line}')
                continue
            f1.append([i if i else j for i,j in re.findall(r'"((?:\\"|.)+?)"|([^\s]+)', line)])
 
print(f1 == f2)

c'est vrai que la contrainte de poubelliser la ligne si les guillemets ne sont pas appairés ça complique un peu les choses, mais finalement on peut s'en sortir en vérifiant simplement que le nombre de guillemets est multiple de deux

et le résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
Erreur ligne 6: tagada "tsoin tsoin
Erreur ligne 7: pouet "coin" taga \"  " prout
True

note que j'ai modifié le fichier de tests, un champs de la liste fournie contenait indûment " field A3 " (comme l'a fait remarquer Beginner.), et il manquait un testcase pour une ligne avec des guillemets non-appairés, j'en ai rajouté deux en fin de fichier qui notifient donc une erreur

[Sve@r]

on peut s'en sortir en vérifiant simplement que le nombre de guillemets est multiple de deux

"Hello \" World"

[BufferBob]

"Hello \" World"

normalement c'est valide ça, le programme doit s'en sortir, il y a bien 1 paire de guillemets et un guillemet tout seul au milieu échappé donc ignoré (c'est matché via la regex)

[transgohan]

Autre solution mais plus lourde : pyParsing
Il permet de gérer de façon transparente les espaces et les tabulations dans son analyse de grammaire.

[olivier1969]

Hello, ceci devrai faire l'affaire .... pour chaque ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
sp = '  ch1    "  ch2 \"  ch3  'nb = sp.count('"')
if nb % 2 != 1 :
    tmp = re.sub(r'"', ' ', sp)
    tmp1 = re.sub(r'\t+', ' ', tmp)
    tmp2 = re.sub(r'^\s+|\s+$', '', tmp1)
    res = re.sub(r'\s+',' ', tmp2).split(' ')
    print (res)
else :
    print('error')