Lire un fichier de données ayant une structure en "paragraphes"

Bonjour! :P

J'ai assez de notions en commande linux pour me débrouiller d'habitude (étant principalement en dev web front end), avec des usages basiques de GREP et AWK, mais là je flanche. Je n'ai jamais traité de fichier de la sorte:

Code:

---

1 2 3 4 5 6

Nom;John;Wilson Adresse;New-York;Usa;AmeriqueNord Nom;Jean;Martin; Adresse;Paris;France;Europe Nom;Katie;Wilson Adresse;Chicago;Usa;AmeriqueNord

---

(Je ne sais même pas comment appeler une telle structure de données)

Et la sortie doit ressembler à ça (la fusion des WILSON n'est pas obligatoire, je ferai un post-traitement côté javascript si trop compliqué en bash):

Code:

---

1 2	Wilson;Usa Martin;France

---

Soit le nom de famille + le pays sur la même ligne.
Surement faisable avec awk ou autre, mais je n'ai aucune idée de comment l'exploiter et je m'en remets donc à vous :roll:

Donc si vous avez une idée ou une piste, merci par avance!

salut,

dans l'absolu ça n'est pas très compliqué, mais y a-t-il des cas particuliers ?

Code:

---

1 2 3 4

Nom Pierre Alexandre DUGENOU Adresse La Baule FRANCE Nom Aurelien DA MOTTA Adresse Seoul SOUTH COREA

---

sinon en admettant que le nom et le pays sont le dernier mot de chaque ligne, via awk quelque chose du style :

Code:

---

awk '/^Nom/ {line = $NF; lock=1; next} lock == 1 {line = line " " $NF; print line; lock=0}' fichier

---

le premier bloc d'instructions s'exécute sur la condition d'un match regex /^Nom/, le second sur la condition lock == 1
note qu'on aurait aussi bien pu se passer du lock ou jouer simplement sur le numéro de la ligne pour faire plus court

Edit: au temps pour moi j'ai zappé la fusion des nom-pays :

Code:

---

awk '/^Nom/ {line=$NF; lock=1; next} lock == 1 {tab[line "_" $NF]=line " " $NF; lock=0} END {for (i in tab) {print tab[i]}}' fichier

---

le principe reste le même, simplement on stocke chaque résultat indexé dans un tableau associatif, qui du coup garantit l'unicité des enregistrements

Bonjour :coucou:

Code:

---

1 2 3 4 5 6

$ sed '1~2N;s/\n/ /;s/[^ ]*[^A-Z ][^ ]* //g' test.txt | sort -u MARTIN FRANCE WILSON USA $ sed '1~2N;s/\n/ /;s/[^ ]*[^A-Z ][^ ]* //g' test2.txt | sort -u DA MOTTA SOUTH COREA DUGENOU FRANCE

---

Personnellement, je trouve que, si on prend le temps de traiter ce fichier, il est bon de le mettre dans un format correct. Donc pas celui-là. Comme par exemple avec un point-virgule entre les champs pour pouvoir retraiter avec awk.

joli :mouarf:

Salut,

Code:

---

1 2 3 4

$ sed 'N;s/.* //gM;s/\n/ /' fichier.txt WILSON USA MARTIN FRANCE WILSON USA

---

;)

Merci pour vos messages! Je vais les décortiquer un peu et je vous tiendrai au courant

Citation:

---

Envoyé par BufferBob

mais y a-t-il des cas particuliers ?

Code:

---

1 2 3 4

Nom Pierre Alexandre DUGENOU Adresse La Baule FRANCE Nom Aurelien DA MOTTA Adresse Seoul SOUTH COREA

---

---

Pas de cas particuliers :) un champ = un texte sans espace

Citation:

---

Envoyé par BufferBob

sinon en admettant que le nom et le pays sont le dernier mot de chaque ligne, via awk quelque chose du style

---

Je vais éditer mon exemple, ce n'est pas forcément le dernier mot ;) Les majuscules n'ont plus ne sont pas à prendre en compte d'ailleurs

Citation:

---

Envoyé par Flodelarab

Personnellement, je trouve que, si on prend le temps de traiter ce fichier, il est bon de le mettre dans un format correct. Donc pas celui-là. Comme par exemple avec un point-virgule entre les champs pour pouvoir retraiter avec awk.

---

On est d'accord! Malheureusement on me fournit ce fichier et je dois le traiter tel quel :(
Par ailleurs, il est possible d'ajouter des points-virgules en effet, si ça peut être plus simple. J'édite mon exemple

En tout cas je pense qu'à un moment donné on doit passer par les noms de champ (Adresse, Nom,...). Car il est possible qu'un champ Telephone se glisse dans certains

Citation:

---

On est d'accord! Malheureusement on me fournit ce fichier et je dois le traiter tel quel :(

---

Je ne parlais pas de l'entrée mais de la sortie. L'entrée est toujours ce qu'elle est, souvent imparfaite. Mais la sortie, tu la choisis!

Citation:

---

En tout cas je pense qu'à un moment donné on doit passer par les noms de champ (Adresse, Nom,...). Car il est possible qu'un champ Telephone se glisse dans certains

---

Et alors? Quelle est la conduite à tenir? On ignore le téléphone ou on l'intègre dans la sortie ?

Citation:

---

Envoyé par Flodelarab

On ignore le téléphone ou on l'intègre dans la sortie ?

---

[Edit] Finalement on oublie le telephone, faisons comme si il n'y avait que les champs Nom et Adresse possibles :)
Je n'ai pas encore eu le temps d'étudier vos suggestions

Le plus propre est probablement de tenir compte de l'entête de ligne et de bazarder le reste.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

$ cat test.txt Nom John WILSON Tel 0123456789 Adresse New-York USA Nom Jean MARTIN Tel 0123456789 Adresse Paris FRANCE Tel 0123456789 Nom Katie WILSON Tel 0123456789 Adresse Chicago USA $ cat test2.txt Nom Pierre Alexandre DUGENOU Tel 0123456789 Adresse La Baule FRANCE Tel 0123456789 Nom Aurelien DA MOTTA Tel 0123456789 Adresse Seoul SOUTH COREA $ sed '/Nom\|Adresse/!d;s/[^ ]*[^A-Z ][^ ]* //g' test.txt|sed 'N;s/\n/;/'| sort -u MARTIN;FRANCE WILSON;USA $ sed '/Nom\|Adresse/!d;s/[^ ]*[^A-Z ][^ ]* //g' test2.txt|sed 'N;s/\n/;/'| sort -u DA MOTTA;SOUTH COREA DUGENOU;FRANCE

---

Super, je l'ai adaptée un peu à mon cas et ça marche niquel :)

Merci !