Contrôle d'existence via une table dans un shell

Bonjour,
Comment contrôler l'existence d'un enregistrement par l'intermédiaire d'une table, le plus "proprement" possible ?
C'est une question générale sur la bonne façon de procéder.

Prenons un cas pour exemple :
Nous avons :
1/ un fichier (maître) dont chaque ligne est identifiée par un champ identifiant placé en première position (champ numéro 1)
2/ une table contenant tous les identifiants autorisés; cette table est en pratique un fichier dont la première colonne est la liste des identifiants valides

Que voulons nous faire ?
=> Contrôler la validité de chaque ligne du fichier maître à l'aide de la table; et ne garder que les lignes du fichier maître dont l'identifiant est présent dans la table.

Je pensais à la commande shell join pour faire cela.
Voici un petit jeu de test :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

#!/bin/bash # echo "cat fichier.csv" cat fichier.csv echo   echo "cat table.csv" cat table.csv echo   echo "-----------------------------------------------------------------" echo 'join -11 -21 -t";" -a1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv' join -11 -21 -t";" -a1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv echo   echo "cat zf3.csv" cat zf3.csv echo   echo "-----------------------------------------------------------------" echo 'join -11 -21 -t";" -a2 -o 1.1 1.2 fichier.csv table.csv > zf3.csv' join -11 -21 -t";" -a2 -o 1.1 1.2 fichier.csv table.csv > zf3.csv echo   echo "cat zf3.csv" cat zf3.csv

---

Ce qui donne à l'exécution :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38

$ ./ztst_p1.sh cat fichier.csv a1;present_fichier_ok a3;present_fichier_ok a4;present_fichier_KOKO a5;present_fichier_ok a7;present_fichier_ok   cat table.csv a1;present_table_ok a2;passé___table_KOKO a3;present_table_ok a5;present_table_ok a6;futur___table_KOKO a7;present_table_ok a8;futur___table_KOKO   ----------------------------------------------------------------- join -11 -21 -t";" -a1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv   cat zf3.csv a1;present_fichier_ok a3;present_fichier_ok a4;present_fichier_KOKO a5;present_fichier_ok a7;present_fichier_ok   ----------------------------------------------------------------- join -11 -21 -t";" -a2 -o 1.1 1.2 fichier.csv table.csv > zf3.csv   cat zf3.csv a1;present_fichier_ok ; a3;present_fichier_ok a5;present_fichier_ok ; a7;present_fichier_ok ;

---

La commande shell join avec l'option -a2 marcherait bien s'il n'y avait pas 4 lignes vides (;)

Comment feriez-vous ?

Bonjour,

Citation:

---

une table contenant tous les identifiants autorisés

---

alors pourquoi la table contient-elle d'autres "identifiants" ?

Entre autre,
la table peut contenir des identifiants anciens obsolètes à l'instant présent, mais qu'il faut garder pour "rejouer" des situations passées.

Code:

---

1 2 3 4 5

$ join -j1 -o 1.1 1.2 -t ';' /tmp/fichier.csv /tmp/table.csv a1;present_fichier_ok a3;present_fichier_ok a5;present_fichier_ok a7;present_fichier_ok

---

j'ai râté un truc ?

Juste une question: As-tu la garanti que tes fichiers sont préalablement triés (c'est un pré-requis pour join) ?

Si ce n'est pas le cas, tu y gagnerais à utiliser awk comme quelque chose du genre (pas testé) :

Code:

---

awk -F\; 'FNR == NR {A[$1]=1;next};A[$1]' fichier_table.csv fichier_maitre.csv

---

Citation:

---

Envoyé par disedorgue

Juste une question: As-tu la garanti que tes fichiers sont préalablement triés (c'est un pré-requis pour join) ?

---

Oui ils le sont.

Citation:

---

Envoyé par N_BaH

j'ai râté un truc ?

---

Non c'est tout bon !
Je n'avais jamais utilisé cette option !

Voici ce que j’obtiens avec l'option -j :

Code:

---

1 2 3 4 5 6 7

join -11 -21 -t";" -j1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv   cat zf3.csv a1;present_fichier_ok a3;present_fichier_ok a5;present_fichier_ok a7;present_fichier_ok

---

Si on résume, pour répondre à la question : Comment contrôler l'existence d'un enregistrement via une table (fichier faisant office de table), on peut :
1/ utiliser la commande shell join avec l'option -j Toutefois attention à bien trier préalablement les fichiers à l'entrée de la commande shell join.
2/ utiliser gwk ou awk (solution restant à tester sur le petit exemple)

Un grand Merci à N_BaH et à disedorgue

Bonjour :coucou:

Citation:

---

Je pensais à la commande shell join pour faire cela.

---

Pourquoi penses-tu à une commande de jointure lorsque tu veux faire un filtre ? 8O

On peut penser à grep, dont c'est la raison d'être.

Code:

---

sed 's@;.*@;@;s@^@^@' table.csv | grep -f - fichier.csv

---

Bonjour Flodelarab,

Effectivement, j'ai lancé la commande

Code:

---

sed 's@;.*@;@;s@^@^@' table.csv | grep -f - fichier.csv

---

en ligne de commande et le résultat attendu est le bon.

Par contre je n'arrive pas à déchiffrer cette commande !

Citation:

---

Envoyé par Flodelarab

Pourquoi penses-tu à une commande de jointure lorsque tu veux faire un filtre ?

---

parce que, de fait, le résultat est une jointure, càd l'intersection des deux fichiers.

Citation:

---

Envoyé par Liamm

Par contre je n'arrive pas à déchiffrer cette commande !

---

grep motif fichier filtre les lignes contenant motif dans fichier.
grep -f fichier1 fichier2 filtre les lignes contenant les motifs de fichier1 dans fichier2.
blablabla | grep -f - fichier2 filtre les lignes contenant les motifs venu de l'entrée standard dans fichier2. À ne pas confondre avec :
blablabla | grep -f fichier1 - filtre les lignes contenant les motifs de fichier1 dans l'entrée standard.

Dans les 2 derniers cas, l'entrée standard est la sortie standard de la commande précédente dans la conduite.

Il y a des champs surnuméraires dans la table, on utilise donc sed pour modifier le fichier texte. On supprime tout ce qui est au-delà du premier point-virgule, et on remplace le début de ligne par un accent circonflexe. Ainsi, le fichier de table est transformé en fichier de motifs pour filtrer le fichier "maître". Tous les motifs sont des expressions rationnelles.

Vu, merci Flodelarab