Discussion :

[Liamm]

Bonjour,
Comment contrôler l'existence d'un enregistrement par l'intermédiaire d'une table, le plus "proprement" possible ?
C'est une question générale sur la bonne façon de procéder.

Prenons un cas pour exemple :
Nous avons :
1/ un fichier (maître) dont chaque ligne est identifiée par un champ identifiant placé en première position (champ numéro 1)
2/ une table contenant tous les identifiants autorisés; cette table est en pratique un fichier dont la première colonne est la liste des identifiants valides

Que voulons nous faire ?
=> Contrôler la validité de chaque ligne du fichier maître à l'aide de la table; et ne garder que les lignes du fichier maître dont l'identifiant est présent dans la table.

Je pensais à la commande shell join pour faire cela.
Voici un petit jeu de test :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/bin/bash                   
#
echo "cat fichier.csv"
cat fichier.csv
echo
 
echo "cat table.csv"
cat table.csv
echo
 
echo "-----------------------------------------------------------------"
echo 'join -11 -21 -t";" -a1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv'
      join -11 -21 -t";" -a1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv
echo
 
echo "cat zf3.csv"
cat zf3.csv
echo
 
echo "-----------------------------------------------------------------"
echo 'join -11 -21 -t";" -a2 -o 1.1 1.2 fichier.csv table.csv > zf3.csv'
      join -11 -21 -t";" -a2 -o 1.1 1.2 fichier.csv table.csv > zf3.csv
echo
 
echo "cat zf3.csv"
cat zf3.csv

Ce qui donne à l'exécution :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
$ ./ztst_p1.sh 
cat fichier.csv
a1;present_fichier_ok
a3;present_fichier_ok
a4;present_fichier_KOKO
a5;present_fichier_ok
a7;present_fichier_ok
 
cat table.csv
a1;present_table_ok
a2;passé___table_KOKO
a3;present_table_ok
a5;present_table_ok
a6;futur___table_KOKO
a7;present_table_ok
a8;futur___table_KOKO
 
-----------------------------------------------------------------
join -11 -21 -t";" -a1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv
 
cat zf3.csv
a1;present_fichier_ok
a3;present_fichier_ok
a4;present_fichier_KOKO
a5;present_fichier_ok
a7;present_fichier_ok
 
-----------------------------------------------------------------
join -11 -21 -t";" -a2 -o 1.1 1.2 fichier.csv table.csv > zf3.csv
 
cat zf3.csv
a1;present_fichier_ok
;
a3;present_fichier_ok
a5;present_fichier_ok
;
a7;present_fichier_ok
;

La commande shell join avec l'option -a2 marcherait bien s'il n'y avait pas 4 lignes vides (

Comment feriez-vous ?

[N_BaH]

Bonjour,

une table contenant tous les identifiants autorisés

alors pourquoi la table contient-elle d'autres "identifiants" ?

[Liamm]

Entre autre,
la table peut contenir des identifiants anciens obsolètes à l'instant présent, mais qu'il faut garder pour "rejouer" des situations passées.

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ join -j1 -o 1.1 1.2 -t ';' /tmp/fichier.csv /tmp/table.csv
a1;present_fichier_ok
a3;present_fichier_ok
a5;present_fichier_ok
a7;present_fichier_ok

j'ai râté un truc ?

[disedorgue]

Juste une question: As-tu la garanti que tes fichiers sont préalablement triés (c'est un pré-requis pour join) ?

Si ce n'est pas le cas, tu y gagnerais à utiliser awk comme quelque chose du genre (pas testé) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -F\; 'FNR == NR {A[$1]=1;next};A[$1]' fichier_table.csv fichier_maitre.csv

[Liamm]

Juste une question: As-tu la garanti que tes fichiers sont préalablement triés (c'est un pré-requis pour join) ?

Oui ils le sont.

[Liamm]

j'ai râté un truc ?

Non c'est tout bon !
Je n'avais jamais utilisé cette option !

Voici ce que j’obtiens avec l'option -j :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
join -11 -21 -t";" -j1 -o 1.1 1.2 fichier.csv table.csv > zf3.csv
 
cat zf3.csv
a1;present_fichier_ok
a3;present_fichier_ok
a5;present_fichier_ok
a7;present_fichier_ok

Si on résume, pour répondre à la question : Comment contrôler l'existence d'un enregistrement via une table (fichier faisant office de table), on peut :
1/ utiliser la commande shell join avec l'option -j Toutefois attention à bien trier préalablement les fichiers à l'entrée de la commande shell join.
2/ utiliser gwk ou awk (solution restant à tester sur le petit exemple)

Un grand Merci à N_BaH et à disedorgue

[Flodelarab]

Bonjour

Je pensais à la commande shell join pour faire cela.

Pourquoi penses-tu à une commande de jointure lorsque tu veux faire un filtre ?

On peut penser à grep, dont c'est la raison d'être.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's@;.*@;@;s@^@^@' table.csv | grep -f - fichier.csv

[Liamm]

Bonjour Flodelarab,

Effectivement, j'ai lancé la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's@;.*@;@;s@^@^@' table.csv | grep -f - fichier.csv

en ligne de commande et le résultat attendu est le bon.

Par contre je n'arrive pas à déchiffrer cette commande !

[N_BaH]

Pourquoi penses-tu à une commande de jointure lorsque tu veux faire un filtre ?

parce que, de fait, le résultat est une jointure, càd l'intersection des deux fichiers.

[Flodelarab]

Par contre je n'arrive pas à déchiffrer cette commande !

grep motif fichier filtre les lignes contenant motif dans fichier.
grep -f fichier1 fichier2 filtre les lignes contenant les motifs de fichier1 dans fichier2.
blablabla | grep -f - fichier2 filtre les lignes contenant les motifs venu de l'entrée standard dans fichier2. À ne pas confondre avec :
blablabla | grep -f fichier1 - filtre les lignes contenant les motifs de fichier1 dans l'entrée standard.

Dans les 2 derniers cas, l'entrée standard est la sortie standard de la commande précédente dans la conduite.

Il y a des champs surnuméraires dans la table, on utilise donc sed pour modifier le fichier texte. On supprime tout ce qui est au-delà du premier point-virgule, et on remplace le début de ligne par un accent circonflexe. Ainsi, le fichier de table est transformé en fichier de motifs pour filtrer le fichier "maître". Tous les motifs sont des expressions rationnelles.

[Liamm]

Vu, merci Flodelarab