Discussion :

[morphdown]

Bojour,

J'ai 2 fichiers qui on chacun un champ ID, un numéro d'identification

Je voudrais avec awk parcourir le fichier A et comparer le fichier B

si ID de A == ID de B
ecrire dans un fichier C le ID
supprimer la ligne dans B

Donc en résumé, j'ai un fichier A qui contient une base de données,
et je reçois un fichier B qui contient des nouveaux enregistrements,
mais si l'ID est déjà présent dans A, je veux supprimer du fichier update
et dans un fichier externe garder une trace de l'anomalie.

Avec awk j'arrive a parcourir un fichier, mais pas 2 au même temps.
Est-ce possible?
Sinon avec quelle commande serais-ce faisable?

Merci d'avance.

[Sve@r]

Bojour,

J'ai 2 fichiers qui on chacun un champ ID, un numéro d'identification

Je voudrais avec awk parcourir le fichier A et comparer le fichier B

si ID de A == ID de B
ecrire dans un fichier C le ID
supprimer la ligne dans B

Donc en résumé, j'ai un fichier A qui contient une base de données,
et je reçois un fichier B qui contient des nouveaux enregistrements,
mais si l'ID est déjà présent dans A, je veux supprimer du fichier update
et dans un fichier externe garder une trace de l'anomalie.

Avec awk j'arrive a parcourir un fichier, mais pas 2 au même temps.
Est-ce possible?
Sinon avec quelle commande serais-ce faisable?

Merci d'avance.

awk a pour but de traiter un seul fichier. On peut en faire intervenir un 2° mais j'ai jamais tenté de le faire vu qu'il y a d'autres outils plus appropriés pour ça.

Voici un algo de lecture de 2 fichiers en parallèle en shell

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#!/bin/sh
 
# Stockage des fichiers dans des buffers
exec 3<fichier1
exec 4<fichier2
 
# Boucle de lecture
while true
do
    # Lecture des 2 fichiers à partir des buffers
    read lig1 0<&3
    read lig2 0<&4
 
    # Si fin des 2 fichiers
    test -z "$lig1" -a -z "$lig2" && break
 
    # Traitement des 2 lignes lues
    echo "$lig1"
    echo "$lig2"
done

Le même en Python

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#!/usr/bin/env python
 
# Ouverture des fichiers
f1=open("fichier1", "r")
f2=open("fichier2", "r")
 
# Boucle de lecture
while True:
    # Lecture des 2 fichiers
    if f1 != False:
       lig1=f1.readline()
       if lig1 == "":
           f1.close()
           f1=False
 
    if f2 != False:
       lig2=f2.readline()
       if lig2 == "":
           f2.close()
           f2=False
 
    # Si fin des 2 fichiers
    if lig1 == "" and lig2 == "": break
 
    # Traitement des 2 lignes lues
    print "%s" % (lig1)
    print "%s" % (lig2)

A partir de ces exemples simplistes, j'espère que tu pourras te programmer le traitement qui t'intéresse plus facilement. Par exemple l'appareillage est un algo connu de comparaison rapide de 2 fichiers en parallèles à condition que les fichiers soient tous deux triés.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
flag1=vrai
flag2=vrai
tant que
    si flag1
       lire fichier1
       flag1=faux
       si fin de fichier
           eof1=vrai
       fin si
 
    si flag2
       lire fichier2
       flag2=faux
       si fin de fichier
           eof2=vrai
       fin si
 
    si eof1 et eof2
       fin de boucle
    fin si
 
    si (not eof1 et clef fichier1 < clef fichier2) ou eof2
       <ici la clef du fichier1 n'est pas dans le fichier 2>
       <traitement à faire>
       flag1=vrai    # Le fichier1 a été traité, il faut passer au suivant
       continue
    fin si
 
    si (not eof2 et clef fichier2 < clef fichier1) ou eof1
       <ici la clef du fichier2 n'est pas dans le fichier 1>
       <traitement à faire>
       flag2=vrai    # Le fichier2 a été traité, il faut passer au suivant
       continue
    fin si
 
    # Ici les clefs sont égales, on se trouve sur 2 enregistrements égaux
    flag1=vrai
    flag2=vrai
    <éventuellement traitement à faire>
fin tant que

[matafan]

En awk tu peux utiliser la fonction getline pour lire les lignes d'un autre fichier.

[morphdown]

Merci de vos réponses,
finalement j'ai opté pour une solution avec join
je mets ensemble les 2 fichiers, et là il est très simple
de traiter ça avec awk qui parcours 1 seul fichier.

Super merci pour l'algo. je le garde de coté,
c'est toujours utile.

Salutations.

[Garkan]

Bien que la discussion soit résolue, j'ai eu besoin récemment de comparer le contenu de deux fichiers en awk.
C'est donc bien possible et assez simple, on peut même y insérer des conditions sur les valeurs.

Je vous renvoie directement sur le sujet plutôt que de re-décrire le processus.
www.developpez.net/forums/d1360479/systemes/linux/shell-commandes-gnu/comparer-contenu-deux-fichiers/#post7379092


Cordialement,