Filtrage de doublons entre deux fichiers

Bonjour!

J'aimerais savoir s'il existe un moyen de rechercher les valeurs qui apparaissent en double entre deux fichiers :

Par exemple, dans le fichier 1 j'ai ces valeurs :

Code:

---

1 2 3 4 5 6

18.170 2.6877E+12 18.320 2.6078E+12 18.470 2.5558E+12 18.770 2.5375E+12 18.920 2.5782E+12

---

et dans le fichier 2 :

Code:

---

1 2 3 4 5 6 7

18.170 2.6877E+12 18.320 2.6078E+12 18.470 2.5558E+12 18.620 2.5283E+12 18.770 2.5375E+12 18.920 2.5782E+12

---

On peut voir dans le fichier 2 que plusieurs valeurs du fichier 1 sont aussi présentes dedans. Je cherche à faire apparaître les valeurs qui apparaissent uniquement dans le fichier 2.
J'ai regardé la commande 'uniq' mais je pense qu'elle est plutôt adapté à trier les doublons d'un seul fichier.

Vous auriez une petite idée de script qui pourrait m'aider ?

Merci!

Bonjour,

Commencez par séparer les difficultés :
1) Ouvrir/lire un fichier
2) Comparer des listes

Votre problème est principalement celui de comparer deux listes (ou d'en trouver l'intersection) et cela devrait être assez rapide ; je vous laisse proposer un code qui prend deux listes en arguments et qui retourne une troisième liste contenant tous les éléments communs aux deux entrées ;)

Alors pour sélectionner les listes de mes deux fichiers, j'ai utilisé ce code :

Code:

---

1 2 3 4 5 6 7 8

fic1= LidarAMA/lidarAMA_$Fic.txt   fic2=LidarnotAMA/lidarnotAMA_$Fic.txt   diff - y $fic1 $fic2

---

où $Fic correspond à une variable que je défini au début de mon code (le script est assez long et il fait plusieurs opérations sur les fichiers. Ici je n'ai montré que l'étape où je cherche à comparer les deux listes.)

La commande diff -y m'affiche bien les lignes différentes ( avec le caractère > ), mais elle m'affiche également les lignes identiques :

Code:

---

1 2 3 4 5 6 7 8 9

> 12.170 1.7528E+12 12.320 1.3971E+12 12.320 1.3971E+12 > 12.470 1.0143E+12 > 12.620 8.0024E+11 > 12.770 7.7966E+11 12.920 7.8995E+11 12.920 7.8995E+11 13.070 6.9965E+11 13.070 6.9965E+11

---

Ce que j'aimerais c'est de récupérer uniquement les lignes différentes qui apparaissent dans le fichier 2.

on n'est pas en python, là, si ?

Ah oui mince, j'ai un programme python pour traiter mes données, mais je voulais gérer ce petit problème juste avec un script en bash.

Du coup trompé de forum oui, je vais recréer une discussion dans le bon forum.

Bonjour

Citation:

---

Envoyé par GlmGil

On peut voir dans le fichier 2 que plusieurs valeurs du fichier 1 sont aussi présentes dedans. Je cherche à faire apparaître les valeurs qui apparaissent uniquement dans le fichier 2.

Vous auriez une petite idée de script qui pourrait m'aider ?

...mais je voulais gérer ce petit problème juste avec un script en bash.

---

Code:

---

1 2 3

cat fichier2 |while read ligne; do fgrep "^$ligne$" fichier1 1>/dev/null || echo "$ligne" done

---

Ensuite si fichier1 et fichier2 sont triés, on peut alors produire un algo plus rapide basé sur une lecture des deux fichiers en même temps.

Citation:

---

Envoyé par GlmGil

J'ai regardé la commande 'uniq' mais je pense qu'elle est plutôt adapté à trier les doublons d'un seul fichier.

---

Exact.

Citation:

---

Envoyé par GlmGil

Du coup trompé de forum oui, je vais recréer une discussion dans le bon forum.

---

Tu aurais pu demander à un modo de la déplacer