Supprimer un doublon par rapport à un critère

Bonjour,

J'ai un fichier du type :

Code:

---

1 2 3 4 5 6 7

0|1|champ01|champ02|champ03|champ04 ERR_X|1|champ05|champ06|champ07|champ08 ERR_Y|1|champ05|champ06|champ07|champ08 0|2|champ09|champ10|champ11|champ12 ERR|3|champ13|champ14|champ15|champ16 0|3|champ17|champ18|champ19|champ20 0|4|champ21|champ22|champ23|champ24

---

J'aimerais supprimer les doublons avec le critère de dédoublonnage suivant :
- Prendre les lignes dont les valeurs de la seconde colonne sont identiques.
- Garder uniquement les lignes dont la première colonne commence par ERR et supprimer celles dont la colonne commence par 0. Ce qui nous donne dans le cas présent :

Code:

---

1 2 3 4 5

ERR_X|1|champ05|champ06|champ07|champ08 ERR_Y|1|champ05|champ06|champ07|champ08 0|2|champ09|champ10|champ11|champ12 ERR|3|champ13|champ14|champ15|champ16 0|4|champ21|champ22|champ23|champ24

---

Donc, les lignes ci-dessous ont été supprimées:

Code:

---

1 2	0|1|champ01|champ02|champ03|champ04 0|2|champ09|champ10|champ11|champ12

---

Si j'ai bien compris, ce dont je doute,

Code:

---

0|2|champ09|champ10|champ11|champ12

---

et

Code:

---

0|4|champ21|champ22|champ23|champ24

---

ont la même valeur dans la seconde colonne ?

Le traitement serait plutôt :

1. je garde toutes les lignes commençant par ERR que j'injecte dans monnouveaufichier
2. je récupère les valeurs de la seconde colonne de monnouveaufichier
3. S'il y a des lignes qui ne commencent par par ERR et qui n'ont pas une des valeurs de la 2e colonne des lignes commençant par ERR, alors je les ajoute au à la fin de monnouveaufichier
4. Enfin je trie par ordre croissant en fonction de la 2e colonne.

Les deux lignes ci-dessous n'ont pas la même valeur sur la seconde colonne. La première donne "2" et la seconde donne "4". Donc, vous doutez bien.

Code:

---

0|2|champ09|champ10|champ11|champ12

---

Code:

---

0|4|champ21|champ22|champ23|champ24

---

Le traitement serait plutôt :

1- Je garde toutes les lignes commençant par ERR que j'injecte dans monnouveaufichier
2- Je récupère les valeurs de la seconde colonne de monnouveaufichier
3- S'il y a des lignes qui ne commencent par par ERR et qui n'ont pas une des valeurs de la 2e colonne des lignes commençant par ERR, alors je les ajoute au à la fin de monnouveaufichier
4- Enfin je trie par ordre croissant en fonction de la 2e colonne.

C'est tout à fait ce que je cherche à faire. Bien reformulé :ccool:

Bonjour,

Citation:

---

Je garde toutes les lignes commençant par ERR

---

si le résultat doit être

Code:

---

1 2 3 4 5

ERR_X|1|champ05|champ06|champ07|champ08 ERR_Y|1|champ05|champ06|champ07|champ08 0|2|champ09|champ10|champ11|champ12 ERR|3|champ13|champ14|champ15|champ16 0|4|champ21|champ22|champ23|champ24

---

alors, c'est faux !
...
?

Oups :oops: je pense avoir compris d'où vient l'incompréhension. Je me suis mélangé les pinceaux sur la liste des lignes à supprimer. Je corrige donc mon besoin en découpant mon cas d'usage en plusieurs sous cas.

Pour information, mon fichier a pour séparateur "|".

Cas N°1:la valeur de la seconde colonne est identique pour les trois lignes (chiffre 1).

Code:

---

1 2 3

0|1|champ01|champ02|champ03|champ04 ERR_X|1|champ05|champ06|champ07|champ08 ERR_Y|1|champ05|champ06|champ07|champ08

---

Les lignes commençant par ERR sont prioritaires, donc, je dois obtenir au final ceci :

Code:

---

1 2	ERR_X|1|champ05|champ06|champ07|champ08 ERR_Y|1|champ05|champ06|champ07|champ08

---

Cas N°2:cette ligne est unique. Donc, elle reste dans le fichier.

Code:

---

0|2|champ09|champ10|champ11|champ12

---

Cas N°3:La valeur de la seconde colonne est identique pour les deux lignes (chiffre 3)

Code:

---

1 2	ERR|3|champ13|champ14|champ15|champ16 0|3|champ17|champ18|champ19|champ20

---

. Les lignes commençant par ERR sont prioritaires, donc, je dois obtenir au final ceci :

Code:

---

ERR|3|champ13|champ14|champ15|champ16

---

Cas N°4:identique au cas N°2.

Code:

---

0|4|champ21|champ22|champ23|champ24

---

Voici la liste des lignes à supprimer

Code:

---

1 2	0|1|champ01|champ02|champ03|champ04 0|3|champ17|champ18|champ19|champ20

---

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

awk -F'|' '{ c[$2]++ l[++n]=$0 } END{ for(i=1;i<=n;i++){ split(l[i],d,"|") if(c[d[2]]==1 || (c[d[2]]>1 && d[1]~"^ERR"))print l[i] } }' fichier ERR_X|1|champ05|champ06|champ07|champ08 ERR_Y|1|champ05|champ06|champ07|champ08 0|2|champ09|champ10|champ11|champ12 ERR|3|champ13|champ14|champ15|champ16 0|4|champ21|champ22|champ23|champ24

---

ça marche. Merci infiniment.

Donc, si j'ai bien compris, on ne peut jamais avoir le cas où, pour un champ2 donné (qui vaut 5 dans mes exemples), il n'y a pas de ligne avec ERR mais plusieurs lignes (avec un champ1 identique (0) ou différent(1 et 2))?

Je voudrais juste confirmation que ceci n'arrive jamais:

Code:

---

1 2	0|5|champ351|champ451|champ551|champ651 0|5|champ352|champ452|champ552|champ652

---

Et que ceci n'arrive jamais:

Code:

---

1 2	1|5|champ351|champ451|champ551|champ651 2|5|champ352|champ452|champ552|champ652

---