Discussion :

[Taxan]

Bonjour,

J'ai un fichier du type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
0|1|champ01|champ02|champ03|champ04
ERR_X|1|champ05|champ06|champ07|champ08
ERR_Y|1|champ05|champ06|champ07|champ08
0|2|champ09|champ10|champ11|champ12
ERR|3|champ13|champ14|champ15|champ16
0|3|champ17|champ18|champ19|champ20
0|4|champ21|champ22|champ23|champ24

J'aimerais supprimer les doublons avec le critère de dédoublonnage suivant :
- Prendre les lignes dont les valeurs de la seconde colonne sont identiques.
- Garder uniquement les lignes dont la première colonne commence par ERR et supprimer celles dont la colonne commence par 0. Ce qui nous donne dans le cas présent :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
ERR_X|1|champ05|champ06|champ07|champ08
ERR_Y|1|champ05|champ06|champ07|champ08
0|2|champ09|champ10|champ11|champ12
ERR|3|champ13|champ14|champ15|champ16
0|4|champ21|champ22|champ23|champ24

Donc, les lignes ci-dessous ont été supprimées:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
0|1|champ01|champ02|champ03|champ04
0|2|champ09|champ10|champ11|champ12

[ggnore]

Si j'ai bien compris, ce dont je doute,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0|2|champ09|champ10|champ11|champ12

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0|4|champ21|champ22|champ23|champ24

ont la même valeur dans la seconde colonne ?

Le traitement serait plutôt :

1. je garde toutes les lignes commençant par ERR que j'injecte dans monnouveaufichier
2. je récupère les valeurs de la seconde colonne de monnouveaufichier
3. S'il y a des lignes qui ne commencent par par ERR et qui n'ont pas une des valeurs de la 2e colonne des lignes commençant par ERR, alors je les ajoute au à la fin de monnouveaufichier
4. Enfin je trie par ordre croissant en fonction de la 2e colonne.

[Taxan]

Les deux lignes ci-dessous n'ont pas la même valeur sur la seconde colonne. La première donne "2" et la seconde donne "4". Donc, vous doutez bien.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0|2|champ09|champ10|champ11|champ12

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0|4|champ21|champ22|champ23|champ24

Le traitement serait plutôt :

1- Je garde toutes les lignes commençant par ERR que j'injecte dans monnouveaufichier
2- Je récupère les valeurs de la seconde colonne de monnouveaufichier
3- S'il y a des lignes qui ne commencent par par ERR et qui n'ont pas une des valeurs de la 2e colonne des lignes commençant par ERR, alors je les ajoute au à la fin de monnouveaufichier
4- Enfin je trie par ordre croissant en fonction de la 2e colonne.

C'est tout à fait ce que je cherche à faire. Bien reformulé

[N_BaH]

Bonjour,

Je garde toutes les lignes commençant par ERR

si le résultat doit être

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
ERR_X|1|champ05|champ06|champ07|champ08
ERR_Y|1|champ05|champ06|champ07|champ08
0|2|champ09|champ10|champ11|champ12
ERR|3|champ13|champ14|champ15|champ16
0|4|champ21|champ22|champ23|champ24

alors, c'est faux !
...
?

[Taxan]

Oups je pense avoir compris d'où vient l'incompréhension. Je me suis mélangé les pinceaux sur la liste des lignes à supprimer. Je corrige donc mon besoin en découpant mon cas d'usage en plusieurs sous cas.

Pour information, mon fichier a pour séparateur "|".

Cas N°1:la valeur de la seconde colonne est identique pour les trois lignes (chiffre 1).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
0|1|champ01|champ02|champ03|champ04
ERR_X|1|champ05|champ06|champ07|champ08
ERR_Y|1|champ05|champ06|champ07|champ08

Les lignes commençant par ERR sont prioritaires, donc, je dois obtenir au final ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
ERR_X|1|champ05|champ06|champ07|champ08
ERR_Y|1|champ05|champ06|champ07|champ08

Cas N°2:cette ligne est unique. Donc, elle reste dans le fichier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0|2|champ09|champ10|champ11|champ12

Cas N°3:La valeur de la seconde colonne est identique pour les deux lignes (chiffre 3)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
ERR|3|champ13|champ14|champ15|champ16
0|3|champ17|champ18|champ19|champ20

. Les lignes commençant par ERR sont prioritaires, donc, je dois obtenir au final ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ERR|3|champ13|champ14|champ15|champ16

Cas N°4:identique au cas N°2.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0|4|champ21|champ22|champ23|champ24

Voici la liste des lignes à supprimer

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
0|1|champ01|champ02|champ03|champ04
0|3|champ17|champ18|champ19|champ20

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
awk -F'|' '{
   c[$2]++
   l[++n]=$0
}
END{
   for(i=1;i<=n;i++){
      split(l[i],d,"|")
      if(c[d[2]]==1 || (c[d[2]]>1 && d[1]~"^ERR"))print l[i]
   }
}' fichier
ERR_X|1|champ05|champ06|champ07|champ08
ERR_Y|1|champ05|champ06|champ07|champ08
0|2|champ09|champ10|champ11|champ12
ERR|3|champ13|champ14|champ15|champ16
0|4|champ21|champ22|champ23|champ24