Discussion :

[BIG123]

Bonjour les gens,

J'ai un fichier constitué de 3 colonnes: (V est la distance entre deux points (exemple V1 est la distance entre ces deux point A B)

fichier.txt

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
A B V1
A C V2
D C V3
B A V1
D E V2
G G V4

je veux éliminer deux types de doublons:
G G et B A vu que j'ai déjà A B et A B=B A

Comment peut-on faire ça sous bash?

J'ai réussi à éliminer les G G (X X...) avec la commande suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Egaux=$(awk '$1 != $2 {print $0}' $resdir/fichier.txt)
echo "$Egaux" > $resdir/resultat.txt

Pour la deuxième condition, éliminer B A si on a A B (car ça veux dire la même chose)
je ne vois pas comment faire ça!!!

Quelqu'un peut m'aider ?

Merci par avance

[N_BaH]

Bonjour,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '{if($1!=$2 && !($1"@"$2 in a) && !($2"@"$1 in a)){ print $0; a[$1,$2]++}}' SUBSEP="@" fichier

[ok.Idriss]

Bonsoir.

J'ajoute mes petites contributions...

En awk avec tableau associatif (un peu le même style que N_Bah en moins bien mais j'utilise souvent ce genre de choses et ça fonctionne bien ) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
[idriss@hp-dv6:~]$ cat test.txt
A B V1
A C V2
D C V3
B A V1
D E V2
G G V4
[idriss@hp-dv6:~]$ awk -F " " '{if($1 != $2 && !($1";"$2 in array) && !($2";"$1 in array)){array[$1";"$2]=$0}} END {for(i in array){print array[i]}}' test.txt | sort
A B V1
A C V2
D C V3
D E V2
[idriss@hp-dv6:~]$

Et une solution en bash puisque tu nous a parlé de bash et non de awk (qui est préférable pour le cas présent) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
[idriss@hp-dv6:~]$ cat test.txt 
A B V1
A C V2
D C V3
B A V1
D E V2
G G V4
[idriss@hp-dv6:~]$ cat test.sh
#!/bin/bash
 
FILE_OUT=test2.txt
FILE_IN=test.txt
 
touch $FILE_OUT
while read ligne; do
    set -- $ligne
    occ="$2 $1 $3"
    if [ "$1" != "$2" ] && ! grep "$occ" $FILE_OUT > /dev/null && ! grep "$ligne" $FILE_OUT > /dev/null; then
        echo $ligne >> $FILE_OUT
    fi
done < $FILE_IN
 
cat $FILE_OUT | sort
rm $FILE_OUT
[idriss@hp-dv6:~]$ ./test.sh
A B V1
A C V2
D C V3
D E V2
[idriss@hp-dv6:~]$

Cordialement,
Idriss

[N_BaH]

en awk, les tableaux sont toujours associatifs. Du coup, ils ne sont que par hasard dans l'ordre chronologique ou numérique ou alphabétique.
À moins que tous les indices soient numériques, et qu'on connaisse le nombre d'éléments pour faire un boucle arithmétique, il faudra utiliser asort() ou asorti() pour les ordonner; ou utiliser sort à la sortie de awk.

par contre, ton code shell ne contient pas d'éléments bash.
tu pourrais lire la ligne dans un tableau indexé
utiliser un tableau associatif en te servant des premier et deuxième champs du tableau indexé en tant qu'indice avec un séparateur quelconque (mettons SEP=';')...
créer une fonction in_array (pour éviter les grep), qui bouclerait sur les indices du tableau associatif, et ayant comme premier argument les deux premiers champs courants concaténés avec le séparateur défini
...
et toujours afficher les données directement après avoir été testées, pour ne pas avoir à trier (un fichier temporaire)

mouais c'est pas hyper clair.

[ok.Idriss]

Bonjour.

Merci pour toutes ces précisions

et toujours afficher les données directement après avoir été testées, pour ne pas avoir à trier (un fichier temporaire)

De toute façon si le fichier d'entrée est déjà trié comme il semble être le cas, alors le sort de mon script est inutile. Après oui le fichier temporaire c'est pas très beau.

Sinon les grep dans un script ça ne me gène pas trop mais je comprends ton point de vue et ta manière de faire qui te rendent indépendant des commandes externes (d'ailleurs j'étais pas obligé d'appeler bash avec cette syntaxe, sh ou ksh seraient passé aussi mais bon comme je suis sous Linux, je préfère utiliser le shell par défaut).

Idriss

[BIG123]

Merci beaucoup pour vos réponses !

[ripat]

La solution proposée par N_BaH me semble aussi la plus évidente. Tant qu'à utiliser une commande externe comme grep, autant directemet utiliser awk qui est vraiment fait pour ce genre de traitement.

On pourrait même simplement faire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk '!(a[$1$2]||a[$2$1]||$1==$2){print;a[$1$2]++}' fichier