Grep - ne matcher qu'une partie d'une séquence donnée sur un fichier

**jhfra** · 24/07/2014, 10h30

Hello,

Un exemple sera plus simple.

Soit la liste suivante :

123456654353545
435432222222222
333333435411111
354399999999999

Sur le fichier contenant ceci :

3535 -> toto
3543 -> tata
4354 -> titi
3543 -> tutu

Ce qui m'intéresse est en gras, mais, cette séquence (toujours de 4 chars) est incluse dans une plus grosse séquence (elle aussi de taille unique à chaque fois). Je ne peux pas prévoir à l'avance où sera située la séquence en gras qui m'intéresse dans la chaîne complète..

Par exemple, je veux matcher 123456654353545 et me renvoyer 1 si j'ai au moins la séquence 3535 trouvée dans mon fichier.

Mais je ne vois pas comment le faire avec grep, sachant que je ne dois donner QUE la séquence qui m'intéresse.

Auriez vous une idée ? Merci !

**frp31** · 24/07/2014, 11h00

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# cd /tmp
# mkdir toto
# cd toto
# echo 1234 > toto
# echo 2345 > titi
# echo 3456 > tata
# cat > tutu
zzzzzz
zzzzzz1234zzzzz1234
zzzzzzzzz
zzzzz3456
# for i in titi toto tata ; do                                                                   
> grep -i $(cat $i) tutu > /dev/null                                                             
> if [ $? == 0 ] ; then echo contenu de $i present ; retour=1 ; echo $retour ; else echo contenu de $i non present ; retour=0 ; echo $retour ; fi
> done
contenu de titi non present
0
contenu de toto present
1
contenu de tata present
1
# cd ..
# rm -rf toto                                                                                    
#

en se basant sur une liste de valeurs au lieu du contenu de fichiers référents ce sera la même chose...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
# for i in 2345 1234 3456  ; do                                                                    
> grep -i $(cat $i) tutu > /dev/null                                                             
> if [ $? == 0 ] ; then echo contenu de $i present ; retour=1 ; echo $retour ; else echo contenu de $i non present ; retour=0 ; echo $retour ; fi
> done
contenu de titi non present
0
contenu de toto present
1
contenu de tata present
1

a toi d'adapter à ton besoin

**zipe31** · 24/07/2014, 11h12

Salut,

Je ne sais pas si j'ai tout bien compris à ta demande, mais voilà ce que j'ai en considérant les 2 fichiers "f" et "f1" suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
$ cat f
123456654353545
435432222222222
333333435411111
354399999999999
 
$ cat f1
3535 -> toto
3543 -> tata
4354 -> titi
3543 -> tutu
2223 -> tete

Et la syntaxe :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ while read line;do grep -q "${line%% *}" f && echo "1 pour ${line##* }" || echo "0 pour ${line##* }";done < f1 
1 pour toto
1 pour tata
1 pour titi
1 pour tutu
0 pour tete

**jhfra** · 24/07/2014, 12h36

Merci à vous deux, mais ce n'est exactement ça.

Je vais plutôt vous expliquer mon problème plutôt qu'un exemple non explicite :

J'ai un fichier plat suivant, qui me sert de base de référence :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
 
cat reference
 
UES410 000190104953 TM4
UES41A 000A9A70A598 3MA4
UES413 000190105703 TM4
UES414 000A9A70A540 3MA4
UES415 000A9A703173 3MA4
UES417 000A9A70A990 3MA4
UES491 000A94901107 3MA4
UES4A3 0001901057AA TM4
UES4A4 000A9A70A14A 3MA4
UES4A5 000A9A70A57A 3MA4
UES4A7 000A9A70A997 3MA4
UES4A7 000A95700179 3MA4
GYS4A1 000A90105779 TM4
GYS4A3 000190105717 TM4
GYS4A4 000190105714 TM4
GYS4A5 000A9A70A079 3MA4
GYS4A7 000A9A70A447 3MA4
GYS4A7 000A9A70A544 3MA4
GYS4A8 000A9A70A547 3MA4
GYS433 000A95700170 3MA4
GYS43A 000A9A703178 3MA4
UESIS01 78018T81F5C8 S3C
UESIS0A 78018F8A7078 S3C
UESIS03 7801810A71T8 S3C
UESIS1A 780180855A88 S3C
GYSIS0A 78018E8A7F50 S3C
GYSIS1A 780181055TE8 S3C
GYSIS04 78018E0A7EC8 S3C
GYSIS03 78018E8A1A58 S3C
GYSIS14 780181059778 S3C
UESIS04 78018E0AA750 S3C
UESIS14 780180859AF0 S3C
GYSIS01 78018E8A9U30 S3C
G3SIS0A 780180855TA8 S3C
GRSIS0A 780181054UT8 S3C
UESIS99 780A8500ACE0 S3C
UESC309 070170191037 3N45400
MUSC301 07017085A039 3N45400
MUSC30A 070170F14039 3N45400
S4SC301 070170AC0037 3N45400
S4SC30A 0701701T4037 3N45400
TASC310 070170AA1037 3N45400
TASC3A0 0701707UF135 3N45400

première colonne, le switch, 2eme colonne, l'identifiant du type de mon disque, 3eme colonne le modèle.

Je vais donc recevoir une liste de nom complet de disque, soit, cette liste :

254342432478018E8A7F50324324
324324070170AC003732432432
32432432432424000A9A70A598423432
etc..

Je cherche à retrouver le switch et le modèle en fonction de l'identifiant du type de mon disque contenu dans le nom complet de chaque disque présent dans le fichier liste.
On note que l'identifiant du type de mon disque est à un emplacement différent à chaque fois, pour chaque modèle différent, dans le nom complet des disques. Du coup, je ne peux pas prédire où cette séquence sortira dans ma chaine.

Du coup, je voudrais faire une sorte de grep partiel : en gros, pour chaque séquence complète (pour chaque ligne quoi), voir si au moins une partie de la séquence match quelque-chose dans mon fichier de référence.

J'espère être plus clair, j'ai du mal de poser le problème correctement :-\

**zipe31** · 24/07/2014, 13h21

En adaptant ma commande précédente :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ while read line;do grep -q "${line}" liste && grep "${line}" référence ;done < <(awk '{print $2}' référence)
UES41A 000A9A70A598 3MA4
GYSIS0A 78018E8A7F50 S3C
S4SC301 070170AC0037 3N45400

**Flodelarab** · 24/07/2014, 13h56

Bonjour,

j'ai mis +1 pour la réponse de Zipe31 car je vais utiliser la même méthode.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
$ cat reference 
UES410 000190104953 TM4
UES41A 000A9A70A598 3MA4
UES413 000190105703 TM4
UES414 000A9A70A540 3MA4
UES415 000A9A703173 3MA4
UES417 000A9A70A990 3MA4
UES491 000A94901107 3MA4
UES4A3 0001901057AA TM4
UES4A4 000A9A70A14A 3MA4
UES4A5 000A9A70A57A 3MA4
UES4A7 000A9A70A997 3MA4
UES4A7 000A95700179 3MA4
GYS4A1 000A90105779 TM4
GYS4A3 000190105717 TM4
GYS4A4 000190105714 TM4
GYS4A5 000A9A70A079 3MA4
GYS4A7 000A9A70A447 3MA4
GYS4A7 000A9A70A544 3MA4
GYS4A8 000A9A70A547 3MA4
GYS433 000A95700170 3MA4
GYS43A 000A9A703178 3MA4
UESIS01 78018T81F5C8 S3C
UESIS0A 78018F8A7078 S3C
UESIS03 7801810A71T8 S3C
UESIS1A 780180855A88 S3C
GYSIS0A 78018E8A7F50 S3C
GYSIS1A 780181055TE8 S3C
GYSIS04 78018E0A7EC8 S3C
GYSIS03 78018E8A1A58 S3C
GYSIS14 780181059778 S3C
UESIS04 78018E0AA750 S3C
UESIS14 780180859AF0 S3C
GYSIS01 78018E8A9U30 S3C
G3SIS0A 780180855TA8 S3C
GRSIS0A 780181054UT8 S3C
UESIS99 780A8500ACE0 S3C
UESC309 070170191037 3N45400
MUSC301 07017085A039 3N45400
MUSC30A 070170F14039 3N45400
S4SC301 070170AC0037 3N45400
S4SC30A 0701701T4037 3N45400
TASC310 070170AA1037 3N45400
TASC3A0 0701707UF135 3N45400

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ cat liste
254342432478018E8A7F50324324
324324070170AC003732432432
32432432432424000A9A70A598423432

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ cut -d' ' -f2 reference | grep -f - liste
254342432478018E8A7F50324324
324324070170AC003732432432
32432432432424000A9A70A598423432

La couleur est celle de ma console (issue du grep)

**jhfra** · 24/07/2014, 14h59

Envoyé par zipe31

En adaptant ma commande précédente :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ while read line;do grep -q "${line}" liste && grep "${line}" référence ;done < <(awk '{print $2}' référence)
UES41A 000A9A70A598 3MA4
GYSIS0A 78018E8A7F50 S3C
S4SC301 070170AC0037 3N45400

La solution de zipe31 est parfaite.

Merci à tous pour votre aide !

**jhfra** · 24/07/2014, 15h15

Question subsidiaire :

Et si, en plus, je veux afficher le nom complet en face de chaque résultat ? Pour avoir une sortie du style :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

UES41A 000A9A70A598 3MA4 254342432478018E8A7F50324324

J'ai beau essayer dans tous les sens, il me manque une variable, vu qu'avec cette solution on ne travaille qu'avec ${line}.

Merci !

--------------------------------

EDIT : attention, en fait non, ça ne fonctionne pas : Si j'ai plusieurs fois le même identifiant de disques sur des noms de disques différents, je n'aurai en sortie qu'un seul identifiants de disques différents.

En d'autre terme, ici dans nos tests ça a marché car pour chaque disques, on avait un identifiant différent, mais si là on prend 2 identifiants identiques pour 2 disques différents, dans une liste de 3 noms de disques, nous n'aurons qu'une sortie sur 2 lignes : une par identifiant de disque :-\

**zipe31** · 24/07/2014, 16h17

Envoyé par jhfra

EDIT : attention, en fait non, ça ne fonctionne pas : Si j'ai plusieurs fois le même identifiant de disques sur des noms de disques différents, je n'aurai en sortie qu'un seul identifiants de disques différents.

En d'autre terme, ici dans nos tests ça a marché car pour chaque disques, on avait un identifiant différent, mais si là on prend 2 identifiants identiques pour 2 disques différents, dans une liste de 3 noms de disques, nous n'aurons qu'une sortie sur 2 lignes : une par identifiant de disque :-\

T'as un exemple concret à nous donner ?
Rajoute un doublon dans les 2 fichiers donnés plus haut et montre-nous le résultat souhaité. Merci.

**Flodelarab** · 24/07/2014, 17h06

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ while read line;do grep -q "${line}" liste && { grep "${line}" reference ; grep ${line} liste; }; done < <(awk '{print $2}' reference) |sed 'N;s/\n/ /'
UES41A 000A9A70A598 3MA4 32432432432424000A9A70A598423432
GYSIS0A 78018E8A7F50 S3C 254342432478018E8A7F50324324
S4SC301 070170AC0037 3N45400 324324070170AC003732432432

**zipe31** · 24/07/2014, 17h43

@Flodelarab : Il suffisait de supprimer l'option "-q" du 1er grep

Mais bon, il est vrai qu'il fallait faire une moulinette de plus avec sed pour avoir l'ordre adéquat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while read line;do grep  "${line}" liste && grep "${line}" référence ;done < <(awk '{print $2}' référence) | sed -r 'N;s/([^\n]*)\n(.*)/\2 \1/'

Sinon, pour en revenir à ta formule avec cut, on pouvait aussi faire comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ fgrep  "$(cut -d' ' -f2 référence  | grep -of - liste)" référence 
UES41A 000A9A70A598 3MA4
GYSIS0A 78018E8A7F50 S3C
S4SC301 070170AC0037 3N45400

**disedorgue** · 25/07/2014, 01h35

Bonjour,

Je vais être méchant (enfin façon de parler

)
une boucle while avec 2 grep , un awk et un sed ?
un simple awk n'aurait-il pas été largement suffisant et plus performant ?
Exemple rapide (donc améliorable):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ awk 'FNR == NR {X=X";"$1";";next};{if(match(X,";[^;]*"$2"[^;]*;")) {print $0,substr(X,RSTART+1,RLENGTH-2)}}' liste references 
UES41A 000A9A70A598 3MA4 32432432432424000A9A70A598423432
GYSIS0A 78018E8A7F50 S3C 254342432478018E8A7F50324324
S4SC301 070170AC0037 3N45400 324324070170AC003732432432

Ou la version suivante (si j'ai bien compris son problème de doublon), si on a la liste qui suit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
254342432478018E8A7F50324324
324324070170AC003732432432
32432432432424000A9A70A598423432
25432432432424000A9A70A598423424

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ awk 'FNR == NR {X=X";"$1";";next};{Y=X;while(match(Y,";[^;]*"$2"[^;]*;")) {Y=substr(Y,RSTART+1);print $0,substr(Y,1,RLENGTH-2)}}' liste references 
UES41A 000A9A70A598 3MA4 32432432432424000A9A70A598423432
UES41A 000A9A70A598 3MA4 25432432432424000A9A70A598423424
GYSIS0A 78018E8A7F50 S3C 254342432478018E8A7F50324324
S4SC301 070170AC0037 3N45400 324324070170AC003732432432

**zipe31** · 25/07/2014, 10h05

Salut,

Envoyé par disedorgue

Un simple awk n'aurait-il pas été largement suffisant et plus performant ?

Si, sûrement, mais tout le monde (dont moi) ne maîtrise pas awk, et par conséquent on fait avec les moyens du bord

**jhfra** · 08/08/2014, 16h05

Envoyé par disedorgue

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ awk 'FNR == NR {X=X";"$1";";next};{Y=X;while(match(Y,";[^;]*"$2"[^;]*;")) {Y=substr(Y,RSTART+1);print $0,substr(Y,1,RLENGTH-2)}}' liste references 
UES41A 000A9A70A598 3MA4 32432432432424000A9A70A598423432
UES41A 000A9A70A598 3MA4 25432432432424000A9A70A598423424
GYSIS0A 78018E8A7F50 S3C 254342432478018E8A7F50324324
S4SC301 070170AC0037 3N45400 324324070170AC003732432432

Bonjour à tous,

Cette solution là se rapproche presque de ce que je veux, mais omet encore des résultats, avec ma propre liste.

On va prendre un exemple concret :

Soit ma liste de disques :

uKK5K7u8K18eK22u5KKKKKKKKKKKKu7e
uKK5K7u8K18eK22u5KKKKKKKKKKKKu7f
uKK5K7u8K18eK22u5KKKKKKKKKKKKued
uKK5K7u8K181K597u8KKKKKKKKKKK5d1
uKK5K7u8K181K597u8KKKKKKKKKKK5dK
uKK5K7u8K18eK2uec8KKKKKKKKKKKK19
uKKKK97KKKK292uK2Ku9533K3K393539
uKKKK97KKKK292uK2447533K3K35313K

Et ma liste de référence :

KESX1K KKK19K1K4953 DTPX
KESX12 KKK292uK2598 TPAX
KESX13 KKK19K1K5uK3 DTPX
KESX14 KKK292uK254K TPAX
KESX15 KKK292uK3173 TPAX
KESX1u KKK292uK299K TPAX
KESX91 KKK2949K11Ku TPAX
KESXA3 KKK19K1K5u22 DTPX
KESXA4 KKK292uK2142 TPAX
KESXA5 KKK292uK2572 TPAX
KESXAu KKK292uK299u TPAX
KESXA7 KKK2957KK1u9 TPAX
PZSX21 KKK29K1K57u9 DTPX
PZSX23 KKK19K1K5u17 DTPX
PZSX24 KKK19K1K5u14 DTPX
PZSX25 KKK292uK2Ku9 TPAX
PZSX2u KKK292uK2447 TPAX
PZSX27 KKK292uK2544 TPAX
PZSX28 KKK292uK254u TPAX
PZSX33 KKK2957KK17K TPAX
PZSX32 KKK292uK31u8 TPAX
KESISK1 u8K18D81F5C8 OC
KESISK2 u8K18F827Ku8 OC
KESISK3 u8K181K271D8 OC
KESIS12 u8K18K855288 OC
PZSISK2 u8K18E82uF5K OC
PZSIS12 u8K181K55DE8 OC
PZSISK4 u8K18EK2uEC8 OC
PZSISK3 u8K18E821258 OC
PZSIS14 u8K181K597u8 OC
KESISK4 u8K18EK22u5K OC
KESIS14 u8K18K8592FK OC
PZSISK1 u8K18E829K3K OC
PLSISK2 u8K18K855D28 OC
PRSISK2 u8K181K54KD8 OC
KESIS99 u8K285KKACEK OC
KESClK9 KuK1uK191K3u 3NX54KK
TPUSCLK1 KuK1uK852K39 3NX54KK
TPUSClK2 KuK1uKF14K39 3NX54KK
SXSCLK1 KuK1uKACKK3u 3NX54KK
SXSCLK2 KuK1uK1D4K3u 3NX54KK
TASCL1K KuK1uK221K3u 3NX54KK
TASCL2K KuK1uK7KF135 3NX54KK

En prenant le code plus haut, tous les termes matchés ne sortent pas :-\

Merci de votre aide pour ce problème épineux..