Discussion :

[fredorly]

Avant toute chose je suis désolé si une question similaire a déjà été postée...Mais je fais face à un gros souci au boulot (je suis donc totalement accaparé) et je ne suis pas spécialiste des commandes linux !

Voilà J'ai besoin de votre aide sur le problème suivant :
J'ai un fichier "identifiant" -environ 200 lignes et un fichier "log" (environ 300 000 lignes)
Je veux extraire en ligne de commande ou script, dans un troisième fichier qui s’appellera "resultat" toutes les lignes du fichier log qui contiennent un identifiant. C'est probablement très bête à faire mais je n'y arrive pas et je manque cruellement de temps !!! Grrrr...

Pour info :
- extrait de mon fichier identifiant (chaque ligne est un identifiant)
JGTOZM
JODZBN
RCXPZS

- extrait de mon fichier log (lignes que je souhaite extraire dans un fichier "resultat" car les identifiants sont présents)

Ligne[13366] [Jun 24 10:54:33 2014] [error] [client JGTOZM] (12357)The timeout specified has expired
...
Ligne[215497] [Jun 25 16:27:47 2014] [error] [client RCXPZS] (23334)Error reading
...
Ligne[224634] [Jun 26 11:08:69 2014] [error] [client JODZBN] (29827)...


Voilà j'espère être clair, merci par avance de vos réponses et donc de votre aide

[N_BaH]

Bonjour,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -f identifiant log > resultat

[disedorgue]

Bonjour,
Tu peux le faire effectivement simplement avec la commande grep:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -f fichier_identifiant fichier_log >fichier_destination

Battu sur le fil

[Flodelarab]

Bonjour,

Difficile de mettre son grain de sel après deux excellentes réponses.
Alors, je vais mettre un grain de sed.

Si le fichier parle de ces clients à un autre endroit dans le fichier, et si on ne veut que la balise, on peut faire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/.\+/[client &]/' fichier_identifiant|grep -f - fichier_log >resultat

(non testé)

[Sve@r]

Bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/.\+/[client &]/' fichier_identifiant|grep -f - fichier_log >resultat

(non testé)

Ben moi j'ai testé, et ça ne fonctionne pas.
Voilà déjà le résultat de ton grain de sed

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ sed 's/.\+/[client &]/' log
[client Ligne[13366] [Jun 24 10:54:33 2014] [error] [client JGTOZM] (12357)The timeout specified has expired]
[client Ligne[215497] [Jun 25 16:27:47 2014] [error] [client RCXPZS] (23334)Error reading]
[client Ligne[224634] [Jun 26 11:08:69 2014] [error] [client JODZBN] (29827)...]

Donc déjà là, je ne vois pas en quoi rajouter "[client" en début de ligne empêchera les faux positifs...

[zipe31]

Salut,

Ben moi j'ai testé, et ça ne fonctionne pas.
[…]
Donc déjà là, je ne vois pas en quoi rajouter "[client" en début de ligne empêchera les faux positifs...

Parce que c'est sur l'autre fichier (fichier_identifiant) qu'il faut appliquer la commande sed et non sur fichier_log

Par contre, pour que ça marche, il faut protéger les crochets, sans quoi il y a des soucis

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -f <(sed 's/.\+/\\[client &\\]/' fichier_identifiant) fichier_log

[disedorgue]

Si chacun rajoute sa petite touche personnelle, voici une version gawk qui fonctionne sur les inputs proposés (pour ceux qui trouvent sed dur à lire ):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk -F'[][]' '{FNR==NR?A["client "$0]=1:A[$8]==1?X=1:X=0}X' fic.id fic.log

[jack-ft]

Par contre, pour que ça marche, il faut protéger les crochets, sans quoi il y a des soucis

Et s'il y a(vait) des étoiles dans les identifiants? (ou d'autres trucs qui gênent)

Il existe une commande qui s'appelle 'fgrep' (pour "fixed grep" (et non "fast grep"...)), qui correspond à l'option -F (--fixed-strings) et qui permet de chercher un texte littéralement (et non une expression régulière). Il suffit donc d'ajouter un caractère à ta solution:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/.\+/[client &]/' fichier_identifiant|fgrep -f - fichier_log >resultat

[zipe31]

Et s'il y a(vait) des étoiles dans les identifiants? (ou d'autres trucs qui gênent)

Il existe une commande qui s'appelle 'fgrep' (pour "fixed grep" (et non "fast grep"...)), qui correspond à l'option -F (--fixed-strings) et qui permet de chercher un texte littéralement (et non une expression régulière). Il suffit donc d'ajouter un caractère à ta solution:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/.\+/[client &]/' fichier_identifiant|fgrep -f - fichier_log >resultat

Bien vu