grep motif ET motif

Version imprimable

19/10/2012, 17h30
blancheln

grep motif ET motif

Désolé de revenir sur le sujet fermé depuis longtemps, mais bon.

Je galère pas mal pour faire à peu près la même chose SAUF QUE je cherche deux suites de caractères appartenant à un fichier.

C'est à dire faire un ET et pas un OU
dans :

Code:

find resultat -type f -exec grep '$tache\|Temps\|Power$' {} \; > resultat/resultat.txt

Je remplace les | par des & et cela ne fonctionne pas. Mais pourquoi donc?
19/10/2012, 17h50
jack-ft

Citation:

Envoyé par blancheln

Je galère pas mal pour faire à peu près la même chose SAUF QUE je cherche deux suites de caractères appartenant à un fichier.

Dans la même ligne ou pas?

Peux-tu donner un exemple de ce que tu veux?

Citation:

C'est à dire faire un ET et pas un OU
dans:
find resultat -type f -exec grep '$tache\|Temps\|Power$' {} \; > resultat/resultat.txt

je remplace les | par des & et cela ne fonctionne pas. Mais pourquoi donc?

ce n'est pas si simple...
19/10/2012, 17h50
N_BaH

tu peux être plus précis ?
donne un extrait du fichier entrée, et ce que tu veux obtenir.
19/10/2012, 18h28
blancheln

Déjà, je cherche les fichiers dans un répertoire contenant deux suites de caractères.
Ces fichier sont zippés, j'utilise donc

Code:

find /repertoire -name '*.zip' -exec zipgrep 'DA="2012-10-12"'&'SL="FRKMN' {} \;

cela ne fonctionne pas. Ca marche qu'avec une seule suite:

Code:

find /repertoire -name '*.zip' -exec zipgrep 'DA="2012-10-12"' {} \;
19/10/2012, 18h35
N_BaH

Citation:

Envoyé par jack-ft

Dans la même ligne ou pas?

!
un motif est toujours avant l'autre, ou est-ce aléatoire ?
...
19/10/2012, 19h39
blancheln

La deuxième recherche , balise SL, est toujours Après la balise DA
19/10/2012, 20h38
N_BaH

he, jack, va chercher une tenaille, on tient un bon morceau, j'crois qu'ça va venir...

Code:

grep 'motif1.*motif2' fichier
22/10/2012, 09h47
jack-ft

Citation:

Envoyé par N_BaH

he, jack, va chercher une tenaille, on tient un bon morceau, j'crois qu'ça va venir...

Ouais... c'est pas faux! :mouarf:

Donc, au risque de me répéter, il est important (notamment pour nous) de savoir si les 2 motifs sont toujours dans la même ligne ou s'ils peuvent être dans 2 lignes différentes.

Avec un exemple, on pourrait le voir assez aisément...

Comme nos questions sont restées sans réponse, malgré les réitérations, je ferai, comme N_BaH, l'hypothèse qu'ils sont dans la même ligne, et je propose donc d'instancier la proposition de N_BaH:

Code:

grep 'motif1.*motif2' fichier

en:

Code:

find /repertoire -name '*.zip' -exec zipgrep 'DA="2012-10-12".*SL="FRKMN' {} \;
22/10/2012, 10h29
blancheln

Bonjour à tous les deux.
A la question si les 2 motifs sont toujours dans la même ligne, j'aurai répondu que non. Il s'agit de traiter des xml sur leurs champs date (DA) et une balise métier (SL, qui contient le code criée des ventes de poisson).
Comme le xml est sur plusieurs lignes, je dirai donc que non.

Mais la ligne:

Code:

find /repertoire -name '*.zip' -exec zipgrep 'DA="2012-10-12".*SL="FRKMN' {} \;

donne l'impression de fonctionner. Le point concatène avec n'importe quoi après *.
Merci beaucoup, j'ai vraiment passer 2 heures à chercher ça, quand on y connait pas grand chose..
Si vous pouviez me dire la différence s'ils avait été sur plusieurs lignes...

Et juste comme ça, vous tenez un morceau de quoi? y en a un qu'a mal au dent?:)
22/10/2012, 10h50
jack-ft

Citation:

Envoyé par blancheln

Bonjour à tous les deux.
A la question si les 2 motifs sont toujours dans la même ligne, j'aurai répondu que non. Il s'agit de traiter des xml sur leurs champs date (DA) et une balise métier (SL, qui contient le code criée des ventes de poisson).
Comme le xml est sur plusieurs lignes, je dirai donc que non.

Mais la ligne:

Code:

find /repertoire -name '*.zip' -exec zipgrep 'DA="2012-10-12".*SL="FRKMN' {} \;

donne l'impression de fonctionner.

Il est totalement IMPOSSIBLE que ce code fonctionne si les motifs sont sur des lignes différentes!...
à moins qu'on ne soit dans un environnement hétérogène (fichier provenant d'un mac ou d'un PC...)

Citation:

Le point concatène avec n'importe quoi après *.

Pas du tout!

L'instruction demande à grep de chercher une chaîne contenant le caractère D suivi d'un A suivi d'un = suivi d'un " suivi d'un 2 suivi d'un 0 suivi d'un 1 suivi d'un 2 suivi d'un - suivi d'un 1 suivi d'un 0 suivi d'un - suivi d'un 1 suivi d'un 2 suivi d'un " suivi de n'importe quel caractère (.) en nombre quelconque (*) suivi d'un S suivi d'un L suivi d'un = etc.

Citation:

Merci beaucoup, j'ai vraiment passer 2 heures à chercher ça, quand on y connait pas grand chose..
Si vous pouviez me dire la différence s'ils avait été sur plusieurs lignes...

ça dépend!

Déjà est-ce que tu veux le nom des fichiers ou la/les lignes?

s'il n'y a qu'un seul DA et SL par fichier (et pas d'espace dans les noms des fichiers), c'est relativement simple (je ne suis pas un pro du find!):

Code:

find /repertoire -name '*.zip' -print | xargs zipgrep -l 'DA="2012-10-12"' | xargs zipgrep -l 'SL="FRKMN'

Sinon, c'est beaucoup plus compliqué!
Il faut presque parser le xml...

Citation:

Et juste comme ça, vous tenez un morceau de quoi? y en a un qu'a mal au dent?:)

C'est juste qu'on a un peu de mal à obtenir les informations (comme un exemple de fichier, par exemple)... ;)
22/10/2012, 10h53
N_BaH

un morceau de toutes les informations nécessaires pour te répondre correctement. :mrgreen:

le point représente n'importe quel caractère, et l'astérisque, n'importe quel nombre du caractère précédent, ou aucun.

si les données avaient été sur plusieurs lignes, je me serais tourné du côté de sed.
genre

Code:

find [..] -exec zcat {} | sed -n '/DA="2012-10-12"\|SL="FRKMN"/p' \;
22/10/2012, 11h13
blancheln

1 pièce(s) jointe(s)

Bon ok je me précipite, j'avais l'impression que c'était gagné et pis en fait je suis encore à la ramasse. Mais c'est pas grave, avec du courage..
Bon, ce sont des fichier xml zipper déposés sur une machine redhat mais construits je ne sais pas avec quoi.
Ils contiennent les ventes de produit de la mer de toutes les criées françaises, pour la petite histoire, avec plein d'info hyper grave pour les pêcheurs;).

Un fichier peut contenir plusieurs ventes dans différentes criée, donc plusieurs balise SL avec des valeurs différentes.
Mais toutes ont la même date. Il y aura plusieurs fois le balise DA mais la valeur sera toujours la même.
Je cherche donc les xml.zip contenant les ventes du aaaa/mm/jj: DA="aaaa/mm/jj" pour la crié de La Rochelle par exemple : DA="FRLRH".

Le nom des fichiers contient l'information de la date de dépôt des notes de vente, ce qui est hors sujet.

Je vous met un fichier anonymisé.
22/10/2012, 12h12
N_BaH

autant que je me souvienne sed ne sait pas afficher le nom du fichier en cours de lecture, donc on va utiliser awk :

Code:

find [...] -exec zcat {} | awk -v date="$date" -v port="$port" '{if($0 ~ "DA=\""date"\""){if($0 !~ ">$"){getline}; if($0 ~ "SL=\""port"\""){print FILENAME;exit}}}'
22/10/2012, 12h43
jack-ft
Citation:

Envoyé par blancheln

Je vous met un fichier anonymisé.

Tu vois? quand tu veux... ;)

Citation:

Envoyé par N_BaH

autant que je me souvienne sed ne sait pas afficher le nom du fichier en cours de lecture, donc on va utiliser awk :

Code:

find [...] -exec zcat {} | awk -v date="$date" -v port="$port" '{if($0 ~ "DA=\""date"\""){if($0 !~ ">$"){getline}; if($0 ~ "SL=\""port"\""){print FILENAME;exit}}}'

Euh... Y a un petit bug!
Comme on peut le constater (à cause du formatage dû aux viviers quiberonnais), la ligne SL n'est pas toujours la suivante:
Code:

1 2 3 <ers:SLI_NAT CN="60014" DA="2012-08-07" NB="LES VIVIERS QUIBERONNAIS" NS="SAINT GUENOLE" SC="FRA" SL="FRSFV">
Ce serait dommage de louper une occurrence à cause de ça!
Du coup, il suffit peut-être de remplacer if($0 !~ ">$"){getline}; par while($0 !~ ">$"){getline};, non ?

Cependant (et grâce à la précision des specs), si DA est toujours la même dans tout le fichier et s'il suffit d'une occurrence du SL cherché pour sélectionner le fichier, je maintiens ma proposition:

Code:

find /repertoire -name '*.zip' -print | xargs zipgrep -l 'DA="2012-10-12"' | xargs zipgrep -l 'SL="FRKMN'

qui, quoique peu efficace, devrait fonctionner! (sous réserve que zipgrep -l se comporte comme grep -l)

Vendredi, tout seul, j'en étais à ce genre de fonction et j'ai jamais réussi à m'en dépatouiller

Code:

find /repertoire -name '*.zip' -print | xargs zipgrep -l 'DA="2012-10-12"' | xargs zipgrep -l 'SL="FRKMN'

Là, elle me renvoie:
Code:

1 2 3 4 5 ... caution: filename not matched: /var/www/html/msipa/venteOP/xml/originaux/NNB20121019001047.xml.zip caution: filename not matched: /var/www/html/msipa/venteOP/xml/originaux/NNB20121019000650.xml.zip usage: zipgrep [egrep_options] pattern zipfile [members...] searches the given zip members for a string or pattern
Par contre, le fonction:

Code:

find /var/www/html/msipa/venteOP/xml/ -name '*.zip' -exec zipgrep 'DA="2012-10-13".*SL="FRLRH' {} \;

est toujours en train de tourner et m'a retournée un nom de fichier déjà.
A oui, j'avais oublié de dire,:|, j'ai + de 50 000 fichiers dans une 12aine de sous répertoire.

22/10/2012, 13h57
blancheln
La commande:

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zcat {} | sed -n '/DA="2012-10-12"\|SL="FRKMN"/p' \;

renvoie:
Code:

1 2 find: ParamÃ¨tre manquant pour Â« -exec Â» sed: impossible de lire ;: Aucun fichier ou rÃ©pertoire de ce type
et la commande:

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zcat {} | awk -v date="$date" -v port="$port" '{if($0 ~ "DA=\""date"\""){while($0 !~ ">$"){getline}; if($0 ~ "SL=\""port"\""){print FILENAME;exit}}}'

renvoie:

Code:

find: ParamÃ¨tre manquant pour Â« -exec Â»

la commande (montée d'un cran pour avoir tous les sous répertoire):

Code:

find /var/www/html/msipa/venteOP/xml/ -name '*.zip' -exec zipgrep 'DA="2012-10-13".*SL="FRKMN' {} \;

est terminée et m'a renvoyée qq fichiers qui vont bien.
Mais, dois je la mettre en prod? Non semblerait-il?

Sinon, une solution un peu lourde, serait de faire une première recherche avec juste les DA="2012-10-12", faire une copie des fichiers dans un rep temp et de relancer une recherche sur les SL dans ce rep temp

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zipgrep 'DA="2012-10-12"' {} \; -exec mv {} /var/www/html/msipa/venteOP/recherche_nve/xml \;

C'est pas très rigolo mais c'est ce que j'ai trouvé de mieux.
Je me plante?

Citation:
Envoyé par blancheln
La commande:

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zcat {} | sed -n '/DA="2012-10-12"\|SL="FRKMN"/p' \;

renvoie:
Code:

1 2 find: ParamÃ¨tre manquant pour Â« -exec Â» sed: impossible de lire ;: Aucun fichier ou rÃ©pertoire de ce type
Grand classique: il faut un ';' (de préférence backslashé, et, de préférence, préfixé d'une espace) à la fin de l'exec:

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zcat {} \; | sed -n '/DA="2012-10-12"\|SL="FRKMN"/p' \;

Citation:

et la commande:

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zcat {} | awk -v date="$date" -v port="$port" '{if($0 ~ "DA=\""date"\""){while($0 !~ ">$"){getline}; if($0 ~ "SL=\""port"\""){print FILENAME;exit}}}'

renvoie:

Code:

find: ParamÃ¨tre manquant pour Â« -exec Â»

idem

Citation:

la commande (montée d'un cran pour avoir tous les sous répertoire):

Code:

find /var/www/html/msipa/venteOP/xml/ -name '*.zip' -exec zipgrep 'DA="2012-10-13".*SL="FRKMN' {} \;

est terminée et m'a renvoyée qq fichiers qui vont bien.
Mais, dois je la mettre en prod? Non semblerait-il?

Est-ce qu'elle retourne le nom du fichier ??? ou bien la ligne ?
A cause du formatage, il doit arriver parfois (quoique rarement!) que les 2 tags soient sur la même ligne, ce qui expliquerait le match que tu as observé.

Citation:

Sinon, une solution un peu lourde, serait de faire une première recherche avec juste les DA="2012-10-12", faire une copie des fichiers dans un rep temp et de relancer une recherche sur les SL dans ce rep temp

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zipgrep 'DA="2012-10-12"' {} \; -exec mv {} /var/www/html/msipa/venteOP/recherche_nve/xml \;

C'est pas très rigolo mais c'est ce que j'ai trouvé de mieux.
Je me plante?

Dans le même genre:

Code:

find . -type f -exec sh -c 'f="{}";tf=/tmp/tmp_file;rm -rf ${tf};zcat ${f}>${tf};grep -q \'DA="2012-10-12"\' ${tf} && grep -q \'SL="FRKMN"\' ${tf}&&echo ${f}' \;
Citation:
Envoyé par blancheln
Code:

find /repertoire -name '*.zip' -print | xargs zipgrep -l 'DA="2012-10-12"' | xargs zipgrep -l 'SL="FRKMN'

Là, elle me renvoie:
Code:

1 2 3 4 5 ... caution: filename not matched: /var/www/html/msipa/venteOP/xml/originaux/NNB20121019001047.xml.zip caution: filename not matched: /var/www/html/msipa/venteOP/xml/originaux/NNB20121019000650.xml.zip usage: zipgrep [egrep_options] pattern zipfile [members...] searches the given zip members for a string or pattern
Nous n'avons pas le même zipgrep! Le mien admet plusieurs fichiers, ce qui ne semble pas être le cas du tien. Il faut donc les traiter un par un.

Citation:

A oui, j'avais oublié de dire,:|, j'ai + de 50 000 fichiers dans une 12aine de sous répertoire.

Oops! Bonjour les perfs!

22/10/2012, 17h09
blancheln
Citation:

Est-ce qu'elle retourne le nom du fichier ??? ou bien la ligne ?
A cause du formatage, il doit arriver parfois (quoique rarement!) que les 2 tags soient sur la même ligne, ce qui expliquerait le match que tu as observé.

la commande

Code:

find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zipgrep 'DA="2012-10-17".*SL="FRCOC"' {} \;

retourne:
Code:

1 2 3 ... NNB20121017000573.xml: <ers:SLI CN="225447" DA="2012-10-17" NB="INVENDUS" NS="CONCARNEAU" SC="FRA" SL="FRCOC"> ...
par contre

Citation:

Grand classique: il faut un ';' (de préférence backslashé, et, de préférence, préfixé d'une espace) à la fin de l'exec:
Code :Sélectionner tout - Visualiser dans une fenêtre à part
find /var/www/html/msipa/venteOP/xml/originaux -name '*.zip' -exec zcat {} \; | sed -n '/DA="2012-10-12"\|SL="FRKMN"/p' \;

retourne:
Code:

1 2 3 4 ... find: zcat a terminÃ© son exÃ©cution par le signal 13 find: zcat a terminÃ© son exÃ©cution par le signal 13 ...
j'ai très envie de n'utiliser que
zipgrep 'DA="2012-10-17".*SL="FRCOC"' {} \;
22/10/2012, 17h54
jack-ft

Citation:

Envoyé par blancheln

j'ai très envie de n'utiliser que
zipgrep 'DA="2012-10-17".*SL="FRCOC"' {} \;

En pariant sur le fait qu'il y a statistiquement de bonnes chances pour que chaque fichier comporte au moins une ligne suffisamment courte pour être trouvée (comme celle de CONCARNEAU)?

S'il n'est pas très grave de louper quelques fichiers, pourquoi pas...

z'ont qu'à avoir des noms plus courts, LES VIVIERS QUIBERONNAIS, na! :mouarf:
Tant pis pour eux! :aie:

Et puis, ça te permet de te débarrasser du problème... ce qui n'est pas négligeable :?
22/10/2012, 18h54
blancheln

Bon bon bon,
je sais pas trop, je fait tout ça pour éviter une mise en base super lourde puis traitement sql, ou une attaque des fichiers avec du php. Ca je sais faire.
Je voulais profiter de la puissance d'un shell.

Citation:

S'il n'est pas très grave de louper quelques fichiers, pourquoi pas...

C'est carrément pas possible. Je suis sur un poste dans la diretion des pêches au ministère et les pêcheurs, ben c'est pas des commode :).
30/10/2012, 15h29
sergeh

Bonjour,

Ne peux-tu pas appeler trois grep séparés par des pipes ?
Un truc du genre

Code:

find resultat -type f | grep tache | grep Temps | grep Power > resultat/resultat.txt
01/11/2012, 08h46
ripat
Une autre piste awk: découper le fichier en prennant DA= comme séparateur d'enregistrement (RS), vérifier si au moins un record contient les valeurs de DA et SL recherchées et sortir de suite pour éviter de parcourir inutilement le fichier dès les conditions réunies.
Code:

1 2 3 4 DA="2012-08-07" FL="FRLRH" find ... -exec | zcat | awk '/'$DA'/&&/'$FL'/{print FILENAME;exit}' RS="DA="
01/11/2012, 18h44
jack-ft
Citation:
Envoyé par ripat

Code:

1 2 3 4 DA="2012-08-07" FL="FRLRH" find ... -exec | zcat | awk '/'$DA'/&&/'$FL'/{print FILENAME;exit}' RS="DA="
Comme dirait notre ami, UMQ!

Lorsque ni DA ni FL ne contient d'espace (ce qui est bien le cas ici), tout va bien!
Mais, pour que la formule que tu proposes soit plus universelle et éviter le message:

Code:

awk: non-terminated regular expression 2012... at source line 1

je propose d'utiliser plus de quotes:

Code:

find ... -exec | zcat | awk '/'"$DA"'/&&/'"$FL"'/{print FILENAME;exit}' RS="DA="

ou, plus simplement:

Code:

find ... -exec | zcat | awk "/$DA/&&/$FL/{print FILENAME;exit}" RS="DA="

voire:

Code:

find ... -exec | zcat | awk "/${DA}/&&/${FL}/{print FILENAME;exit}" RS="DA="