Discussion :

[erustika]

Bonjour à tous,

Je souhaite réaliser une opération simple de recherche dans un fichier à partir d'une liste.

J'ai des lignes dans un fichier avec plusieurs champs:

Format du fichier DATA (Les lettre a,b,c pour le numéro de ligne, et les nombres 1,2,3 pour le numéro du champ.

DATA
Ligne 1 Champ a1 Champ a2 Champ a3...
Ligne 2 Champ b1 Champ b2 Champ b3...
Ligne 3 Champ c1 Champ c2 Champ c3...
Ligne 4 Champ d1 Champ d2 Champ d3...
Ligne 5 Champ e1 Champ e2 Champ e3...



Dans un deuxième fichier j'ai une liste de champs.

LISTE
Ligne1 Champ a2
Ligne2 Champ c2...
Ligne3 Champ e2...


Je cherche à faire ressortir toutes les lignes qui ressortent de DATA lorsque le Champ [a-z]2 du fichier LISTE match avec le Champ [a-z]2 du fichier DATA

Dans ce cas précis je cherche à récupérer du fichier DATA

Fichier résultat

Ligne 1 Champ a1 Champ a2 Champ a3...
Ligne 3 Champ c1 Champ c2 Champ c3...
Ligne 5 Champ e1 Champ e2 Champ e3...


J'ai trouvé une solution avec sed en générant une série de commande sed à partir de mon fichier LISTE via excel.


sed -n '/12345/p' DATA;sed -n '/6789A/p' DATA;sed -n '/BCDEF/p' DATA

En procédant de cette manière, cela fonctionne très bien or c'est très long car le fichier DATA fait plus d'1go de données texte :/

En effet je redemande à chaque commande de reparcourir le fichier DATA, alors que si je pouvais travailler avec sed sur une seule ouverture du fichier je gagnerai en temps d'exécution, à moins que je ne me trompe et que sed n'est pas du tout adapté pour ce cas.

Si quelqu'un a déjà été confronté à ce cas, je suis preneuse.

[al1_24]

regarde du côté de la commande join

[emmachane]

L'idée est de lire une seule et unique fois ton fichier DATA et de le ventiler en fichiers élémentaires.

La commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk '{print $0 >> $2}' DATA

va générer les fichiers suivants :
a2
b2
c2
d2
....

Le fichier a2 contiendra tous les enregistrements dont la seconde colonne est a2 et ainsi de suite....

Ensuite, il suffit de lire ton fichier LISTE.

Si tu trouves a2 dans ton fichier LISTE, il suffira d'utiliser

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat a2 >> fichier_resultat

Si tu trouves b2 dans ton fichier LISTE, il suffira d'utiliser

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat b2 >> fichier_resultat

Les fichiers qui ne sont pas dans LISTE seront à supprimer à la fin.
Je ne sais pas si c'est la solution la plus intelligente

[emmachane]

Contenu du fichier DATA

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
cat DATA
a1 a2 a3 a4 a5 a6
b1 b2 b3 b4 b5 b6
c1 c2 c3 c4 c5 c6
d1 d2 d3 d4 d5 d6
e1 e2 e3 e4 e5 e6

Contenu du fichier LIST

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
cat LIST
a2
c2
e2

Commande gawk

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

gawk '{print $0 > $2}' DATA

Génération des fichiers

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
a2
b2
c2
d2
e2

Contenu d'un fichier

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
cat a2
a1 a2 a3 a4 a5 a6

Traitement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
for nom_fic in `cat LIST`
do
   if [[ -f ${nom_fic} ]]
       then
             cat ${nom_fic} >> fic_resultat
       else
            echo "fichier inexistant"
   fi
done

Le résultat donne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 cat fic_resultat
 
a1 a2 a3 a4 a5 a6
c1 c2 c3 c4 c5 c6
e1 e2 e3 e4 e5 e6

[zipe31]

Salut,

@emmachane : Pourquoi se compliquer la vie ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ cat DATA 
a1 a2 a3 a4 a5 a6
b1 b2 b3 b4 b5 b6
c1 c2 c3 c4 c5 c6
d1 d2 d3 d4 d5 d6
e1 e2 e3 e4 e5 e6

$ cat list 
a2
c2
e2

$ fgrep -f list DATA 
a1 a2 a3 a4 a5 a6
c1 c2 c3 c4 c5 c6
e1 e2 e3 e4 e5 e6

$

[emmachane]

C'est la raison pour laquelle, j'ai annoncé d'entrée que ce n'est peut-être pas la façon la plus intelligente de faire . Tu viens d'en faire la démonstration

[erustika]

Merci beaucoup emmachane et Zipe31 !

Pour une raison que j'ignore encore cela ne marche pas chez moi

J'ai strictement recopié le code ci-dessus et utilisé les mêmes noms de fichiers.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
 # cat DATA
a1 a2 a3 a4 a5 a6
b1 b2 b3 b4 b5 b6
c1 c2 c3 c4 c5 c6
d1 d2 d3 d4 d5 d6
e1 e2 e3 e4 e5 e6

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
# cat list
a2
c2
e2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
# fgrep -f list DATA
#

si j'inverse les fichiers

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
# fgrep -f DATA list
a2
c2
e2

Je tourne sur du BASH, c'est peut-être ça le problème, la commande fgrep n'est pas reconnue...???

En plus fgrep est la fonction adapté pour ce type de problème alors je ne comprend pas, d'un seul coup je suis perdue....

[frp31]

Merci beaucoup emmachane et Zipe31 !

Je tourne sur du BASH, c'est peut-être ça le problème, la commande fgrep n'est pas reconnue...???

si tu ne l'as pas tu peux tjrs l'installer, soit depuis un package si il est disponible soit depuis ses sources.

[Sve@r]

Merci beaucoup emmachane et Zipe31 !

Pour une raison que j'ignore encore cela ne marche pas chez moi

J'ai strictement recopié le code ci-dessus et utilisé les mêmes noms de fichiers.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
 # cat DATA
a1 a2 a3 a4 a5 a6
b1 b2 b3 b4 b5 b6
c1 c2 c3 c4 c5 c6
d1 d2 d3 d4 d5 d6
e1 e2 e3 e4 e5 e6

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
# cat list
a2
c2
e2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
# fgrep -f list DATA
#

si j'inverse les fichiers

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
# fgrep -f DATA list
a2
c2
e2

Je tourne sur du BASH, c'est peut-être ça le problème, la commande fgrep n'est pas reconnue...???

Salut
Déjà l'interpréteur utilisé n'a pas d'effet sur le fait qu'une commande soit connue ou pas. Et si fgrep n'était pas reconnue, il te mettrait un truc style "fgrep not found".

En plus fgrep est la fonction adapté pour ce type de problème alors je ne comprend pas, d'un seul coup je suis perdue....

L'avantage d'Unix/Linux; c'est qu'il y a tellement d'outils que l'on peut toujours trouver autre chose pour produire le même résultat...

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

cat list |while read val; do grep "$val" DATA; done

[Levi59]

L'avantage d'Unix/Linux; c'est qu'il y a tellement d'outils que l'on peut toujours trouver autre chose pour produire le même résultat...
Code bash :
Sélectionner tout - Visualiser dans une fenêtre à part

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat list |while read val; do grep "$val" DATA; done

Useless use of cat...

cette écriture est meilleur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while read val; do grep "$val" DATA; done < list

[Sve@r]

cette écriture est meilleur :

Avis purement subjectif. Les deux écritures ont des avantages comme des inconvénients. Celle que j'ai utilisée permet d'appliquer un traitement sur n'importe quel flux entrant issu d'une commande (ping, traceroute, etc). Mais aura l'inconvénient de ne pas pouvoir mémoriser de variable (perdue en fin de pipe). La tienne permet de créer et conserver des variables mais ne peut traiter qu'un fichier...

[zipe31]

La tienne permet de créer et conserver des variables mais ne peut traiter qu'un fichier...

Non non

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while read val; do grep "$val" DATA; done < <(list toto fich)

[N_BaH]

Bonjour,

<(liste) est une substitution de processus, où liste est une liste de commandes, pas une liste de fichiers.

[zipe31]

Salut,

Bonjour,

<(liste) est une substitution de processus, où liste est une liste de commandes, pas une liste de fichiers.

Oups honte à moi J'ai oublié le "cat"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while read val; do grep "$val" DATA; done < <(cat list toto fich)

Merci N_BaH

[Sve@r]

Oups honte à moi J'ai oublié le "cat"

As-tu remarqué que mon post de ce matin était en réponse à la remarque de Levi59 "useless use of cat" ?
Donc on passe de cat fic | while read à while read ... << (cat fic)Wééé

[zipe31]

As-tu remarqué que mon post de ce matin était en réponse à la remarque de Levi59 "useless use of cat" ?
Donc on passe de cat fic | while read à while read ... << (cat fic)Wééé

Oui oui j'avais remarqué

Attention toutefois, la syntaxe est "< <(cat ...)" et non pas "<<(cat...)"

Mais hormis mon oubli du "cat", c'était surtout pour souligner également le fait qu'on évite un sous-shell et donc que les variables créées restent exploitables

[erustika]

Merci à tous pour votre aide, cela fonctionne très bien!

• Pour revenir à la première solution

regarde du côté de la commande join

J'ai réussi à réaliser ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
# join -11 -22 list DATA 
a2 a1 a3 a4 a5 a6
c2 c1 c3 c4 c5 c6
e2 e1 e3 e4 e5 e6

Il ne me reste plus qu'à inverser les deux premières colonnes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
# awk -F' ' 'BEGIN {OFS=" "} { print $2,$1,$3,$4}'  < res 
a1 a2 a3 a4 a5 a6
c1 c2 c3 c4 c5 c6
e1 e2 e3 e4 e5 e6

• La seconde solution

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

# fgrep -f list DATA

En faite elle marche très bien, même pour la valeur a2 (du fichier list) par exemple contenu dans une chaine de caractères 2a2xxx78 (du fichier DATA) par exemple.

La remarque de Sve@r est donc justifié

Salut
Déjà l'interpréteur utilisé n'a pas d'effet sur le fait qu'une commande soit connue ou pas. Et si fgrep n'était pas reconnue, il te mettrait un truc style "fgrep not found".

J'ai tout bêtement constitué mon fichier sous windows et donc oublié de faire la conversion dos2unix

Merci donc à tous, pour une grande débutante sous linux, j'ai apprise beaucoup de choses merci

[Sve@r]

• La seconde solution

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

# fgrep -f list DATA

En faite elle marche très bien, même pour la valeur a2 (du fichier list) par exemple contenu dans une chaine de caractères 2a2xxx78 (du fichier DATA) par exemple.

La remarque de Sve@r est donc justifié



J'ai tout bêtement constitué mon fichier sous windows et donc oublié de faire la conversion dos2unix

Bien vu. Effectivement le fait que fgrep ne marche pas aurait dû nous mettre la puce à l'oreille qu'il y avait un pb sur le fichier "list"...

Merci donc à tous, pour une grande débutante sous linux, j'ai apprise beaucoup de choses merci

Débutante mais déjà au fait de manipulation de fichiers, des outils comme grep, dos2unix, etc donc déjà bien à l'aise...

[Levi59]

La tienne permet de créer et conserver des variables mais ne peut traiter qu'un fichier...

Excusez mon temps de réponse mais il est possible à moindre frais de se passer de cat inutiles tout en ne limitant pas le nombre de fichiers de la redirection :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
for FILE in "Fichier1" "Fichier2" "Fichier3"
do 
    while read
    do 
        echo $REPLY
    done < $FILE
done

[Sve@r]

Excusez mon temps de réponse mais il est possible à moindre frais de se passer de cat inutiles tout en ne limitant pas le nombre de fichiers de la redirection :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
for FILE in "Fichier1" "Fichier2" "Fichier3"
do 
    while read
    do 
        echo $REPLY
    done < $FILE
done

Quand je disais "ne peut traiter qu'un fichier", je voulais faire comprendre "ne peut traiter que du fichier" et non "un seul fichier" !!!

Accessoirement, rajouter une structure de boucle shell (qui, rappelons-le, reste "interprété") juste pour éviter d'utiliser cat (qui, rappelons-le, est un programme "compilé") est, à mon avis, peu judicieux !!!

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
while read
do
    echo $REPLY
done < <(cat "Fichier1" "Fichier2" "Fichier3")

Ce n'est pas parce que, parfois, le cat est utilisé inutilement qu'il faut commencer à le faire passer pour un truc d'hérétique à éviter à tout prix !!!

En plus, je suis sûr que le "Useless use of cat" a été créé pour limiter des trucs du style cat fic |grep machin...